Global
엔비디아, 대규모 언어 모델 AI 플랫폼 ‘네모 메가트론’ 프레임워크 업데이트 발표
엔비디아 AI 플랫폼 네모 메가트론, A100 GPU 사용한 컨테이너형 프레임워크
엔비디아(CEO 젠슨 황)가 대규모 언어 모델(LLM)의 크기와 복잡성이 지속적으로 급증함에 따라 최대 30%의 훈련 속도 향상을 제공하는 네모 메가트론(NeMo Megatron) 프레임워크의 업데이트를 발표했다.
이번 업데이트는 두 가지 선구적인 기술과 여러 GPU에서 LLM 훈련을 최적화하고 확장하는 하이퍼 파라미터(hyper parameter) 도구를 포함한다. 이를 통해 엔비디아 AI 플랫폼으로 모델을 훈련하고 구축할 수 있는 새로운 기능을 제공한다.
1,760억 개의 파라미터(parameter)를 가진 세계 최대 오픈 사이언스, 오픈 액세스 다국어 언어 모델인 블룸(BLOOM)은 최근 엔비디아 AI 플랫폼에서 훈련돼 46개 언어와 13개 프로그래밍 언어로 텍스트 생성을 가능하게 했다. 또한 엔비디아 AI 플랫폼은 5,300억 개의 파라미터를 포함하는 가장 강력한 변환기 언어 모델인 메가트론-튜링 NLG 모델(MT-NLG)을 지원한다.
LLM의 최신 발전
LLM은 텍스트에서 학습하는 최대 수조 개의 파라미터를 포함하는 오늘날 가장 중요한 첨단 기술 중 하나다. 하지만 이를 개발하려면 심층적인 기술 전문 지식, 분산된 인프라, 전체 스택 접근 방식이 필요해 비용과 시간이 많이 든다.
그러나 실시간 콘텐츠 생성, 텍스트 요약, 고객 서비스 챗봇, 대화형 AI 인터페이스를 위한 질문과 답변을 발전시키는 데 있어 큰 이점을 갖는다.
AI 커뮤니티는 LLM을 발전시키기 위해 메가트론(Megatron)-LM, 에이펙스(Apex), 그리고 기타 GPU 가속 라이브러리를 포함하는 엔비디아 AI 플랫폼을 기반으로 하는 마이크로소프트 딥스피드(Microsoft DeepSpeed), Colossal-AI, 허깅 페이스 빅사이언스(Hugging Face BigScience), 페어스케일(Fairscale) 같은 도구의 혁신을 이어가고 있다.
엔비디아는 오늘날 엔비디아 AI 플랫폼에 대한 새로운 최적화를 통해 스택 전체에서 기존의 많은 문제점을 해결하며, AI 커뮤니티와 협력해 모든 사람이 LLM의 기능에 액세스할 수 있기를 기대하고 있다.
LLM 구축 시간 단축
네모 메가트론의 최신 업데이트는 220억에서 1조 파라미터에 이르는 크기의 GPT-3 모델 훈련 속도를 30% 향상시킨다. 이는 1,024개의 엔비디아 A100 GPU를 사용해 1,750억 개의 파라미터 모델에 대한 훈련을 24일 만에 수행하도록 한다. 즉, 결과 도출 시간을 10일 또는 GPU 컴퓨팅 시간으로 약 250,000 시간 단축할 수 있다.
네모 메가트론은 빠르고 효율적이며 사용하기 쉬운 엔드 투 엔드 컨테이너형 프레임워크이다. 데이터 수집, 대규모 모델 훈련, 업계 표준 벤치마크에 대한 모델 평가, 지연 시간(레이턴시)과 처리량 성능에 대한 최첨단 추론이 가능하다.
이를 통해 LLM 훈련과 추론을 다양한 GPU 클러스터 구성에서 쉽게 재현할 수 있다. 현재 얼리 액세스 고객에게 엔비디아 DGX 슈퍼POD(SuperPOD), 엔비디아 DGX 파운드리(Foundry), 마이크로소프트 애저(Microsoft Azure) 클라우드 플랫폼을 제공한다. 또한 다른 클라우드 플랫폼에 대한 지원도 제공될 예정이다.
더불어 사용자에게 엔비디아 가속 인프라의 실습 랩 카탈로그에 대한 단기 액세스를 제공하는 무료 프로그램인 엔비디아 런치패드(LaunchPad)에서 기능을 체험할 수 있다.
LLM 훈련 속도를 높이는 두 가지 새로운 기술
LLM 훈련을 최적화하고 확장하는 업데이트에 포함된 두 가지 새로운 기술은 시퀀스 병렬화(SP)와 선택적 활성화 재계산(SAR)이다.
시퀀스 병렬화(SP)는 이전에 병렬화 되지 않은 변환기 레이어의 영역이 시퀀스 차원을 따라 독립적이라는 점을 인식해 텐서 수준 모델 병렬화를 확장한다.
시퀀스 차원을 따라 이러한 레이어를 분할함으로써 텐서 병렬 장치 전반에 걸쳐 컴퓨팅 및 가장 중요한 활성화 메모리를 분산할 수 있다. 활성화가 분산되므로 재계산 대신 역방향 패스에 대해 더 많은 활성화를 저장할 수 있다.
선택적 활성화 재계산은 다른 활성화가 재계산하는 데 다른 수의 작업이 필요하다는 점을 인식한다. 이를 통해 메모리 제약으로 인해 활성화의 전부가 아닌 일부를 재계산해야 하는 경우를 개선한다.
전체 변환기 레이어를 검사하고 재계산하는 대신, 상당한 양의 메모리를 차지하지만 재계산하는 데 계산 비용이 많이 들지 않는 각 변환기 레이어의 부분만 검사하고 재계산할 수 있다.
훈련과 추론을 위한 새로운 하이퍼 파라미터 도구
분산된 인프라에서 LLM 모델 구성을 찾는 과정에는 시간이 많이 소요된다. 네모 메가트론은 코드 변경 없이 최적의 훈련과 추론 구성을 자동으로 찾는 하이퍼 파라미터 도구를 도입한다. LLM은 처음부터 추론을 위해 수렴하도록 훈련되어 효율적인 모델 구성을 검색하는데 시간을 낭비하지 않는다.
데이터 병렬화, 텐서 병렬화, 파이프라인 병렬화, 시퀀스 병렬화, 마이크로 배치 크기, 활성화 체크포인트 레이어 수(선택적 활성화 재계산 포함)와 같은 고유한 파라미터에 대한 경험적 그리드 검색을 사용하여 처리량이 가장 우수한 구성을 찾는다.
NGC의 컨테이너에 대한 엔비디아 테스트의 하이퍼 파라미터 도구를 사용하면 24시간 이내에 175B GPT-3 모델에 대한 최적의 훈련 구성에 도달한다. 전체 활성화 재계산을 사용하는 일반적인 구성과 비교할 때 처리 속도가 20-30% 향상됐다. 더불어 최신 기술을 사용해 파라미터가 20B 이상인 모델의 처리 속도를 추가로 10-20% 향상시킨다.
모빌리티(Mobility)의 미래 비즈니스 전략을 찾다
- 모빌리티타임즈 (mobilitytimes.net)
Global
온세미, 폭스바겐 그룹의 차세대 전기차 공급업체로 선정
온세미, 최신 세대 EliteSiC M3e 플랫폼 기반으로 완전히 최적화된 전력 시스템 솔루션의 주요 공급업체로 선정
지능형 전력 및 센싱 기술의 선도 기업인 온세미(나스닥: ON)는 폭스바겐 그룹(Volkswagen Group)과 실리콘 카바이드(SiC) 기반의 통합 전력 모듈 솔루션에 대한 다년 계약을 체결했다고 발표했다.
이번 계약으로 온세미는 폭스바겐 그룹의 SSP(Scalable Systems Platform)를 위한 차세대 트랙션 인버터의 일부인 완전한 파워 박스 솔루션의 주요 공급업체가 됐다.
해당 솔루션은 모든 차량 유형에 호환되도록 고출력부터 저출력 트랙션 인버터에 이르기까지 모든 전력 단계에서 확장할 수 있는 통합 모듈에 실리콘 카바이드(SiC) 기반 기술을 갖춘 것이 특징이다.
온세미의 파워 박스 솔루션은 엘리트 실리콘 카바이드(EliteSiC) M3e MOSFET을 기반으로, 더 많은 전력을 더 작은 패키지에서 처리할 수 있어 에너지 손실을 크게 줄여준다. 냉각 채널에 장착된 3개의 통합 하프 브리지 모듈을 포함하면 반도체부터 냉각수 케이스에 이르기까지 열을 효과적으로 관리해 시스템 효율을 더욱 향상할 수 있다.
이는 성능 향상, 열 제어 개선, 효율 증대로 이어져, 전기차가 한 번의 충전으로 더 멀리 주행할 수 있다. 이번 통합 솔루션을 통해 폭스바겐 그룹은 향후 EliteSiC 기반 플랫폼으로 쉽게 전환하고 전기차 혁신의 선두를 유지할 수 있을 것으로 기대된다.
하산 엘 코우리(Hassane El-Khoury) 온세미 CEO는 “온세미는 전체 전력 하위 어셈블리를 포괄하는 완전한 전력 시스템 솔루션을 제공함으로써 폭스바겐 그룹의 차량 라인업에 대한 효율성과 성능을 극대화하고 단순화된 단일 모듈 식 확장형 플랫폼을 제공한다. 이러한 새로운 접근 방식으로 성능 저하 없이 다양한 차량에 대한 필요한 전력을 맞춤화하고 기능을 추가하면서 비용을 절감할 수 있다”고 말했다.
또한 폭스바겐 그룹은 SiC 제조 확장을 위한 온세미의 체코 투자 계획에 따라 수혜를 받을 것으로 예상된다. 온세미의 체코 투자는 유럽에 트랙션 인버터 전력 시스템을 위한 엔드 투 엔드 생산 시설을 구축한다. 온세미 시설에 대한 근접성은 폭스바겐 그룹의 공급망을 강화하는 동시에 물류를 개선하고 제조 공정에 더 빠르게 통합할 수 있게 해줄 것이다.
이에 앞서 온세미와 폭스바겐은 지난해(2023년)초 “차세대 전기차를 위한 실리콘 카바이드 (SiC)기술에 대한 전략적 협력” 협약을 채결한 바 있다. 이후 양사는 전기 자동차(EV)를 위한 OEM의 모듈식 자동차 플랫폼을 위한 완전한 트랙션 인버터 솔루션을 개발해 왔다.
한편 EliteSiC M3e MOSFET에 대한 자세한 내용은 여기(링크)에서 확인할 수 있다.
모빌리티(Mobility)의 미래 비즈니스 전략을 찾다
- 모빌리티타임즈 (mobilitytimes.net)
Global
TI와 델타 일렉트로닉스, 전기차 온보드 충전 발전을 위한 협력 발표
TI가 Delta Electronics와 차세대 전기차 온보드 충전 및 전력 솔루션을 개발하기 위한 장기적인 협력을 발표했다
공동 혁신 연구소 통해 전력 관리 및 전력 공급에 대한 양사의 연구 개발 역량 접목
텍사스 인스트루먼트(TI)는 델타 일렉트로닉스(Delta Electronics)와 차세대 전기차 온보드 충전 및 전력 솔루션을 개발하기 위한 장기적인 협력을 발표했다.
이러한 개발 협력은 대만 핑전 시에 설립한 TI와 델타 일렉트로닉스의 공동 혁신 연구소에서 전력 관리 및 전력 공급에 대한 양사의 연구 개발 역량을 접목함으로써 이루어질 예정이다. TI와 델타 일렉트로닉스는 함께 전력 밀도, 성능 및 크기를 최적화하여 더 안전하고, 더 빠르게 충전되며, 더 저렴한 전기차의 실현을 가속화하는 것을 목표로 한다.
아미카이 론(Amichai Ron) TI 임베디드 프로세싱 부문 수석 부사장은 “전기차로의 전환은 보다 지속가능한 미래를 실현하는 데 핵심적이며, TI는 델타 일렉트로닉스와 수년간의 협력을 통해 탄탄한 기반을 구축했다”며, “우리는 델타 일렉트로닉스와 함께 TI 반도체를 사용하여 더 작고 효율적이며 안정적인 온보드 충전기 및 DC/DC 컨버터와 같은 전기차 전력 시스템을 개발하여 주행 거리를 늘리고 전기차의 광범위한 도입을 장려할 것”이라고 말했다.
제임스 탕(James Tang) 델타 일렉트로닉스 모빌리티 부문 총괄 부사장 겸 전기차 솔루션 사업 그룹 책임자는 “델타 일렉트로닉스는 TI와의 공동 혁신 연구소를 설립해서 디지털 제어 및 GaN 분야에 대한 TI의 풍부한 경험과 첨단 기술을 활용하며 전기차 전력 시스템의 전력 밀도와 성능을 향상시키고자 한다.”고 밝혔다.
그는 또한 “우리는 더욱 첨단화된 제품 개발 및 설계 역량을 바탕으로 긴밀한 기술 교류와 협력을 통해 제품 개발을 가속화하고 제품 안전과 품질을 개선하는 것을 목표로 하고 있다. 또한 빠르게 발전하는 전기차 시장에서 기술 리더십을 더욱 강화하고 서로 윈윈할 수 있기를 기대한다”고 말했다.
차세대 차량용 전력 솔루션을 위한 3단계 개발
- 양사 협력의 첫 단계에서는 델타 일렉트로닉스의 최신 C2000™ 실시간 마이크로컨트롤러(MCU)와 TI의 독점적인 액티브 전자기 간섭(EMI) 필터 제품을 사용해서 더 가볍고 비용 효율적인 11kW 온보드 충전기를 개발하는 데 중점을 두고 있다. 양사는 TI의 제품을 사용해서 충전기의 크기를 30% 줄이면서 최대 95%의 전력 변환 효율을 달성하기 위해 협력하고 있다.
- 두번째 단계에서 TI와 델타 일렉트로닉스는 차량용 애플리케이션을 위한 최신 C2000 실시간 MCU를 활용하여 자동차 제조업체가 가장 엄격한 자동차 안전 요구 사항을 나타내는 ASIL D까지 자동차 안전 무결성 수준(ASIL)을 달성할 수 있도록 지원한다. 고도로 통합된 차량용 절연 게이트 드라이버는 온보드 충전기의 전력 밀도를 더욱 향상시키는 동시에 전체 솔루션 크기를 최소화한다.
- 3단계에서는 양사가 협력하여 질화 갈륨(GaN) 기술을 사용한 제품 개발 및 제조 분야에서 10년 이상 쌓아온 TI의 경험을 바탕으로 차세대 차량용 전력 솔루션을 개발할 예정이다.
루크 리 (Luke Lee) TI 대만, 일본, 한국 및 남아시아 지역 사장은 “차량용 애플리케이션에서 전자 장치의 급속한 성장으로 더욱 풍부하고 효율적이며 안전한 차량을 구현할 수 있게 됐다. 하지만 여전히 기술적 과제들이 남아 있다”며, ” TI는 대만에서 55년 동안 차량용 전원 관리 분야에서 쌓아온 수십 년의 경험을 바탕으로 현지의 자동차 산업과 긴밀한 관계를 구축해 왔다. 델타 일렉트로닉스와의 협력 및 공동 혁신 연구소 설립은 TI가 차량 전기화를 추진하는 여러가지 방법 중 하나”라고 말했다.
모빌리티(Mobility)의 미래 비즈니스 전략을 찾다
- 모빌리티타임즈 (mobilitytimes.net)
Global
TTTech Auto, 소프트웨어 정의 차량 위한 새로운 전략과 브랜드 슬로건 발표
TTTech Auto가 플랫폼 소프트웨어 제품 및 서비스 제공 기업으로서 전략적 포지셔닝과 브랜드 강화를 위해 새로운 전략과 브랜드 슬로건을 발표했다
선도적인 플랫폼 소프트웨어 제품과 서비스 제공 기업으로서 소프트웨어 정의 차량(4SDV: System, Safety, Security, Software Defined Vehicle)을 위한 시스템, 세이프티 및 시큐리티에 주력
티티테크오토(TTTech Auto)가 플랫폼 소프트웨어 제품 및 서비스 제공 기업으로서 전략적 포지셔닝과 브랜드 강화를 위해 “Made to Drive”라는 새로운 브랜드 슬로건을 내세우며 소프트웨어 정의 차량(4SDV)을 위한 시스템, 세이프티 및 시큐리티에 사업 역점을 둔다고 밝혔다.
TTTech Auto는 2018년 설립 이래 미들웨어 및 세이프티 솔루션에 중점을 두고 첨단 운전자 보조 시스템/자율주행(ADAS/AD) 시장의 핵심 기업으로 자리매김했다.
자동차 업계는 고도의 자율주행 개발, 특히 SAE 레벨 3 및 레벨 4 기능을 구현하면서 수많은 난제와 함께 매우 중요한 변화를 겪고 있다. “소프트웨어 정의 차량”(SDV)이라는 새로운 개념, 지금까지와는 차원이 다른 시스템 통합, 그리고 중앙 집중화가 주요 과제로 부상하였기 때문이다.
적은 비용으로 보다 나은 고객 가치를 실현하기 위한 혁신을 전장분야에 어떻게 구현해낼 것인가는 업계가 해결해야 할 중요한 문제가 되었다. 변화의 중심에는 업계 요구사항을 만족하기 위해 기하급수적으로 발전하는 SoC(System-on-Chip) 성능과 중앙 집중화된 전기-전자 아키텍처 (EEA: Electro-Electronic Architecture)가 있다:
- 소프트웨어의 하드웨어 추상화 및 소프트웨어-하드웨어 디커플링
- 최신 기능의 신속하고 강건한 통합
- 점진적 소프트웨어 무선 (OTA: Over-The-Air) 업데이트를 통한 재검사-재검증-재승인 주기 단축
“MotionWise” 세이프티 미들웨어, 안전한 SDV 구현을 위한 핵심 요소
TTTech Auto의 디르크 린츠마이어(Dirk Linzmeier) CEO는 “이런 변화와 요구사항에 부응할 수 있는 미들웨어 솔루션이 더욱 중요해지고 있다. TTTech Auto의 세이프티 미들웨어 제품인 ‘MotionWise’는 안전한 SDV 구현을 위한 핵심 요소다.”라며, “MotionWise는 성능, 세이프티, 통합 및 소프트웨어 업데이트를 최적화하여 고객이 운전 경험에 집중할 수 있도록 한다. TTTech Auto는 소프트웨어 정의 차량의 안전한 드라이브를 위해 존재한다”고 설명했다.
“Made to Drive”라는 새로운 브랜드 슬로건은 TTTech Auto의 자동차 소프트웨어의 기술 혁신 및 헌신을 내포하고 있다. 차량 아키텍처 전반적인 안전한 실행과 통신을 가능케하고, 동급 최고의 기능을 더 빠르게 통합하며, 재확인-재검증-재승인 주기를 단축함으로써 점진적인 소프트웨어 업데이트를 가능하게 하는 회사의 전략이 새로운 슬로건에 함의되어 있다.
TTTech Auto의 새로운 전략적 포지셔닝은 SDV를 대상으로 할 뿐만 아니라 시스템 (System), 세이프티 (Safety), 시큐리티 (Security) 및 소프트웨어 (Software)를 지칭하는 4SDV (4SDV: System, Safety, Security, Software Defined Vehicle) 접근 방식을 통해 경쟁을 뛰어넘는 범위를 설정함으로써 명확한 경쟁 차별화를 목표로 한다. 혁신을 실현하기 위해 강력한 파트너가 필요한 고객에게 TTTech Auto의 플랫폼 제품과 서비스, 그리고 파트너사들은 SDV 시장에서 두각을 나타낼 수 있는 가치를 제공할 것이다.
이번 이니셔티브는 TTTech Auto의 브랜딩, 메시징 및 기업 디자인 업데이트까지 포괄한다. 코딩브래킷에 기반한 TTTech Auto의 새로운 로고는 신선하고 뛰어난 시각적 외관을 제공할 뿐만 아니라 TTTech Auto의 기술 및 소프트웨어에 대한 초점을 형상화하고 있다.
모빌리티(Mobility)의 미래 비즈니스 전략을 찾다
- 모빌리티타임즈 (mobilitytimes.net)
-
News1년 ago
아비바, ESG 목표 조기 달성, 직간접배출량 93% 감축
-
News1년 ago
현대오토에버, 2023 지속가능경영 보고서 발간
-
News1년 ago
현대자동차∙기아 커넥티드 카 서비스 글로벌 가입자 1,000만 명 돌파
-
News1년 ago
기아, 전기차 배터리 구독 서비스 실증을 위한 MOU 체결
-
Products1년 ago
ST마이크로, 탁월한 안전성 및 신뢰성 지원 GaN 드라이버 출시
-
News1년 ago
스마트카미래포럼, 9월 14일 ‘2023 Future Mobility Forum’ 개최
-
Products2년 ago
에머슨, 수소 연료 전지 수명 연장과 효율 극대화 제공
-
Global10개월 ago
지멘스 모빌리티, 슬로바키아 기술 기업 HMH 인수