엔비디아 AI 플랫폼 네모 메가트론, A100 GPU 사용한 컨테이너형 프레임워크

엔비디아(CEO 젠슨 황)가 대규모 언어 모델(LLM)의 크기와 복잡성이 지속적으로 급증함에 따라 최대 30%의 훈련 속도 향상을 제공하는 네모 메가트론(NeMo Megatron) 프레임워크의 업데이트를 발표했다.

이번 업데이트는 두 가지 선구적인 기술과 여러 GPU에서 LLM 훈련을 최적화하고 확장하는 하이퍼 파라미터(hyper parameter) 도구를 포함한다. 이를 통해 엔비디아 AI 플랫폼으로 모델을 훈련하고 구축할 수 있는 새로운 기능을 제공한다.

1,760억 개의 파라미터(parameter)를 가진 세계 최대 오픈 사이언스, 오픈 액세스 다국어 언어 모델인 블룸(BLOOM)은 최근 엔비디아 AI 플랫폼에서 훈련돼 46개 언어와 13개 프로그래밍 언어로 텍스트 생성을 가능하게 했다. 또한 엔비디아 AI 플랫폼은 5,300억 개의 파라미터를 포함하는 가장 강력한 변환기 언어 모델인 메가트론-튜링 NLG 모델(MT-NLG)을 지원한다.

LLM의 최신 발전

LLM은 텍스트에서 학습하는 최대 수조 개의 파라미터를 포함하는 오늘날 가장 중요한 첨단 기술 중 하나다. 하지만 이를 개발하려면 심층적인 기술 전문 지식, 분산된 인프라, 전체 스택 접근 방식이 필요해 비용과 시간이 많이 든다.

그러나 실시간 콘텐츠 생성, 텍스트 요약, 고객 서비스 챗봇, 대화형 AI 인터페이스를 위한 질문과 답변을 발전시키는 데 있어 큰 이점을 갖는다.

AI 커뮤니티는 LLM을 발전시키기 위해 메가트론(Megatron)-LM, 에이펙스(Apex), 그리고 기타 GPU 가속 라이브러리를 포함하는 엔비디아 AI 플랫폼을 기반으로 하는 마이크로소프트 딥스피드(Microsoft DeepSpeed), Colossal-AI, 허깅 페이스 빅사이언스(Hugging Face BigScience), 페어스케일(Fairscale) 같은 도구의 혁신을 이어가고 있다.

엔비디아는 오늘날 엔비디아 AI 플랫폼에 대한 새로운 최적화를 통해 스택 전체에서 기존의 많은 문제점을 해결하며, AI 커뮤니티와 협력해 모든 사람이 LLM의 기능에 액세스할 수 있기를 기대하고 있다.

LLM 구축 시간 단축

네모 메가트론의 최신 업데이트는 220억에서 1조 파라미터에 이르는 크기의 GPT-3 모델 훈련 속도를 30% 향상시킨다. 이는 1,024개의 엔비디아 A100 GPU를 사용해 1,750억 개의 파라미터 모델에 대한 훈련을 24일 만에 수행하도록 한다. 즉, 결과 도출 시간을 10일 또는 GPU 컴퓨팅 시간으로 약 250,000 시간 단축할 수 있다.

네모 메가트론은 빠르고 효율적이며 사용하기 쉬운 엔드 투 엔드 컨테이너형 프레임워크이다. 데이터 수집, 대규모 모델 훈련, 업계 표준 벤치마크에 대한 모델 평가, 지연 시간(레이턴시)과 처리량 성능에 대한 최첨단 추론이 가능하다.

이를 통해 LLM 훈련과 추론을 다양한 GPU 클러스터 구성에서 쉽게 재현할 수 있다. 현재 얼리 액세스 고객에게 엔비디아 DGX 슈퍼POD(SuperPOD), 엔비디아 DGX 파운드리(Foundry), 마이크로소프트 애저(Microsoft Azure) 클라우드 플랫폼을 제공한다. 또한 다른 클라우드 플랫폼에 대한 지원도 제공될 예정이다.

더불어 사용자에게 엔비디아 가속 인프라의 실습 랩 카탈로그에 대한 단기 액세스를 제공하는 무료 프로그램인 엔비디아 런치패드(LaunchPad)에서 기능을 체험할 수 있다.

LLM 훈련 속도를 높이는 두 가지 새로운 기술

LLM 훈련을 최적화하고 확장하는 업데이트에 포함된 두 가지 새로운 기술은 시퀀스 병렬화(SP)와 선택적 활성화 재계산(SAR)이다.

시퀀스 병렬화(SP)는 이전에 병렬화 되지 않은 변환기 레이어의 영역이 시퀀스 차원을 따라 독립적이라는 점을 인식해 텐서 수준 모델 병렬화를 확장한다.

시퀀스 차원을 따라 이러한 레이어를 분할함으로써 텐서 병렬 장치 전반에 걸쳐 컴퓨팅 및 가장 중요한 활성화 메모리를 분산할 수 있다. 활성화가 분산되므로 재계산 대신 역방향 패스에 대해 더 많은 활성화를 저장할 수 있다.

선택적 활성화 재계산은 다른 활성화가 재계산하는 데 다른 수의 작업이 필요하다는 점을 인식한다. 이를 통해 메모리 제약으로 인해 활성화의 전부가 아닌 일부를 재계산해야 하는 경우를 개선한다.

전체 변환기 레이어를 검사하고 재계산하는 대신, 상당한 양의 메모리를 차지하지만 재계산하는 데 계산 비용이 많이 들지 않는 각 변환기 레이어의 부분만 검사하고 재계산할 수 있다.

훈련과 추론을 위한 새로운 하이퍼 파라미터 도구

분산된 인프라에서 LLM 모델 구성을 찾는 과정에는 시간이 많이 소요된다. 네모 메가트론은 코드 변경 없이 최적의 훈련과 추론 구성을 자동으로 찾는 하이퍼 파라미터 도구를 도입한다. LLM은 처음부터 추론을 위해 수렴하도록 훈련되어 효율적인 모델 구성을 검색하는데 시간을 낭비하지 않는다.

데이터 병렬화, 텐서 병렬화, 파이프라인 병렬화, 시퀀스 병렬화, 마이크로 배치 크기, 활성화 체크포인트 레이어 수(선택적 활성화 재계산 포함)와 같은 고유한 파라미터에 대한 경험적 그리드 검색을 사용하여 처리량이 가장 우수한 구성을 찾는다.

NGC의 컨테이너에 대한 엔비디아 테스트의 하이퍼 파라미터 도구를 사용하면 24시간 이내에 175B GPT-3 모델에 대한 최적의 훈련 구성에 도달한다. 전체 활성화 재계산을 사용하는 일반적인 구성과 비교할 때 처리 속도가 20-30% 향상됐다. 더불어 최신 기술을 사용해 파라미터가 20B 이상인 모델의 처리 속도를 추가로 10-20% 향상시킨다.

다수의 통신 서비스 사업자(CSP)가 5G 네트워크 투자를 수익화할 새로운 디지털 서비스를 제공하기 위해 마베니어(Mavenir)의 디지털 인에이블먼트 플랫폼(Digital Enablement Platform, 약칭 MDE)으로 비즈니스 지원 시스템(BSS)을 업그레이드하고 있다고 마베니어(mavenir)가 발표했다.

마베니어는 모든 클라우드에서 구동되고 세계의 연결 방식을 혁신하는 클라우드 네이티브 소프트웨어로, 네트워크의 미래를 열어 가는 네트워크 소프트웨어 제공업체다.

MDE는 클라우드 네이티브 카탈로그 기반의 디지털 BSS로 통신 서비스 사업자가 새로운 5G 디지털 상품을 손쉽게 개발하거나 과금 및 중개 기능을 통해 5G 네트워크 혁신을 완료할 수 있도록 뒷받침한다. 또 이종 산업 간 파트너의 상품과 서비스를 통합 상품으로 번들링하는 디지털 마켓플레이스 경험을 설계하는 데도 사용할 수 있다.

산디프 싱(Sandeep Singh) 마베니어 디지털 인에이블먼트 부문 총괄은 “통신 서비스 사업자는 마베니어의 MDE 플랫폼을 통해 새로운 서비스를 신속히 도입해 과감한 혁신을 추진할 수 있으며 고객들의 관심을 사로잡아 디지털 생활의 주축으로 자리할 수 있다”고 말했다.

MDE는 포괄적인 BSS로 실행할 수 있으며 특히 기존 레거시 BSS와 디지털 오버레이로 실행해 위험과 중단을 최소화할 수 있다. BSS 디지털 오버레이 시스템은 통신 서비스 사업자가 5G 시대에 수익을 극대화하는 데도 도움이 된다.

컨설팅 회사 애널리시스 메이슨(Analysys Mason)은 “디지털 오버레이 접근 방식은 비용도 크게 절감할 수 있다”며 “기존 변환 접근 방식과 비교할 때 통신 사업자가 3~5년간 최대 50%의 비용을 절약할 수 있다”고 전망했다.

마베니어 MDE의 최근 배포는 다음의 사례를 포함한다.

일본 유수 CSP의 기업 간(B2B) 모빌리티 서비스 지원

이 통신 서비스 사업자는 비즈니스 고객을 겨냥한 ‘모빌리티 번들 서비스’를 성공적으로 출시했다. 일반적인 서비스는 대량으로 구매한 SIM+휴대폰 번들(10~1000개)을 포함한다. BSS는 분기별 업데이트를 가능하게 하는 애자일 공동 개발 자동화 CI/CD를 최초로 제공했다. 이는 제품 카탈로그, 고객 관계 관리(CRM), 견적 작성 자동화 솔루션(CPQ), 주문 관리, 프로비저닝, 재고 추적, 오프라인 요금제 및 과금, 청구, 송장 발행, 결제 및 징수 등의 모듈을 포함한다.

오버레이 BSS로 배포된 마베니어의 디지털 BSS는 B2B 고객 계정 수명 주기를 관리하는 기본 요소며 기존 소비자 BSS에 다시 연결해 개별 SIM 활성화, 번호 이동성 워크플로, 리소스 인벤토리 관리 및 네트워크 조정 기능을 활용할 수 있도록 지원한다.

배포는 쿠버네티스(Kubernetes) 기반의 서비스형 컨테이너(CaaS) 및 서비스형 플랫폼(PaaS) 레이어를 통해 CSP의 프라이빗 클라우드에서 이뤄진다.

독일의 대형 가상 이동통신망 사업자(MVNO), 4G+5G 통합 과금을 위해 MDE 통합 충전 시스템(CCS) 및 과금 게이트웨이 기능(CGF) 배포해 이동통신사(MNO)로 전환

이는 RAN, Core, IT, BSS 및 과금 시스템을 소유한 MNO로 자리하기 위한 것이다. CCS는 EPC 및 IMS 네트워크 요소와 통합해 실시간 다이어미터(Diameter) 인터페이스에서 음성, SMS, 데이터 서비스 요금 정산 및 과금을 뒷받침하는 4G OCS를 포함한다. 동일한 코어 CCS 엔진에는 마베니어 5G 코어(5GC) NF와 통합된 5G CHF도 포함돼 있다. CCS 솔루션의 일부인 과금 게이트웨이 기능(CGF)은 현대적인 마이크로서비스 기반 네트워크와 과금 중개 서비스를 제공한다. 5G FWA를 포함한 첫 번째 서비스 세트는 올해 상용화될 예정으로 앞으로 2년간 차세대 애자일 CI/CD 기반 업데이트에서 음성, 메시징, 데이터(4G+5G eMBB) 및 사물 인터넷(IoT)에 대해 과금하도록 설계됐다. 배포는 쿠버네티스 기반의 CaaS 및 PaaS 레이어를 통해 CSP의 프라이빗 클라우드에서 이뤄진다.

가이아나의 그린필드(Greenfield) CSP, E2E BSS 및 과금을 위해 MDE 채택

CSP는 여러 단계 중 첫 번째 단계를 통해 선불 음성, 데이터 및 메시징 과금을 위한 4G OCS(온라인 충전 시스템) 솔루션을 활용해 2022년 선불 LTE 음성, 데이터 및 SMS 과금을 위한 선불 LTE 음성, 데이터 및 SMS 서비스를 시작할 수 있다. 두 번째 단계에서는 BSS를 기반으로 구축된 후불 서비스를 출시할 수 있다. 마지막 단계에는 다른 공급업체의 5GC와 통합된 MDE 5G CCS를 사용해 배포될 5G eMBB 서비스 출시가 포함된다.