Connect with us


News

경기창조경제혁신센터, ‘모빌리티 분야 유망 스타트업’ 모집

Published

on

‘2022 Open Bridge with 이노션’ 오픈 이노베이션 프로그램 참여 기업 모집

2022 Open Bridge with 이노션
2022 Open Bridge with 이노션

경기창조경제혁신센터(이하 경기혁신센터)는 현대자동차그룹의 글로벌 종합 광고 대행사 이노션과 사업화 협력 기회를 잡을 수 있는 오픈 이노베이션 프로그램 ‘2022 Open Bridge with INNOCEAN(이노션)’에 참여할 모빌리티 분야 유망 스타트업을 모집한다.

‘2022 Open Bridge’는 혁신 스타트업과 국내외 대·중견 기업의 사업화 연계 협력으로 양 사 간 시너지를 내기 위한 경기혁신센터의 오픈 이노베이션 프로그램이다.

이번 협업 대기업인 이노션은 현대자동차그룹의 글로벌 마케팅 커뮤니케이션 기업으로, 미래 성장 비전인 △Creative&Contents △Digital&Data △Meta&Mobility 관점에서 신성장 동력 확보에 주력하고 있다. 이번 프로그램은 이 가운데 모빌리티 분야에 특화한 △적합 광고 모델 발굴 및 사업화 기술 △콘텐츠 서비스 △공간·서비스·전기차 충전 등에 접목할 수 있는 서비스에 대한 모집을 진행한다.

모집 기간은 7월 31일까지며, 프로그램 세부 사항은 경기혁신센터의 2022 Open Bridge with INNOCEAN 홈페이지에서 확인할 수 있다.

2022 Open Bridge with 이노션
2022 Open Bridge with 이노션 포스터
Continue Reading
Advertisement

Click to comment

댓글 남기기

Global

엔비디아, 대규모 언어 모델 AI 플랫폼 ‘네모 메가트론’ 프레임워크 업데이트 발표

Published

on

By

엔비디아 AI 플랫폼 네모 메가트론, A100 GPU 사용한 컨테이너형 프레임워크

엔비디아 네모 메가트론
네모 메가트론(NeMo Megatron) 프레임워크

엔비디아(CEO 젠슨 황)가 대규모 언어 모델(LLM)의 크기와 복잡성이 지속적으로 급증함에 따라 최대 30%의 훈련 속도 향상을 제공하는 네모 메가트론(NeMo Megatron) 프레임워크의 업데이트를 발표했다.

이번 업데이트는 두 가지 선구적인 기술과 여러 GPU에서 LLM 훈련을 최적화하고 확장하는 하이퍼 파라미터(hyper parameter) 도구를 포함한다. 이를 통해 엔비디아 AI 플랫폼으로 모델을 훈련하고 구축할 수 있는 새로운 기능을 제공한다.

1,760억 개의 파라미터(parameter)를 가진 세계 최대 오픈 사이언스, 오픈 액세스 다국어 언어 모델인 블룸(BLOOM)은 최근 엔비디아 AI 플랫폼에서 훈련돼 46개 언어와 13개 프로그래밍 언어로 텍스트 생성을 가능하게 했다. 또한 엔비디아 AI 플랫폼은 5,300억 개의 파라미터를 포함하는 가장 강력한 변환기 언어 모델인 메가트론-튜링 NLG 모델(MT-NLG)을 지원한다.

LLM의 최신 발전

LLM은 텍스트에서 학습하는 최대 수조 개의 파라미터를 포함하는 오늘날 가장 중요한 첨단 기술 중 하나다. 하지만 이를 개발하려면 심층적인 기술 전문 지식, 분산된 인프라, 전체 스택 접근 방식이 필요해 비용과 시간이 많이 든다.

그러나 실시간 콘텐츠 생성, 텍스트 요약, 고객 서비스 챗봇, 대화형 AI 인터페이스를 위한 질문과 답변을 발전시키는 데 있어 큰 이점을 갖는다.

AI 커뮤니티는 LLM을 발전시키기 위해 메가트론(Megatron)-LM, 에이펙스(Apex), 그리고 기타 GPU 가속 라이브러리를 포함하는 엔비디아 AI 플랫폼을 기반으로 하는 마이크로소프트 딥스피드(Microsoft DeepSpeed), Colossal-AI, 허깅 페이스 빅사이언스(Hugging Face BigScience), 페어스케일(Fairscale) 같은 도구의 혁신을 이어가고 있다.

엔비디아는 오늘날 엔비디아 AI 플랫폼에 대한 새로운 최적화를 통해 스택 전체에서 기존의 많은 문제점을 해결하며, AI 커뮤니티와 협력해 모든 사람이 LLM의 기능에 액세스할 수 있기를 기대하고 있다.

LLM 구축 시간 단축

네모 메가트론의 최신 업데이트는 220억에서 1조 파라미터에 이르는 크기의 GPT-3 모델 훈련 속도를 30% 향상시킨다. 이는 1,024개의 엔비디아 A100 GPU를 사용해 1,750억 개의 파라미터 모델에 대한 훈련을 24일 만에 수행하도록 한다. 즉, 결과 도출 시간을 10일 또는 GPU 컴퓨팅 시간으로 약 250,000 시간 단축할 수 있다.

네모 메가트론은 빠르고 효율적이며 사용하기 쉬운 엔드 투 엔드 컨테이너형 프레임워크이다. 데이터 수집, 대규모 모델 훈련, 업계 표준 벤치마크에 대한 모델 평가, 지연 시간(레이턴시)과 처리량 성능에 대한 최첨단 추론이 가능하다.

이를 통해 LLM 훈련과 추론을 다양한 GPU 클러스터 구성에서 쉽게 재현할 수 있다. 현재 얼리 액세스 고객에게 엔비디아 DGX 슈퍼POD(SuperPOD), 엔비디아 DGX 파운드리(Foundry), 마이크로소프트 애저(Microsoft Azure) 클라우드 플랫폼을 제공한다. 또한 다른 클라우드 플랫폼에 대한 지원도 제공될 예정이다.

더불어 사용자에게 엔비디아 가속 인프라의 실습 랩 카탈로그에 대한 단기 액세스를 제공하는 무료 프로그램인 엔비디아 런치패드(LaunchPad)에서 기능을 체험할 수 있다.

LLM 훈련 속도를 높이는 두 가지 새로운 기술

LLM 훈련을 최적화하고 확장하는 업데이트에 포함된 두 가지 새로운 기술은 시퀀스 병렬화(SP)와 선택적 활성화 재계산(SAR)이다.

시퀀스 병렬화(SP)는 이전에 병렬화 되지 않은 변환기 레이어의 영역이 시퀀스 차원을 따라 독립적이라는 점을 인식해 텐서 수준 모델 병렬화를 확장한다.

시퀀스 차원을 따라 이러한 레이어를 분할함으로써 텐서 병렬 장치 전반에 걸쳐 컴퓨팅 및 가장 중요한 활성화 메모리를 분산할 수 있다. 활성화가 분산되므로 재계산 대신 역방향 패스에 대해 더 많은 활성화를 저장할 수 있다.

엔비디아 네모 메가트론
[그림] 변환기 레이어 내의 병렬화 모드 – ALT-TEXT: 시퀀스 병렬화는 레이어놈(LayerNorm)과 드롭아웃(Dropout) 레이어에서 사용되는 반면 텐서 병렬화는 어텐션 및 FFN 레이어에서 사용된다

선택적 활성화 재계산은 다른 활성화가 재계산하는 데 다른 수의 작업이 필요하다는 점을 인식한다. 이를 통해 메모리 제약으로 인해 활성화의 전부가 아닌 일부를 재계산해야 하는 경우를 개선한다.

전체 변환기 레이어를 검사하고 재계산하는 대신, 상당한 양의 메모리를 차지하지만 재계산하는 데 계산 비용이 많이 들지 않는 각 변환기 레이어의 부분만 검사하고 재계산할 수 있다.

훈련과 추론을 위한 새로운 하이퍼 파라미터 도구

분산된 인프라에서 LLM 모델 구성을 찾는 과정에는 시간이 많이 소요된다. 네모 메가트론은 코드 변경 없이 최적의 훈련과 추론 구성을 자동으로 찾는 하이퍼 파라미터 도구를 도입한다. LLM은 처음부터 추론을 위해 수렴하도록 훈련되어 효율적인 모델 구성을 검색하는데 시간을 낭비하지 않는다.

데이터 병렬화, 텐서 병렬화, 파이프라인 병렬화, 시퀀스 병렬화, 마이크로 배치 크기, 활성화 체크포인트 레이어 수(선택적 활성화 재계산 포함)와 같은 고유한 파라미터에 대한 경험적 그리드 검색을 사용하여 처리량이 가장 우수한 구성을 찾는다.

NGC의 컨테이너에 대한 엔비디아 테스트의 하이퍼 파라미터 도구를 사용하면 24시간 이내에 175B GPT-3 모델에 대한 최적의 훈련 구성에 도달한다. 전체 활성화 재계산을 사용하는 일반적인 구성과 비교할 때 처리 속도가 20-30% 향상됐다. 더불어 최신 기술을 사용해 파라미터가 20B 이상인 모델의 처리 속도를 추가로 10-20% 향상시킨다.

Continue Reading

News

세미나허브, 미래 모빌리티·미래차 정보 공유의 장 열어

Published

on

By

9월 1일~2일, 미래 모빌리티 및 미래차 최고 전문가가 최신 트렌드 및 핵심기술 다뤄

세미나허브 세미나 안내

세미나허브가 ‘제2차 미래 모빌리티 트렌드 및 사업 전망과 미래차(자율주행차) 핵심 기술 및 이슈 세미나’를 진행한다고 밝혔다.

모빌리티가 단순한 자동차가 아니라, 이용 목적에 맞춘 다양한 이동 수단으로써 그 개념이 변하고 있다. 이러한 변화는 단순한 이동을 넘어 직업과 생활방식, 더 나아가 시장에서의 투자 방향까지 바꾸는 거대한 변화이다.

미래 모빌리티 시스템에서 자율주행기술과 네트워크는 가장 핵심적인 기술이며 그 중 자율주행차 시장 규모는 빠른 속도로 성장할 것으로 예상된다.

글로벌 컨설팅 기업 KPMG에 따르면 세계 자율주행차 시장 규모는 2020년 71억달러에서 2035년 1조달러로 연평균 41% 급성장할 것으로 전망된다. 맥킨지 컨설팅은 2040년에 자율주행차 판매액이 9000억달러에 달하고, 관련 모빌리티 서비스 시장만 약 1.1조달러에 달할 것으로 전망했다.

2025년, 자율주행 대중교통 상용화와 2027년 레벨 4 완전 자율주행 시대를 앞두고 미래 모빌리티 트렌드와 미래차(자율주행차) 기술을 공유하는 자리를 마련될 예정이다.

세미나허브가 주최하고 아우토바인, 아이씨엔 공동 후원으로 ‘제2차 미래 모빌리티 트렌드 및 사업 전망과 미래차(자율주행차) 핵심 기술 및 이슈 세미나’를 9월 1일~2일 양일간, 서울 여의도 전경련회관에서 온·오프라인으로 동시 진행할 예정이다.

9월 1일(목) ‘미래 모빌리티 산업 기술 트렌드 및 사업 전망 세미나’에서는 △자율주행 모빌리티 상용화를 위한 제도 현황 및 이슈에 대해 한국교통안전공단에서 강연하고 △자동차 산업의 패러다임의 변화를 주제로 EY한영에서 강연한다. △PM 및 초소형 e-모빌리티 기술을 한국스마트이모빌리티협회에서 강연하고 △UAM 산업 분석 및 전망을 주제로 한국항공우주산업에서 강연한다. 이어서 △친환경 모빌리티 부품 업체 트렌드를 한국전자기술연구원에서 강연하고 △미래차 소프트웨어에 대해 오비고에서 강연한다. △자율주행차 개발 동향 및 법제를 주제로 오토노머스에이투지에서 강연하고 △자율주행 로봇 기술현황 및 이슈를 주제로 한국로봇융합연구원에서 강연할 예정이다.

9월 2일(금) ‘미래차(자율주행차) 핵심 기술 및 이슈 세미나’에서는 △자율주행차 관련 국내법, 제도 및 해외사례를 주제로 국회입법조사처에서 강연하고 △스마트센서에 대해서 한국전자기술연구원에서 강연한다. △ADAS 차량인식 기술에 대해서 넥스트칩에서 강연하고 △SOTIF 이슈를 주제로 한국자동차연구원에서 강연한다. 이어서 △자율주행 AI를 주제로 한국전자통신연구원에서 강연하고 △미래차 반도체 기술 및 이슈를 주제로 한국자동차연구원에서 강연한다. △라이다(LiDAR) 기술 개발 동향을 주제로 에스오에스랩에서 강연하고 △자율주행 시뮬레이션 기술에 대해 AVL에서 강연할 예정이다.

세미나허브 담당자는 “미래 모빌리티 산업은 이미 글로벌 메가 트렌드이며 미래 모빌리티와 자율주행 기술은 이런 거대한 변화를 주도하고 있다”며 “이번 세미나에서 미래 모빌리티의 트렌드와 제도, UAM, 센서, AI, 반도체, 라이다 등 미래 모빌리티 산업 트렌드와 미래차(자율주행차)의 최신 기술 동향 파악 및 주요 이슈에 대한 정보를 공유할 수 있는 유익한 시간을 보내길 바란다”고 밝혔다.

이번 세미나의 사전 등록은 8월 29일까지이며, 세미나와 관련된 자세한 사항은 세미나허브 홈페이지 또는 전화(02-2088-6488)로 문의하면 된다.

Continue Reading

Trending

© 2022 Copyright by Mobility Times. All rights reserved.


tel. 0505-379-1234 | fax. 0504-232-8296 | e-mail. mobi@mobilitytimes.net | Powered by 아이씨엔미래기술센터
Address: #371, 51, Shinchon-ro, Seodaemun-gu, Seoul, 03786, Korea
주소: 서울특별시 서대문구 신촌로 51, 371호 아이씨엔 (창천동) 
[전직원 자율근무제 시행중입니다.] 

제호: 모빌리티타임즈 (Mobility Times) | 등록번호: 서울 아04965 | 등록일: 2018년 2월 9일 | 발행일: 2018년 2월 1일 | 사업자등록번호: 206-11-69466
발행인/편집인: 오승모 | 개인정보보호책임자: 오승모 | 청소년보호책임자: 오윤경 | 기사제보: mobi@mobilitytimes.net


모빌리티타임즈(mobility times)의 모든 콘텐츠는 저작권법의 보호를 받습니다. 이의 일부 또는 전부를 무단 사용하는 것은 저작권법에 저촉되며, 법적 제재를 받을 수 있습니다.