[Nvidia] Digits GB10- 책상 위에 AI SuperCom을!
안녕하세요. 반도체 역사가 1^0입니다.
2025년 새해입니다. 여기 blogger에 3달 동안 글을 쓰지 않다가- 글을 씁니다.
저를 흥분시키는, 제 눈길을 사로잡은, 소식을 접했기 때문입니다.
CES 2025에서 가죽잠바 할아버지가 발표를 했습니다. 몇 가지 다른 발표 내용도 있지만- 이 글에서는 Digits GB10을 다룹니다.
https://www.nvidia.com/en-us/project-digits/ English
https://blogs.nvidia.co.kr/blog/nvidia-puts-grace-blackwell-on-every-desk-and-at-every-ai-developers-fingertips/ 한국어
개인용 AI 슈퍼컴퓨터 ‘NVIDIA Project DIGITS’ 공개
전 세계 AI 연구자와 data scientists, 학생에게 NVIDIA Grace Blackwell 플랫폼의 성능을 제공합니다. GB10은 대규모 AI 모델의 proto-typing, 미세 조정, 실행을 위한 peta-FLOP의 AI 컴퓨팅 성능을 제공하죠.
사용자는 자체 desktop 시스템으로 추론을 개발하고 실행한 다음, 가속화된 cloud 또는 data-center infra에 모델을 원활하게 배포할 수 있습니다.
Jensen Huang “AI는 모든 산업의 모든 응용에서 주류가 될 것입니다. 수백만 명의 개발자에게 Grace Blackwell SuperChip을 제공할 수 있습니다. AI 시대! 참여!! 지원!!!”
Peta-flop의 전력 효율적인 AI 성능을 제공하는 GB10 Super-Chip
Grace Blackwell 구조 SoC으로, FP4 정밀도에서 최대 1페타플롭의 AI 성능을 제공합니다.
NVLink-C2C chip-to-chip interconnect로, Arm 20개의 전력 효율적인 core 갖춘 Grace CPU에 연결됩니다. Arm 기반 SoC 설계 분야 시장 리더인 미디어텍(MediaTek)이 GB10 설계에 협력해 동급 최고의 전력 효율, 성능, 연결성에 기여했습니다.
표준 전기 콘센트만으로 강력한 성능을 구현합니다. 128GB의 통합된 일관된 memory와 최대 4TB의 NVMe storage를 갖추고 있는데요. 개발자는 최대 2천억 parameter의 거대 언어 모델(LLM)을 실행해 AI 혁신을 가속화할 수 있습니다. 또한, NVIDIA ConnectX networking을 통해 두 대 연결해 최대 4,050억 개의 parameter 모델을 실행할 수 있습니다.
손쉽게 이용 가능한 Grace Blackwell AI 슈퍼컴퓨팅
Linux 기반 NVIDIA DGX OS. 그 다음에는 Nvidia DGX Cloud, 구름과 data-center infra!
이를 통해 개발자는 동일한 Grace Blackwell 구조와 NVIDIA AI Enterprise software platform을 사용!!
NVIDIA AI software library. NVIDIA NGC 카탈로그와 소프트웨어 개발 키트, 오케스트레이션 도구, 프레임워크, 모델. NeMo framework, RAPIDS 가속화, PyTorch, Python, Jupyter notebook.
Blueprints와 NIM micro-service
더 알아보기: 올해 5월부터 $3,000에! 알림 신청하셈!! [1^0가 좀 표현 다듬습니다.]
https://youtu.be/kZRMshaNrSA?si=lEOgKf6FDF64tu7W Introducing Nvidia DIGITS 0:23
1^0는 여러 생각을 합니다.
지금은 Steve Jobs의 iPad 순간이 아닐까? 합니다. https://namu.wiki/w/iPad
그래요. 2010년 발표했죠. https://youtu.be/Ndnmtz8-S5I?si=KHfVGUHpNy5Z1Yzh Steve Jobs iPad Launch - 6:00
누군가는 '뭐가 새로운 데? 있던 거 아냐? 남들도 하지 않았어?'라고 낮게 평가했습니다.
그러나- 저의 생각으로는- 당시에도 그리고 지금도~~ "대단한 item"입니다.
앞으로 생각이 바뀔 수도 있겠으나- 2025년 1월 1^0의 생각은 GB10 또한 "대단한 item"입니다.
고민되는 부분은.... 이 제품이 Nvidia에서 만든 AI 기계인데- HBM을 안 쓴다는 겁니다.
제가 지금 다른 회사도 아니고 SK hynix에서 HBM설계를 하고 있습니다. 회사는 올해 13년째이지만, 작년 2024년 5월부터 HBM설계로 옮겨 일하고 있습니다.
대박 잘 나가고, 대박 뜨거운 제품이죠. 인기도 관심도 상당합니다.
그런데 다른 회사도 아니고, 그 Nvidia에서 이런~ 제품을 내놓다니요!
아이고야!! 솔직히~ 제가 충격이~~ 큽니다~~~. HBM의 앞날이, 우리 회사의 앞날이,, 저의 앞날이,,,
반도체 바닥에서 벌써 15년째, 그것도 한국 반도체 바닥에서 지내고 있습니다.
Intel이 훅~ 갔습니다. Samsung이 그를 뒤따르고 있습니다. 특정 제품이 겁나게 hot해서 작년 즐겁게 지냈는데- 오래가지 못한 상황에-- (아니 어쩌면 그렇기 때문에?) 새로운 소식이 들려옵니다. ipad가 notebook에 저는 경쟁자로 생각합니다. 하나가 인기를 끌면, 아마 어느 정도는 다른 것은 인기를 잃을 겁니다...
책상 위에 1 peta-FLOP이랍니다. 이게 얼마나 큰 거냐...
제가 이거 찾아본다고 DGX-1 영상을 헤집고 다녔습니다.
https://youtu.be/1ayGJDO6PKU?si=30suxsw89AclnV2o 6:28 GTC 2016: NVIDIA DGX-1, World's First Deep Learning Supercomputer (part 7)
.... 고작(?) 무려(??) 9년 전입니다. DGX-1 이 170 TFLOPS 였습니다.
그 때 Jensen이 흥분해서 설명을 했습니다. 이걸 왜 만들었는지! 얼만큼 대단한 걸 만들었는지!!
첫 제품을 OpenAI란 회사에 배달을 했고, 그 때 Elon Musk가 그 자리에 있었다죠.
https://blogs.nvidia.co.kr/blog/dgx-1_story/ DGX-1 개발 이야기는 이걸 읽어보세요.
바로 그 사람, 바로 그 회사가,,, GB10을 만들었답니다.
HBM은 안 쓰고, LPDDR만 쓴답니다. 아마 이 글을 update하게 될꺼라 생각하며- 오늘은 글을 마칩니다.
댓글
댓글 쓰기