WoW 요인: 그래프코어 시스템의 대규모 전력 및 효율성 증대

그래프코어는 오늘, 세계 최초의 3D WoW(웨이퍼 온 웨이퍼) 프로세서인 Bow IPU를 소개했습니다. Bow IPU는 차세대 Bow Pod AI 컴퓨터 시스템의 핵심으로, 실제 AI 활용 분야에서 전작보다 최대 40% 개선된 성능과 16% 높은 전력 효율성을 제공합니다. 기존 소프트웨어를 변경하지 않아도 되며, 가격 역시 동일합니다.

플래그십 시스템인 Bow Pod256은 89페타플롭 이상의 AI 연산을, 수퍼 스케일을 자랑하는 Bow POD1024는 350페타플롭의 AI 연산을 제공합니다. 머신 러닝 엔지니어는 이를 통해 기하급수적으로 증가하는 AI 모델 크기를 적절히 활용하며 머신 인텔리전스에서 새로운 돌파구를 찾을 수 있습니다.

고객 성공 사례 

그래프코어의 새로운 Bow Pod 시스템은 현재 사용 가능하며 전 세계 배송이 시작되었습니다.

Bow의 개선된 성능과 효율성을 처음으로 경험한 고객은 미국 에너지부(DOE)의 퍼시픽 노스웨스트 국립 연구소(PNNL)로, 사이버 보안 및 계산 화학 등의 분야에 Bow Pod 시스템을 활용하기로 결정했습니다.

PNNL의 계산 및 이론 화학 기관(Computational and Theoretical Chemistry Institute) 공동 감독관인 Sutanay Choudhury는 “퍼시픽 노스웨스트 국립 연구소는 기존 기술로 해결할 수 없었던 과학 문제를 해결하기 위해 머신 러닝과 그래프 신경망의 경계를 넓히고 있습니다.”라고 설명했습니다.

“예를 들면 계산 화학과 사이버 보안 분야에서의 활용을 추진하고 있죠. 올해는 그래프코어 시스템을 통해 해당 분야의 훈련 및 추론 시간을 며칠에서 몇 시간으로 상당히 단축할 수 있었습니다. 이러한 가속화를 통해 머신 러닝 도구를 저희의 연구 목표에 의미 있게 활용할 수 있다는 사실을 입증했고요. 이 차세대 기술과의 협업을 점차 넓혀갈 것을 기대하고 있습니다.”

미국의 클라우드 서비스 제공업체인 Cirrascale은 현재 Bow Pod 시스템을 그래프클라우드 IPU 베어 메탈 서비스의 일종으로 고객에게 제공하고 있으며, 유럽의 클라우드 서비스 제공업체인 G-Core Labs는 2022년 2분기에 Bow IPU 클라우드 인스턴스를 출시할 것이라고 발표했습니다.

실제 결과 

Bow Pod은 자연어 처리용 GPT 및 BERT, 컴퓨터 비전용 EfficientNet 및 ResNet, 그래프 신경망 등 다양한 AI 활용 분야에서 실질적인 성능을 대규모로 제공하는 데 주력하고 있습니다.

Bow Pod 시스템을 사용하는 고객들은 그래프코어 Mk2 IPU-Pod 시스템과 동일한 피크 전력 포락선 내에서 다양한 AI 활용 분야의 성능을 최대 40% 개선하고 있습니다.

개선된 전력 효율성 

Bow Pod 시스템은 최대 40%의 성능 개선과 더불어, 전작 대비 전력 효율성 또한 상당히 증진되었습니다.

실제로 다양한 활용 분야에서 테스트한 결과, Bow Pod은 와트별 성능을 최대 16% 개선하는 것으로 드러났습니다.

WoW 요인 

그래프코어 Bow Pod 시스템의 핵심을 차지하는 Bow IPU 프로세서에 세계 최초 3D 반도체 기술을 사용한 덕분에, Bow Pod 시스템은 지대한 성능 증대 및 전력 효율성 증진을 달성할 수 있었습니다.

그래프코어는 긴밀한 협력 관계를 구축한 TSMC의 WoW 3D 기술을 활용하는 주요 고객이 된 것을 자랑스럽게 생각합니다. WoW는 실리콘 다이 간에 보다 높은 대역폭을 제공할 수 있는 잠재력을 지니고 있으며, 웨이퍼 수준에서 전력 효율성을 최적화하고 그래프코어의 Colossus 아키텍처에 대한 전력 제공을 개선하는 데 사용되고 있습니다.

BOW IPU의 WoW를 통해 두 웨이퍼가 서로 결합하여 새로운 3D 다이를 생성합니다. 첫 번째 웨이퍼는 AI 처리를 담당하며, 아키텍처상 GC200 IPU 프로세서와 호환되고, 독립된 IPU-Core 타일을 1,472개 포함하고 있으며, 900MB의 인프로세서 메모리를 갖춰 8,800개 이상의 스레드를 실행할 수 있습니다. 한편 두 번째 웨이퍼는 전력 제공 다이를 담당합니다.

전력 제공 다이에 딥 트렌치 커패시터를 프로세싱 코어와 메모리 바로 옆에 추가함으로써, 그래프코어는 전력을 보다 효율적으로 제공하여 350테라플롭스의 AI 연산을 지원하며 40% 개선된 성능을 제공합니다. TSMC와 긴밀히 협업한 결과, 백사이드 실리콘 관통 전극(BTSV) 및 웨이퍼 온 웨이퍼(WoW) 하이브리드 결합의 여러 혁신적인 기술을 포함한 전체 기술의 요건을 충족할 수 있었습니다.

폴 드 부트(Paul de Bot) TSMC 유럽 지역 총괄은 “그래프코어는 TSMC의 혁신적인 SoIC-WoW 솔루션의 주요 고객으로 적극 협력해왔다”며 “그래프코어의 획기적인 병렬처리 아키텍처 설계는 TSMC의 기술과 이상적인 조화를 이룬다. 그래프코어는 TSMC의 WoW 기술을 통해 전력 공급 기능을 확대하여 성능을 크게 향상시켰다. 앞으로도 해당 기술의 지속적인 발전을 위해 그래프코어와 협력을 이어 나갈 수 있길 기대한다”고 밝혔다.

신뢰할 수 있는 기술 

그래프코어의 고객들은 각 분야를 선도하고 있으며 성능, 효율성 및 신뢰도를 모두 갖추고 있는 컴퓨터 시스템을 필요로 합니다. 이미 IPU를 사용하고 있다면 Bow Pod 시스템으로 원활하게 전환할 수 있습니다.

그래프코어의 강력하고 사용하기 쉬운 포플러(Poplar) 소프트웨어 스택과 지속적으로 확장하는 IPU 최적화 모델 라이브러리를 통해 Bow Pod 시스템의 모든 기능을 사용할 수 있습니다.

모든 Bow Pod 시스템의 구성 요소인 새로운 Bow-2000 IPU 머신은 2세대 IPU-M2000 머신과 동일한 강력한 시스템 아키텍처에 기반하지만, 탁월한 Bow IPU 프로세서 4개를 갖추고 1.4페타플롭의 AI 연산을 제공합니다.

기존 IPU-POD 시스템과의 전체 하위 호환성, Bow-2000의 높은 속도, 저지연 IPU Fabric, 유연한 1U 폼 팩터 모두 그대로 유지됩니다.

Bow-2000은 Bow Pod 시스템의 형성을 위해 Dell, Atos, Supermicro, Inspur, Lenovo 등 선도적인 브랜드의 호스트 서버와 결합했으며, Bow-2000 4개와 호스트 서버 1개로 구성된 Bow Pod16 및 Bow Pod32(Bow-2000 8개 및 호스트 서버 1개)부터 Bow Pod64 및 그래프코어의 대규모 플래그십 시스템인 Bow Pod256 및 Bow Pod1024까지, 그래프코어 전체 Bow Pod 제품군의 기초에 자리하고 있습니다.

사용 가능성 

Bow Pod 시스템은 그래프코어의 글로벌 판매 파트너를 통해 즉시 사용할 수 있습니다.

그래프코어 파트너들이 Bow Pod의 가능성에 대해 이야기한 내용을 확인해 보세요.

Cirrascale Cloud Services

“Cirrascale의 그래프클라우드를 통해 많은 AI 혁신가들이 그래프코어 IPU의 성능을 처음으로 목도하고 있습니다. 연산 기능을 확장해야 하는 사람들이 유연한 스케일업 플랫폼을 제공받고 있기도 하죠. Bow Pod이 그래프클라우드에 추가되면 클라우드의 AI 연산 성능이 한 단계 더 업그레이드될 것입니다. 대규모 Pod 구성에서 대규모 모델을 가속화하기 위해서든, 멀티 테넌시 설정에서 개별 사용자들에게 더 많은 기능을 제공하기 위해서든 상관없이 말이에요.”

PJ Go, CEO, Cirrascale Cloud Services

G-Core Labs 

“G-Core Labs 고객들에게 성능이란 곧 진전을 의미합니다. 그래프코어 IPU를 통해서라면 보다 빠르게 AI 모델을 개발 및 배포하고 비즈니스에 도움이 되는 결과에 도달할 수 있죠. Bow Pod에서 제공하는 연산 능력이 증가하면 인공 지능의 혁신이 가속화될 것이며, G-Core Labs 클라우드에서 쉽게 사용할 수 있다는 점은 다른 이들도 누구나 이 시스템을 쉽게 사용할 수 있다는 의미이기도 합니다.”

Andre Reitenbach, CEO, G-Core Labs

Atos

아그네스 부도(Agnès Boudot) 아토스(Atos) 수석 부사장 겸 HPC 및 퀀텀(Quantum) 부문 총괄은 “그래프코어 Bow POD 시스템은 AI 연산의 새로운 기준이 되어 우리 고객들이 AI 혁신을 가속화하고 그 어느때보다 빠른 속도로 성과를 달성할 수 있도록 지원할 것”이라며, “모델의 크기가 점점 더 커지고 복잡해지고 있는 가운데, 그래프코어와 아토스는 엑사스케일(Exascale) 시스템을 제공하기 위해 협력하고 있다. 높은 연산효율을 제공하기 위한 그래프코어의 지속적인 노력은 AI 투자에 대한 최고의 수익을 보장할 것”이라고 말했다.