컴퓨터 비전 가속화: EfficientNet을 IPU-POD 슈퍼컴퓨팅 시스템으로 확장한 방법

그래프코어 연구는 그래프코어의 최신 하이퍼스케일 IPU-POD128 및 IPU-POD256 시스템에서 혁신적인 컴퓨터 비전 모델 EfficientNet-B4의 훈련을 가속화하여 2시간 이내에 컨버전스에 도달한 방법을 보여 줍니다.

EfficientNet을 사용해야 하는 이유는?

EfficientNet 모델 제품군은 컴퓨터 비전의 최신 기술을 기반으로 비교적 적은 수의 매개변수와 FLOP으로 뛰어난 작업 성능을 제공합니다. 하지만 레거시 프로세서 아키텍처는 EfficientNet을 매우 효율적으로 만드는 많은 속성을 활용할 수 없기 때문에 실질적인 도입에 장애가 됩니다.

예를 들어 EfficientNet에서 제공하는 깊이별 또는 그룹 컨볼루션은 표준 컨볼루션 운영 대비 표현도가 뛰어나고 연산 효율도 높지만, 산술 강도(데이터 이동 대비 연산 비율)가 낮습니다. 이러한 유형의 운영은 메모리와 프로세서 코어 간의 대규모 데이터 전송으로 인해 GPU에서 제대로 수행되지 않습니다. IPU의 메모리 중심 아키텍처를 이용하면 전체 모델과 활성화가 칩에 남아 있어 성능 부하가 높은 데이터 이동을 완화할 수 있습니다.

또한 IPU의 MIMD(Multiple Instruction, Multiple Data) 패러다임은 모델 및 훈련 절차의 여러 차원에 걸쳐 세분화된 병렬 처리를 제공합니다. 따라서 작은 컨볼루션을 사용하고 매우 적은 데이터 샘플을 병렬로 처리하면서 높은 처리량을 달성할 수 있습니다. 이와 반대로, SIMD(Single Instruction, Multiple Data) 아키텍처를 지원하는 GPU는 병렬 처리를 활용하는 방식이 제한되어 있기 때문에, 사용자는 머신러닝 알고리즘의 디자인과 하드웨어에서 달성 가능한 알고리즘 처리량 간에 타협을 진행해야 합니다.

IPU 하드웨어의 이번 가속화는 더 많은 혁신가와 AI 실무자들이 대규모 실제 구현에 EfficientNet 모델의 고효율성을 이용할 수 있는 기회를 제공합니다.

GitHub의 그래프코어 예제는 누구나 IPU에서 EfficientNet 모델 제품군을 포함한 다양한 인기 모델을 곧바로 활용할 수 있음을 보여 줍니다. 이 연습에서는 EfficientNet 성능을 벤치마킹하기 위해 AI 분야에서 자주 사용되는 EfficientNet-B4를 고려합니다.

처리량 최적화

모델 분산

데이터 IO

이러한 실행 체계를 통해 Poplar는 수십만 개의 타일에서 운영을 효율적으로 병렬화할 수 있습니다. IO가 제한된 애플리케이션의 경우 모든 타일에서 기본 BSP 패러다임이 성능을 제한합니다. Poplar는 비동기화 방식으로 일부 타일을 스트리밍 데이터에 할당하고 나머지 연산 타일은 BSP 패러다임에 따라 실행함으로써 이러한 문제를 해결합니다. 중복 IO는 IO 병목 현상을 완화하는 동시에 확장성이 높은 실행 체계를 가능하게 합니다. 위 방식들을 사용하는 것과 더불어, IPU당 1,472개 타일 중 32개를 IO 중첩에 할당하고 최대 3개의 데이터 배치를 미리 가져온 결과, 모든 시스템 규모에서 놀라운 처리량을 달성할 수 있었습니다.

배치 크기 확장

IPU-POD128 및 IPU-POD256과 같은 대규모 시스템에서 훈련하려면 대규모 전역 배치 크기를 사용하는 것이 좋습니다. 이렇게 하면 많은 복제본에서 데이터 샘플 처리를 병렬화할 수 있고, 각 복제본이 효율성을 유지하기에 충분한 작업을 수행할 수 있습니다. 또한 복제본 간의 그래디언트를 줄이는 비용을 분할 상환하기 위해 그래디언트 축적(GA)이라는 방식을 사용하여 복제본 간에 통신하고 가중치를 업데이트하기 전에 여러 정방향 및 역방향 패스에서 그래디언트를 로컬로 축적합니다. 따라서 전역 배치 크기는 로컬 배치 크기, 복제본 수, 그래디언트 축적 수의 곱입니다.

 

'EfficientNet을 더 효율적으로 만들기' 논문에서 가져온 그래프코어의 기준은 전역 배치 크기 768을 사용합니다. 로컬 배치 크기가 3인 경우 IPU-POD256에서 반복 훈련당 두 개의 로컬 배치만 생성되므로, 파이프라인 설정을 충분히 활용하지 못하고 빈번한 고비용 가중치 업데이트와 씨름해야 합니다. 하지만 단순히 전역 배치 크기를 늘리면 일반화 성능이 저하됩니다. 이 현상은 많은 머신러닝 애플리케이션, 특히 컴퓨터 비전에서 일반적으로 발생합니다. 따라서 그래프코어는 모든 IPU-POD 시스템에서 높은 처리량을 유지할 만큼 충분히 크지만 뛰어난 통계적 효율성을 확보할 만큼 작은 전역 배치 크기를 추구합니다.

 

옵티마이저는 큰 배치 크기를 사용하는 훈련의 안정성에 많은 영향을 미치는 것으로 잘 알려져 있습니다. 기존 EfficientNet 논문에서는 RMSProp 옵티마이저를 사용했는데, 이로 인해 조사에서 배치 크기를 늘릴 때 통계적 효율성을 유지하기가 어려웠습니다. Wongpanich 외 연구자들도 비슷하게 관찰했으며, 대신 큰 배치 크기를 사용하는 비전 모델 훈련에 효과적인 것으로 알려진 LARS(Layer-wise Adaptive Rate Scaling) 옵티마이저를 사용할 것을 제안합니다. LARS는 가중치와 가중치 업데이트 간에 유사한 규모를 유지하기 위해 계층별로 학습률을 조정합니다. LARS 외에도, 옵티마이저와 주로 함께 사용되는 다항식 감쇠 학습률 일정도 함께 사용합니다.

 

배치 크기, 학습률, 예열 에포크 수, 운동량 계수, 가중치 감쇠에 대해 초매개변수 스윕(Hyperparameter Sweep)을 수행한 결과, 기존 EfficientNet-B4 구현과 비교하여 성능 손실 없이 전역 배치 크기 6144를 달성할 수 있었습니다. 이 배치 크기에서는 고려되는 모든 IPU-POD에서 높은 그래디언트 축적 횟수를 유지할 수 있습니다.

성능 결과

이제 유연한 초매개변수 구성을 통해 다양한 IPU-POD 시스템에서 EfficientNet-B4에 대해 높은 처리량의 훈련을 진행할 수 있습니다. 기존 EfficientNet 논문에 따르면 350회 에포크 동안 훈련합니다. 'EfficientNet을 더 효율적으로 만들기' 논문은 EfficientNet 모델 제품군이 기본 해상도에서 미세 조정하기 전에 더 낮은 이미지 해상도에서 사전 훈련될 수 있음을 보여 주었지만, 저희는 다른 구현과 비교할 수 있도록 원래 해상도를 유지했습니다.

모든 실험은 IPU-POD의 크기에 따라 복제본 수와 그래디언트 축적 수를 조정함으로써 동일한 기본 머신러닝 초매개변수 구성을 사용했습니다. 그 결과, 82.54 ± 0.13%의 검증 정확도로 모두 수렴했습니다.

위 결과는 주요 GPU 하드웨어의 결과와 대조적으로 IPU 기반 시스템에서 EfficientNet이 얼마나 빠르게 훈련될 수 있는지 보여 줍니다. 신속한 모델 훈련은 혁신가가 새로운 아이디어를 빠르게 반복하고 테스트하는 데 필수적입니다. 그래프코어는 EfficientNet-B4를 2시간 이내에 훈련하여 혁신까지 걸리는 기간을 며칠에서 몇 시간으로 단축할 수 있습니다.
이러한 속도 향상은 많은 컴퓨터 비전 애플리케이션이 레거시 프로세서 아키텍처의 제한을 받지 않을 경우 대규모로 훨씬 더 빠르게 훈련될 수 있음을 보여 줍니다. EfficientNet과 같은 차세대 컴퓨터 비전 모델은 그래프코어의 IPU-POD 시스템과 같은 새로운 하드웨어와 함께 사용될 때 CT 스캔 분석 및 동영상 업스케일링에서 결함 진단 및 보험 청구 확인에 이르기까지 다양한 비전 관련 사용 사례를 가속화하는 데 도움이 됩니다.

 

이러한 구성은 그래프코어의 GitHub 예제에서 지금 시도해 볼 수 있습니다. (참고: 모든 IPU-POD 시스템의 최신 구성은 Poplar SDK 2.4 릴리스로 업데이트됩니다.)

이 기사의 원본은 Towards Data Science에 게시되었습니다.

 

Towards Data Science에서 기사 읽기

 

감사합니다.

이 연구에 공헌한 Dominic Masters와 Carlo Luschi에게 감사를 드립니다. 또한 아낌없는 지원과 인사이트를 제공한 그래프코어의 다른 동료들에게도 감사를 표합니다.