싱가포르 국립대학교, 그래프코어 IPU서 GNN 활용해 도심 교통상황 예측

그래프코어의 IPU 시스템은 그래프 신경망(GNN)과 같은 최첨단 모델을 실행하는데 있어 탁월한 성능을 보여주고 있는데요, 점점 더 다양한 애플리케이션에 걸쳐 GNN의 유용성이 입증되고 있습니다.

최근에는 교통이 혼잡한 도시에서 통행 시간을 예측하는 매우 복잡한 작업에 GNN이 활용되고 있는데요.

싱가포르 국립대학교(NUS)의 연구진은 보다 빠르고 정확한 통행 시간 예측을 대규모로 수행하기 위해 STGCN(Spatio-Temporal Graph Convolutional Network)와 MoE(Mixture of Experts) 접근방식을 사용합니다.

그래프코어 IPU는 CPU나 GPU 보다 훨씬 빠른 모델 학습속도를 지원하는데요. 이를 통해, 해당 분야의 발전을 앞당기는데 기여하고 있습니다.

NUS 전기컴퓨터공학부 부교수이자 연구팀 리더인 첸콩 탐(Chen-Khong Tham) 교수는 "그래프 합성곱 신경망을 통해 도시 전체의 실시간 교통 속도를 예측하고자 할 경우, IPU를 활용하면 속도가 개선되어 거의 실시간으로 교통 상황을 예측할 수 있다"고 설명했습니다.

교통 그래프

도심 교통의 효율화는 경제적 이익 창출, 환경 개선, 시민의 삶의 질 향상으로 이어질 수 있는데요. 이러한 이점들은 교통 시스템에 대한 UN의 지속가능한 개발 목표에도 반영돼 있는 것을 볼 수 있습니다.

통행 시간을 매일 정확히 예측할 수 있게 되면, 통근자, 배송원, 응급구조원 등 도로망을 이용하는 사람들이 이동 계획을 보다 효과적으로 수립하는 데 도움을 줄 수 있습니다.

이전에 AI가 활용된 영역에서는 일반적으로 도로의 특정 구간에서 발생하는 교통 지연에 대한 과거 데이터가 제공됐습니다. 고전적인 시계열 예측 작업이죠. 그러나 해당 접근방식은 비교적 너무 단순하며, 광범위한 도로망 전체의 상태를 비롯해 교통 흐름에 영향을 미치는 몇 가지 중요한 요인을 고려하지 못합니다.

탐 교수는 "특정 도로 구간에서의 통행 시간은 실제로 해당 구간 주변 도로의 영향을 받는다”고 말합니다. 이는 시계열 예측뿐 아니라 공간 차원을 함께 고려해야 한다는 것을 의미합니다.

NUS팀의 접근법은 도로망을 그래프 형태로 모델링하는 데 적합한데요, 여기서 노드는 개별 도로 구간을 나타내고 엣지(edge)는 구역 간 관계의 정도를 가장 강력한 연결관계를 갖는 인접 도로와 함께 나타냅니다.

입력 데이터는 시간 경과에 따라 촬영된 도로 구간 교통 정보 관련 스냅샷과 도로망 그래프로 구성됩니다.

NUS팀이 사용 중인 기본 머신 러닝 네트워크 아키텍처는 2018년에 Yu와 Yin, Zhu가 제안한 STGCN입니다.

공간적 측면과 시간적 측면은 탐 교수가 이른바 전처리 레이어의 '샌드위치'로 묘사하는 방식으로 결합됩니다. 시간적 특징을 추출하는 첫 번째 레이어가 공간적 특징을 추출하는 두 번째 레이어로 전달됩니다. 그리고 이 레이어는 또 다른 시간 레이어로 전달되는 것인데요.

3개 층으로 된 샌드위치에서 출력된 데이터는 표준 멀티 레이어 신경망으로 전달되어 향후 다양한 간격으로 각 도로 구간의 속도를 예측합니다.

MoE

도로망의 교통을 대규모로 예측하는 것은 복잡한 작업이므로, STGCN만 사용하는 것은 여러 모델을 함께 사용하는 것만큼 효과적이지 않습니다.
MoE는 앙상블 학습 접근법으로, 여기서 게이팅 네트워크는 다양한 조건에서 여러 STGCN 중 어떤 것을 사용할지 학습합니다.

탐 교수는 "STGCN이 4개 있다고 가정하면 매개변수도 4배가 되고, 학습 연산 요건도 4배가 되고, 메모리도 4배가 된다"고 설명합니다.

이 경우 추가 연산에 대한 부담은 그만큼의 가치를 갖게 되는데요, 예측 정확도가 5~10% 향상되기 때문입니다.

IPU가 제공하는 이점

탐 교수는 그래프코어 시스템이 MoE의 STGCN에서 뛰어난 성능을 내는 이유 중 하나로 IPU의 MIMD 아키텍처를 꼽는데요. "IPU를 사용하면 여러 명령과 데이터를 서로 다른 타일에서 처리할 수 있어 처리해야 하는 작업이 동일하지 않을 때 매우 유용하다”고 말합니다.

그는 또한 “여러 개의 전문 신경망을 보유하기 때문에 다양한 타일에 걸쳐 IPU의 병렬화를 활용하면 MoE 연산의 속도를 높일 수 있다”며,

게이팅 네트워크와 전문가 네트워크를 GPU에서 동시에 실행하는 것은 이만큼 간단하지 않을 것이다. 그렇기 때문에 IPU가 필요한 것이다. 게이팅 네트워크에서의 작업과 전문 신경망에서의 작업이 다르기 때문"이라고 덧붙였습니다.

NUS 연구진은 GPU에서 그래프코어 IPU로 전환 후 3~4배의 속도 개선을 달성했습니다. 관련 논문 및 전체 결과를 확인해 보세요.

강화 학습

STGCN과 MoE를 사용한 교통 속도 예측 외에도, NUS팀은 지능형 에이전트가 도로망의 현 상황에 대한 분석을 토대로 어떤 행동을 취해야 하는지 추천할 수 있는 심층 강화 학습을 연구하고 있습니다. 이러한 인사이트는 차량의 이동 경로, 교통 신호의 간격, 기타 실제 상황에서의 조치에 대한 정보를 제공하는 데 도움이 될 수 있습니다.

이러한 연산 집약적인 작업은 전통적으로 가속화가 용이하지 않았는데요. 탐 교수에 따르면, “오늘날 심층 강화 학습에서 시뮬레이션된 환경은 주로 CPU에서 실행되는 반면, 지능형 에이전트는 하드웨어 가속화 플랫폼에서 실행된다. 따라서, CPU와 하드웨어 가속화 플랫폼 사이에 I/O 병목현상이 발생하게 되기 때문”입니다.

이런 문제를 피할 방법은 시뮬레이션된 환경을 하드웨어 가속화 플랫폼에서 실행하는 것으로, 이는 그래프코어 시스템에 특히 적합한 솔루션입니다.

탐 교수는 "이 경우 IPU는 MIMD 아키텍처 덕분에 훨씬 더 강력한 이점을 갖는다. 환경은 각각 다른 상태에 있을 수 있다. 하지만, 고려 중인 다른 환경과 동기화할 필요 없이 IPU의 이러한 기능을 활용해 다양한 환경을 동시에 탐색할 수 있다"고 설명합니다.

탐 교수와 그의 연구팀은 그래프코어 머신 인텔리전스 아카데미의 일환으로 IPU를 사용하고 있습니다.

참고 문헌:

R Chattopadhyay and CK Tham, “Mixture of Experts based Model Integration for Traffic State Prediction”, IEEE Vehicle Technology Conference (VTC) 2022, Helsinki, Finland, June 2022.

B. Yu, H. Yin, and Z. Zhu, “Spatio-temporal graph convolutional networks: A deep learning framework for traffic forecasting,” in Proceedings of the 27th International Joint Conference on Artificial Intelligence (IJCAI), 2018.