Graphcore IPUによってGNNを用いた移動時間の予測が改善

グラフニューラルネットワーク（GNN）の実用性はさまざまなアプリケーションで証明されていますが、GraphcoreのIPUシステムでも最先端のモデルの実行において、GNNの卓越した能力が実証されています。

GNNが応用されている最新の取り組みの一つに、混雑した都市における交通所要時間の予測という、その複雑さから有名な課題があります。

シンガポール国立大学（NUS）の研究者たちは、時空間グラフ畳み込みネットワークと混合エキスパート（MoE）のアプローチを組み合わせて、高速かつ正確で大規模な所要時間の予測を行っています。

Graphcore IPUでモデルを学習することで、CPUやGPUよりも大幅な高速化が実現され、この分野における究極の理想に向けた進歩が加速すると期待されています。

「グラフ畳み込みニューラルネットワークで可能なのと同様に、都市全体の交通速度をリアルタイムで予測したい場合は、IPUの高速化を利用すれば、ほぼリアルタイムで交通状態を予測できます」と、NUSの電気・コンピュータ工学科で研究リーダーを務めるChen-Khong Tham准教授は述べています。

交通量のグラフ

都市交通をより効率的に運用することで、経済効果や環境改善、住民のクオリティ・オブ・ライフの向上につながります。このようなメリットは、交通システムに関する国連の持続可能な開発目標（SDGs）にも盛り込まれています。

日々、移動時間を正確に予測することで、通勤・通学者や宅配業者、救急隊員など、道路網を利用する人々が移動予定を立てやすくなります。

これまでAIが採用されてきた現場では、概して道路の特定区間における交通遅延の履歴データが入力として使用されていました。つまり古典的な時系列の予測タスクです。ただし、このアプローチは比較的単純で、より広い道路網全体の状況など、交通の動きに影響を与える重要な要因がいくつか省かれています。

「ある道路区間での移動時間は、実はその周辺の道路に左右されます」とTham准教授は語ります。これは、時系列の予測に加え、空間的な次元も考慮しなければならないことを意味します。

NUSのチームのアプローチは、道路網をグラフの形でモデル化するのに適しています。ノードが個々の道路区間を表し、エッジが道路区間どうしの関係の強さを表し、隣接する道路が最も強いつながりを持つというものです。

入力データは、道路網の道路区間における交通情報を経時的に撮影したスナップショットと、道路網グラフで構成されます。

基礎となる機械学習ネットワークアーキテクチャには、2018年にYu、Yin、Zhuが提唱した時空間グラフ畳み込みネットワーク（STGCN）を使用します。

空間的な側面と時間的な側面は、Tham准教授の言葉を借りれば、前処理層の「サンドイッチ」のように組み合わされます。時間的特徴を抽出する第1層は、空間的特徴を抽出する第2層に入力されます。これが次に、別の時間層に渡されます。

3層サンドイッチの出力は標準的な多層ニューラルネットワークに入力され、将来、さまざまな間隔にある異なる道路区間の速度予測を生成するために使用されます。

混合エキスパート

大規模な道路網における交通量の予測は複雑であるため、単一のSTGCNでは、複数のモデルのアンサンブルのようには機能しません。

混合エキスパートはアンサンブル学習のアプローチの一つで、ゲーティングネットワークが複数のSTGCNのうちどれを使うかを、さまざまな条件に応じて学習します。

「例えばSTGCNが4つあれば、パラメータの数は4倍になり、学習の計算要件は4倍になり、メモリも4倍になります」とTham准教授は説明します。

この場合、計算負荷が増える分、予測精度が5～10%向上することがわかりました。

IPUの優位性

Tham准教授は、Graphcoreのシステムが混合エキスパートSTGCNで優れたパフォーマンスを発揮する理由の一つとして、IPUのMIMDアーキテクチャを挙げています。「IPUでは、複数の命令と複数のデータを異なるタイルで処理できます。これは、演算が一様でない場合に非常に有効です」

「複数のエキスパートニューラルネットワークがあるので、複数のタイルやIPUでの並列化が混合エキスパートの計算を高速化するのに役立つことは明白です」

「ゲーティングネットワークとエキスパートネットワークをGPU上で同時に動作させるのは、おそらく容易ではないでしょう。だからこそIPUが絶対に必要なのです。ゲーティングネットワークの演算はエキスパートニューラルネットワークの演算とは別物なのですから」とTham准教授は語ります。

NUSの研究者たちは、GPUからGraphcore IPUに移行することで3～4倍の高速化を実現しました。その論文と詳細な結果については、こちらからご覧ください。

強化学習

NUSのチームは、混合エキスパートによるSTGCNを使った交通速度の予測に加え、道路網の現状分析に基づいて取るべき行動を知的エージェントが推奨する深層強化学習にも注目しています。これらの知見は、車の運転方法や信号機の変わるタイミングなど、実世界での行動に反映させることができます。

この計算負荷の高いタスクは、従来、高速化が困難とされてきました。Tham准教授はその理由を次のように説明します。「今日の深層強化学習の問題におけるシミュレーション環境は、大部分がCPU上で動作しており、知的エージェントはハードウェアアクセラレーションプラットフォーム上で動作しています」

「CPUとハードウェアアクセラレーションプラットフォームの間にI/Oボトルネックが存在しています」

これを回避する方法の一つは、ハードウェアアクセラレーションプラットフォーム上でシミュレーション環境を動作させることですが、これこそが、とりわけGraphcoreのシステムに適したソリューションなのです。

「この場合も、MIMDパラダイムによるIPUの優位性が発揮されます」とTham准教授は続けます。 「シミュレーション環境はさまざまな状態にすることができます。検討中の他の環境と同期させる必要はなく、IPUのこの機能を使って、複数の環境を同時に探索できるのです」

Tham准教授と彼の研究チームは、Graphcore Machine Intelligence Academyの一環としてIPUを使用しています。

参考文献：

R ChattopadhyayおよびCK Tham、「Mixture of Experts based Model Integration for Traffic State Prediction（交通状態予測のための混合エキスパートによるモデル統合）」、IEEE Vehicle Technology Conference（VTC、自動車技術会議）2022 、2022年6月フィンランド・ヘルシンキ

B. Yu、H. Yin、およびZ. Zhu、「Spatio-temporal graph convolutional networks:A deep learning framework for traffic forecasting（時空間グラフ畳み込みネットワーク：交通量予測のための深層学習フレームワーク）」、第27回国際人工知能会議（IJCAI）の議事録から、2018年