HuaweiのAI内蔵CPU「Kirin 970」はスマホの進むべき道を示す重要な製品だ

そしてユー氏がもっとも時間を割いて説明したのが、同社がNPU(Neural network Processing Unit)と呼んでいる、AI専用のアクセラレータだ。

ユー氏は「CPUのダイエリアの半分相当のNPUを実装することで、CPUに比べて25倍の性能で、50倍の電力効率でAIの処理ができる。200枚の写真を認識する性能は、CPUに比べて20倍以上で実行できている」と述べ、実際にCPUとNPUで写真の認識を処理する様子をビデオで公開した。

このNPUは、「AI処理を専用に行なうプロセッサ」とだけ表現し、具体的なアーキテクチャに関しては説明しなかったが、写真の認識のデモなどがベンチマークに利用されていることから、NPUは、ディープラーニングの推論を専用に行なうアクセラレータであると考えるのが妥当だろう。

AIを実装するに使われている計算手法であるディープラーニングは、ざっくり学習と推論という2つの機能に分けられる。学習というのはDNN(Deep Neural Network)と呼ばれる人間の脳を模した多階層のニューラルネットワークにデータを読み込ませてAIを鍛える作業だが、これには強力な汎用プロセッサが必要になる。そのため、NVIDIAのTeslaのようなGPUを複数台接続して演算するのが一般的だ。

それに対して推論というのは、その学習によって鍛えられたDNNを利用して、画像認識や音声認識などを行なう作業のことで、猫の画像が来たら猫、犬の画像が来たら犬と判別する作業になる。

近年では、エッジ向けSoCにアクセラレータを搭載するのが一般的になっている。たとえば、NVIDIAは5月のGTCで発表した次世代車載向けSoCとなる「Xavier」(エグゼビア)にDLA(Deep Learning Accelerator)を搭載しており、推論を専用に行なうアクセラレータを搭載している(NVIDIA、70億トランジスタで消費電力が20Wの自動運転車向けSoC「Xavier」参照)。

推論のアクセラレータを搭載するメリットは、汎用プロセッサであるCPU/GPUに比べて圧倒的に低い消費電力で高い性能で推論を行なえることだ。アクセラレータではあらかじめ決まった処理しかできないが、画像認識などの決まった処理では圧倒的に高性能で、低消費電力で処理ができる。このため、自動運転向けのSoCなどでこうした推論アクセラレータが搭載され始めているが、そのトレンドがスマートフォン向けにもやってきた。

NPUはタスクスケジューリングやメモリアロケーション、UIのグラフィックス処理、画像認識など、幅広くAI一般に柔軟に利用できるよう設計されている。たとえばAIが端末全体の動きを見ながら必要のないタスクをオフにしたり、メモリの割り当てを調節したり、画像認識はもちろんのこと、AIがカメラアプリを操作して、最適なホワイトバランスや露出の設定などを行ないながら撮影できる。

これらのAIアプリは自社ソフトウェアに実装するだけでなく、サードパーティにもSDKを提供する。現在ディープラーニングを応用したソフトウェアの開発で一般的に利用されているTensorflow/Tensorflow Lite、Caffe/Caffe2などのディープラーニングフレームワークを利用して、ソフトウェアの開発ができる。