エッジAI領域の消費電力削減と起動時間短縮を目標

――東北大学は2022年度から2024年度にかけてNEDOの委託事業として「省エネAI半導体及びシステムに関する技術開発事業／AIエッジコンピューティングの産業応用加速のための技術開発」に取り組んできました。どのような課題に臨もうとお考えになったのでしょうか。
生成AIの応用が拡大しています。一方で、AIコンピューティングで消費される電力の増大は社会課題にも挙げられています。同時に、AIやビッグデータの処理に求められる性能要件も上がっています。今まではいわゆるムーアの法則に従って半導体の微細化を進めていけば性能もおのずと上がっていったわけですが、アーキテクチャ的な「ガラガラポン」（再設計）を行って半導体回路を刷新しないと、これからのAI時代の性能要件に応えることができなくなっています。

AIコンピューティングにはおおまかに、大規模な学習や推論を高速に処理するサーバーやクラウドなどの領域と、スマートフォン、車載機器、産業機器などのいわゆるエッジの領域の2つがあります。消費電力はサーバーシステムが圧倒的ですが、エッジ領域においても電力の削減と性能の向上を同時に図っていかなければなりません。

そこでエッジ用AIチップの開発を対象に、消費電力の削減を図ることを目的にしたプロジェクトが「省エネAI半導体及びシステムに関する技術開発事業」です。目標として、消費電力の1桁以上の削減と、エッジAIデバイスの起動時間の大幅な短縮を設定しました。

――東北大学、アイシン、NECの3者はそれぞれどのような役割を担ったのでしょうか。
4つの実施項目を定めました（下図）。東北大学は「CMOS/スピントロニクス融合技術AI処理LSIの効率的設計技術の研究開発」と題して、東北大学 国際集積エレクトロニクス研究開発センター（CIES）が研究してきた物体認識用のAIアクセラレータ^*1を基に、C言語で記述した動作レベルハードウエアモデル^*2を開発するとともに、このハードウエアモデルから半導体の設計情報へと効率的に変換する手法を開発しました。また、スピントロニクス素子であるMRAMの将来的なIP化に向けて、特性評価を目的にしたTEG（テスト・エレメント・グループ）チップの試作評価も行いました。これらが実施項目1です。

実施項目2の「CMOS/スピントロニクス融合AIチップに向けた設計技術の検証実証の研究開発」と実施項目4の「車載への応用技術の研究開発」を担ったのがアイシンです。台湾積体電路製造（TSMC）のMRAM混載に対応した16nmFinFETプロセスを用いて、東北大学が開発したAIアクセラレータを含むCMOS/スピントロニクスを融合した実証チップの開発を行いました。また本研究開発技術を車載へ応用すべく、車載への応用技術の研究開発を行いました。 NECは実施項目3の「CMOS/スピントロニクス融合AIチップのエッジサーベイランスへの応用技術の研究開発」と題して、エッジサーベイランスシステム向けに、NECの高効率実行技術との相乗効果でCMOS/スピントロニクス融合AIチップの電力削減効果をさらに引き出す技術の開発を行いました。

「省エネAI半導体及びシステムに関する技術開発事業」における4つの実施項目。実施項目1-1と1-2は東北大学、実施項目2と実施項目4はアイシン、実施項目3はNECが担当（出典：東北大学）

ニアメモリ・コンピューティング構成を開発

――東北大学はどのような手法で消費電力を抑えようと構想したのでしょうか。
従来のエッジAIシステムは、アプリケーション・プロセッサを中心に、OSやアプリケーションソフトウエアのほかAIの重みデータを格納する外付けフラッシュメモリ、それらのプログラムやデータの展開先である外付けDRAM、AIアクセラレータ、各ペリフェラルなどで構成されています。フラッシュメモリやDRAMは外付けチップとしてプロセッサやアクセラレータからアクセス的に離れて配置されていることから、「ファーメモリ・コンピューティング構造」と呼ばれています。メモリは外付けですので消費電力が大きく、かつデータなどをやり取りする帯域も制限されています。

私たちは、プロセッサやアクセラレータとメモリとを単一のチップに統合した「ニアメモリ・コンピューティング構造」を構想しました。外付けフラッシュや外付けDRAMが不要になりますので、消費電力を抑えることができます。合わせて、OSの小型化も進めてエッジAIチップの起動時間の大幅な短縮を目指しました。瞬時にブートできれば、エッジAIチップを使用しないときはチップ全体の電源をオフにする間欠的な動作によって電力をさらに削減できるからです。こうしたニアメモリ・コンピューティングを実現するために採用したのが、スピントロニクス素子であるMRAMでした。

――この技術開発において重要なスピントロニクス技術について教えてください。
電子は負の電荷を持つ粒子で、物質中を移動することで電流を担います。電子はさらに、量子力学的には自転運動にたとえられるスピン（回転）動作によって磁石の性質を合わせ持つことが知られています。スピントロニクスとはスピンとエレクトロニクスとを組み合わせた造語で、ハードディスクドライブにおける高密度記録や、今回扱ったMRAMとして実用化されています。

MRAMは磁石を利用しているため、電源をオフにしてもデータが消えません。フラッシュメモリにも同じようにデータが消えない性質がありますが、一般的なNAND型はランダムアクセス性能が遅く、また書き換え回数に制限があり、記憶セルあたり数千回から数万回とされています。一方のMRAMはアクセス性能がDRAMやSRAM並みに高く、かつ量子力学的なトンネル効果を利用しているため耐久性にも優れ、10兆回程度のアクセスが可能と言われています。しかも、半導体ウエハ上のビット当たりの面積がきわめて小さく、微細化が進めばさらなる大容量化も可能です。こうしたメリットがあり、応用拡大に向けた開発が世界中で活発に進められている状況です。

エッジAI用のAIアクセラレータと設計フローを開発

――東北大学が担当した実施項目1「CMOS/スピントロニクス融合技術AI処理LSIの効率的設計技術の研究開発」の概要と、工夫したポイントをご説明ください。
エッジAI分野で広く活用されているオープンソースの軽量な物体検出モデル「Tiny YOLOv3」をベースに、東北大学のCIESが小型化と低消費電力化を進めてきた物体検出モデルを、重みメモリにMRAMを使いながらハードウエア化したものが今回開発したAIアクセラレータです。C言語で書かれているもともとの物体検出モデルと機能的に等価なハードウエアを実現するために、ビヘイビアモデルと呼ばれる動作レベルハードウエアモデルを開発するとともに、後戻りの少ない効率的な設計フローを構築しました。

物体検出の処理においては、消費電力の少ない不揮発性のMRAMを重みデータ^*3の格納に使用し、CMOSのSRAMをワーク領域^*4として使用しています。それぞれを内蔵することで、外付けDRAMと外付けフラッシュメモリを不要とし、ニアメモリ・コンピューティングを実現しています。

また、動作レベルハードウエアモデルを高位合成ツールを使ってRTL^*5に変換した際に、RTLの品質を確認するツールを用いて電力、速度、面積、配線密度を見積もることで設計のやり直し、いわゆる工程の後戻りを削減しています。従来は、配置配線後の電力や性能や面積などの評価は人手で時間をかけて行う必要がありました。新たな設計フローを用いることで、半導体の専門ではない人でもMRAMを搭載したロジック（演算・制御を行う半導体回路）を記述できるようになりますので、開発の裾野が広がっていくと期待しています。

AIアクセラレータの設計における設計フローの概要。オリジナルのソフトウエアモデルと開発した動作レベルハードウエアモデルが機能的に等しいことを確認したのち、高位合成ツールの段階で面積や遅延などを見積もるなどの工夫で、後戻りを削減した。また、重みデータをMRAMに格納するなどの工夫で外部メモリを不要にした（出典：東北大学）

――事業は2024年度で終了しました。成果を教えてください。
スピントロニクス技術を使ったMRAMを活用しながら、エッジAIシステムの消費電力を大幅に削減するシステム構成を考案しました。そのうちの実施項目1において、東北大学 CIESが研究してきた物体認識用のAIアクセラレータを基に、C言語で記述した動作レベルハードウエアモデルの開発と、後戻りの少ない設計フローの開発を行いました。AIアクセラレータにおいては、設計のソースコードを従来方式に比べて1/42に削減することに成功し、結果としてシミュレーション時間を57倍から最大250倍にまで高速化できました。また、消費電力に関しては、MRAMの融合の効果もあり、NEDOの委託事業として設定した10倍を超える14倍の電力効率をシミュレーションによって確認しました。これらの成果によって、「CEATEC AWARD 2024」にて「ネクストジェネレーション部門賞」を受賞しました。

なお、本学のAIアクセラレータを搭載した実際のエッジAIチップは、TSMCの16nmプロセスを用いてアイシンが開発し、動作を確認済みです。OS起動の高速化の効果もあり、電源オンからOS起動を経て最初の物体認識処理が完了するまでの電力効率は、従来のファーメモリ方式に比べて50倍以上に向上しました。

「省エネAI半導体及びシステムに関する技術開発事業」における東北大学、アイシン、NECのそれぞれの成果が評価され、「CEATEC AWARD 2024」で「ネクストジェネレーション部門賞」を受賞した（出典：東北大学）

――今後の展望をお聞かせください。
スピントロニクス技術を使ったMRAMの活用がエッジAIシステムの消費電力の削減に効果があることが実証できました。今後は、アイシンでの車載機能への応用や、NECでのサーベイランスシステムへの展開に期待しています。さらに第2ステップとして、ヘルスケア、インダストリ、ホームなど、さまざまな市場に展開を図っていきたいと考えています。また、東北大学にて、AIアクセラレータやMRAMの設計サービスや試作サービスを提供することも検討していきたいと思っています。

冒頭で触れたようにムーアの法則だけでは性能要件の向上をカバーし切れなくなっている今、CMOSとスピントロニクス技術の融合を新たなアーキテクチャとして、エッジAIの選択肢として訴求、提案していきたいと考えています。

*1　AIアクセラレータとは、AIの計算処理を高速化するために設計されたハードウエアのことを指します。従来のCPUやGPUよりも高速にAIの計算を行い、AIアプリケーションにおけるコストを大幅に低減します。
*2　動作レベルハードウエアモデルとは、アルゴリズムや振る舞いを高級言語（例えばC言語など）で記述したもののこと。
*3　重みデータとは、物体の色や形などを学習させたデータのこと。
*4　ワーク領域とは、途中経過などを一時的に格納するエリアのこと。
*5　RTLとは、レジスタ転送レベルの略でデジタル回路の動作を記述したもののこと。