機械学習ベンチマークでエネルギー消費を比較

機械学習（ML）は、小型のモノのインターネット（IoT）デバイスから大規模なデータセンターにまで、多くのアプリケーションで人気が高まっています。リアルタイムに対する期待、オフライン操作の必須条件、バッテリー節約の目的、さらにはセキュリティとプライバシーなどのさまざまな理由から、ML アルゴリズムとデータ処理をデータが生成されているエッジで実行することが最も最適です。これらの低消費電力 IoT デバイスは、センサーデバイスに組み込まれたマイクロコントローラ、ワイヤレス SoC、インテリジェンスなどがあります。

これを実現するには、半導体製品メーカーは、チップに組み込まれた HWアクセラレーションでサポートされた必要なMLソフトウェアを効率的に実行できる、小型の低消費電力プロセッサまたはマイクロコントローラが必要です。特定のデバイスのパフォーマンスを評価することが簡単ではないのは、MLアプリケーションにおけるその有効性が、生の数値計算よりも重要であるためです。

オープン・エンジニアリング・コンソーシアムである MLCommons™ は、さまざまなベンダーからの ML 製品を比較するために 3 つのベンチマーク・スイートを開発しました。MLCommons は、ベンチマーク、メトリクス、公開データセット、ベストプラクティスを通じて機械学習業界に利益をもたらすための共同エンジニアリング作業に重点を置いています。

MLPerf™ と呼ばれるこれらのベンチマーク・スイートは、トレーニングを受けたMLモデルを新しいデータに適用する際に、推論に基づいてML システムのパフォーマンスを測定します。また、このベンチマークは、推論タスクの完了に使用されるエネルギーも任意で測定します。ベンチマークはオープンソースでピアレビューされているため、パフォーマンスとエネルギー効率の客観的で公平なテストを提供します。

MLCommons から入手可能な3つのベンチマークのうち、Silicon Labs では MLPerf Tiny スイート向けのソリューションを提出しました。MLPerf Tiny は低消費電力の最小デバイスを対象としており、IoT やインテリジェント・センシングなどの深く埋め込まれたアプリケーションに一般的に使用されています。

ベンチマークテスト 

MLCommons では最近、MLPerf Tiny 1.0 ベンチマークのラウンドを実施し、異なるベンダーによる分析をおこなうために、16 のさまざまなシステムを提出しました。

通常、顧客はこれらの超低消費電力MLシステムで、単なるパフォーマンス以上のものを求めています。また、消費電力にも重点を置いており、特にバッテリー駆動のアプリケーションを作成する場合、システムがタスクを実行するために使用するエネルギーを最も重要な指標として優先します。

代表的なテストについては、ベンチマークには次の5つの異なるシナリオのMLモデルが含まれていました（表１を参照）：キーワードスポッティング、ビジュアルウェイクワード、画像分類、異常検知。それぞれのシナリオでは、特定のデータセットとMLモデルを使用して実際のアプリケーションをシミュレーションします。ベンチマークスイートは、使用するハードウェア、ソフトウェア、機械学習モデルをテストするように設計されています。いずれの場合も、テストでは1回の推論の待ち時間を測定し、タスクがどれだけ早く完了したかを示します。 さらに、このテストはオプションで使用したエネルギーを測定することもできました。

ベンチマークされた Silicon Labs のシステム 

Silicon Labs は、ベンチマークのために自社の EFR32MG24 Multiprotocol Wireless System on Chip (SoC) を提出しました。この SoC には、Arm Cortex®-M33 コア（78 MHz、1.5 MB のフラッシュ / 256 kB の RAM）が 1 つと Silicon Labs AI/ML のアクセラレータ・サブシステムが 1 つ含まれています。これは、Bluetooth Low Energy（BLE）、Bluetooth メッシュ、Matter、OpenThread、Zigbee など、複数の 2.4 GHz RF プロトコルをサポートしています。スマートホーム、照明、ビルオートメーションなどのメッシュ IoT ワイヤレスアプリケーションに最適です。このコンパクトな開発プラットフォームは、AI/ML 開発でシンプルで時間を節約するパスを提供します。

この SoC は TensorFlowLite for Microcontrollers ソフトウェアを実行していました。これにより、ML推論モデルは、小さなメモリを持つマイクロコントローラや他の低消費電力デバイスで実行できます。Silicon Labs Gecko ソフトウェア開発キット（SDK）の CMSIS-NN ライブラリから最適化されたニューラル・ネットワーク・カーネルを使用しました。

結果 

The MLPerf™ Tiny v1.0 ベンチマークでは、Silicon Labs のEFR32MG24プラットフォームのオンチップ・アクセラレータの効率性を強調する結果となりました。推論計算はメイン CPU からオフロードされるため、他のタスクを実行したり、スリープモードにして、さらなる省電力を実現します。

AI/ML 強化型低電力ワイヤレス IoT ソリューションの高まるニーズを満たすことは不可欠です。これにより1つのコイン型電池でデバイスを最大で 10年間現場に置いておくことができます。これらの最新結果は、以前の Tiny v0.7 結果から選ばれた他のベンチマーク AI/MLモデルと比較すして、速度が 1.5 ～ 2 倍向上し、エネルギー消費量が 40～80% 削減されたことを示しています。

ML が組み込み IoT アプリケーションでより広く使用されるようになるにつれて、低消費電力で推論を実行する能力が不可欠となり、製品設計者は新しいユースケースやさまざまなデバイスに ML を適用できるようになります。