AIアシスタントのようなハンドヘルド･スマート･デバイスは、スマートフォンやクラウド･バックエンドから、瞬時の応答、プライバシー、省電力が最も重要な日用品（家電、キオスク、ウェアラブル機器、機械）に移行しています。こうした流れに対応するには、カスタム･ハードウェアを開発したり、複雑なLinuxスタックを構築したりすることなく、新しいアシスタントの動作（今日は検出器を試し、明日はジェスチャや音声を追加する）の試作開発と反復を素早く行う方法が必要です。
アプローチ
目標は、開発チームが外部アドオンやクラウドに依存することなく、真にマルチモーダルなAIアシスタントを構築できるように、ビジョン、オーディオ、モーション･センシングを1枚のSTM32N6ボードに統合した、オープンですぐにプログラム可能な開発プラットフォームを提供することです。グローバル･シャッタ･カメラ、オンセンサ処理機能を備えた慣性測定ユニット（IMU）、マイク/オーディオ･パス、タッチスクリーンUI、およびWi-Fiを統合することで、開発者は視覚検出器からジェスチャ制御、音声対話まで、同じハードウェアとファームウェア･ベースを使用して素早く実験と反復を行うことが可能になります。
これらの機能は、即時性、機密性、エネルギー効率に優れた相互作用が不可欠な現実世界の幅広い展開を実現します。
アプリケーションの概要
コンパクトなオンデバイス･パイプラインは、生のセンサ信号をSTM32N6プラットフォーム上のリアルタイムのアシスタント･アクションに変換し、データをローカルに保ちながら遅延を予測可能な範囲に抑えることで、スムーズなユーザ体験（UX）を実現します。
1 - キャプチャ
カメラ、IMU、マイクがエッジでのマルチモーダル処理のために、ビジョン、モーション、およびオーディオの同期ストリームを収集します。
2 - 前処理
内部イメージ･シグナル･プロセッサ（DCMIPP）がネットワーク入力に合わせてフレームをサイズ変更/クロップすると同時に、インテリジェント･センサ処理ユニット（ISPU）が推論のためにモーション特徴とオーディオ･パス･フレーム･サンプルを抽出します。
3 - 推論
STM32Cube.AIでコンパイルされた量子化モデルを、Neural-ARTニューラル･プロセッシング･ユニット（NPU）上で実行します。YOLOのデコードなどの軽量な後処理はCortex-M55が実行します。
4 - 判断とUX
結果に基づいて、オンデバイス･アクション、480 x 480タッチスクリーンへのUIオーバーレイの表示、オプションのWi-Fiイベント発行を実行します。クラウド通信は不要です。
5 - 反復と展開
STM32ツールチェーンを使用して、モデルとクラスを更新し、署名付き画像をFlashメモリに書き込み、同じアプリケーションをターゲット･ハードウェアにスケーリングします。
センサ
- 高速移動する物体を歪みなく鮮明に撮影するVD55G1 800 x 700グローバル･シャッタ･カメラ
- メイン･プロセッサを起動させることなく、超低消費電力のジェスチャ / アクティビティ認識（タップ操作や動作の検出）を可能にする、インテリジェント･センサ処理ユニット（ISPU）を内蔵したLSM6DSO16IS
- 方位認識アプリに方位情報を提供するLIS2MDL地磁気センサ
- 音声 / イベント検出によりインタラクティブなUXを実現するオンデバイスデジタル･マイク（MP34DT06JTR） + コーデック
リソース
ハードウェア仕様、クイック･スタート･ガイド、フラッシュ手順、サンプル･アプリ、モデル展開手順など、試作開発と製品化を加速させる幅広い開発者向けリソースが、AIアシスタントWikiページに用意されています。
執筆者：Seeed社およびSTマイクロエレクトロニクス | 最終更新日：2025年10月
リソース
STM32Cube.AIで最適化
STM32Cubeの無料の拡張パッケージX-CUBE-AIを使用すると、ニューラル･ネットワークや機械学習モデルなどの学習済みAIアルゴリズムを、STM32用の最適化されたCコードに自動変換できます。
STM32N6シリーズに最適
Arm® Cortex®‑Mプロセッサをベースとする32bit汎用マイクロコントローラのSTM32ファミリは、より柔軟かつ自由なアプリケーション開発を実現します。高性能、リアルタイムの処理能力、デジタル信号処理（DSP）、低消費電力 / 低電圧動作、コネクティビティなどのさまざまな機能を集積した製品により、開発をサポートします。