ゲーム用ジェスチャ認識
低消費電力マイコンによるカメラ不要の実装。
もはや「マイノリティ･リポート」は絵空事ではありません。 ジェスチャに基づく制御は、ユーザ･エクスペリエンスの向上や感染症予防対策の面でメリットをもたらします。 デモのために基本ジェスチャを識別する4つのクラスを作成しましたが、このモデルはあらゆるジェスチャを学習させることで最終ユーザに幅広い新機能を提供できます。 NanoEdge AI StudioはTime-of-Flightセンサをサポートしていますが、このアプリケーションはレーダーなどの他のセンサでも対応可能です。
アプローチ
カメラではなくToF測距センサを使用しています。 これにより処理する信号数が減り、必要な情報のみが得られます。
背景の影響を低減するために検出距離を20cmに設定しました。
センサのサンプリング周波数は、通常の速度でジェスチャをキャプチャするために最大値（15Hz）に設定しています。
空測定（動きなし）を避けるために、クラスごとに1,200レコードのデータセットを作成しました。
データ･ロギングは、NEAI Studioが動作するPCに接続された評価ボードで非常に簡単に管理できます。
最後に、NanoEdge AI Studioで「Nクラス分類」モデル（4クラス）を作成し、NUCLEO_F401REでライブテストしました。 (X-NUCLEO-53L5A1アドオンボード付き)
背景の影響を低減するために検出距離を20cmに設定しました。
センサのサンプリング周波数は、通常の速度でジェスチャをキャプチャするために最大値（15Hz）に設定しています。
空測定（動きなし）を避けるために、クラスごとに1,200レコードのデータセットを作成しました。
データ･ロギングは、NEAI Studioが動作するPCに接続された評価ボードで非常に簡単に管理できます。
最後に、NanoEdge AI Studioで「Nクラス分類」モデル（4クラス）を作成し、NUCLEO_F401REでライブテストしました。 (X-NUCLEO-53L5A1アドオンボード付き)
センサ
ToF測距センサ： VL53L5CX
データ
4クラスのデータ上下左右の動き
データ長256、8x8の連続する4つのマトリックス
データレート15Hz
データ長256、8x8の連続する4つのマトリックス
データレート15Hz
結果
4クラス分類:
98.12%の精度、1.3 KB RAM、59.1 KB フラッシュ
緑の点は正しく分類された信号を表し、赤い点は誤って分類された信号を表します。 横座標はクラス、縦座標は正常状態に対する類似度です。
リソース
モデル作成ツール NanoEdge AI Studio
要件に合った最適なAIモデルを簡単に見つけられるようユーザをステップ･バイ･ステップでガイドし、組込みプロジェクトにAIを追加できる無償のAuto MLソフトウェアです。
対応製品 STM32
Arm® Cortex®-Mベース32bitマイコンのSTM32ファミリは、マイコン･ユーザに高いレベルの自由を提供します。完全統合性および開発の容易さを維持しながら、高性能、リアルタイム性能、豊富な機能、デジタル信号処理、低消費電力 / 低電圧駆動、およびコネクティビティを兼ね備えた製品を提供します。
