音声対応デバイスには、騒音環境下においてクラウド処理や専用のDSPハードウェアに依存することなく、明瞭な音声入力を実現することが求められます。embedUR社は、オンチップの演算リソースとメモリのみを用いてバックグラウンド･ノイズをリアルタイムで除去する、軽量なニューラル･ネットワークをSTM32N6 に実装しました。これにより、従来の信号処理用ハードウェアに伴うコストや複雑さを解消すると同時に、リアルタイムの応答に十分な低遅延を実現します。
アプリケーション･ドメイン
- スマート家電（オーブン、掃除機、洗濯機）
- 家庭用電子機器（スマート･スピーカ、ウェアラブル機器、リモコン）
- 産業用および商業用インターホン / アクセス制御システム
- 医療用モニタリング機器
- 車載用インフォテインメント / 運転支援システム
アプローチ
機械、交通、または環境音によるバックグラウンド･ノイズは、家庭用電子機器や産業用音声インタフェースの音声認識精度を著しく低下させます。スマート家電、インターホン、ウェアラブル機器などの製品は明瞭な音声入力が求められますが、従来のソリューションにはそれぞれ課題がありました。
専用DSPチップ は、ハードウェア･コスト、消費電力、統合の複雑さを増大させます。クラウド･ベースの音声認識処理 は、インターネット接続を必要とするため、遅延やプライバシーに関する懸念があります。従来のマイクロコントローラに搭載されたノイズ･フィルタリング技術 は、騒音源が複数存在する環境では効果が限定的で、実際の使用環境への適用にも限界がありました。
embedUR社は、STM32N6にコンパクトなニューラル･ネットワークを直接実装することで、この課題に対処しました。オンチップ･メモリのみで完全に動作するようにモデルを量子化および最適化することで、追加ハードウェアなしでリアルタイム･ノイズ抑制 を実現しています。
この組み込みAIの手法がもたらす主なメリット：
- コスト削減：専用DSPチップやクラウド･サブスクリプションが不要
- 超低遅延：フレーム単位のリアルタイム処理により、迅速なユーザ･インタラクションを実現
- 高電力効率：STM32N6の超低消費電力動作を維持したまま実行できるため、バッテリ駆動機器や常時稼働機器に最適
- 精度の向上：実際の騒音条件下（工場、交通、屋内での会話）におけるキーワード検出率が向上
- 完全なオフライン機能：プライバシーを重視する環境や接続環境が制限された環境に最適
このソリューションは、組み込みAIがオーディオ関連機器に新たな可能性をもたらし、超小型製品にもスマートで応答性とコスト効率に優れたノイズ抑制機能の実装を可能にすることを示すものです。
アプリケーションの概要
この音声ノイズ除去パイプラインは、ノイズを含んだ信号の取り込み、ニューラル･ネットワークによる処理、およびノイズ除去された音声のリアルタイム出力がすべてデバイス上で完結します。
1. 信号の取得と変換
連続フレーム処理を実現するリング･バッファ を用いて、マイク入力から音声を取得します。生の音声フレームをスペクトラル変換パイプラインで処理し、短時間フーリエ変換（STFT）を用いて時間領域の信号を周波数領域に変換します。
2. ニューラル･ネットワークによるノイズ識別
周波数領域表現を正規化し、ニューラル･ネットワークの入力要件に合わせてスケーリングします。作成したスペクトログラム をNPU上で動作するニューラル･ネットワークに送り、そこで音声に含まれるノイズ成分を識別し、ノイズ予測マスクを生成します。
3. 信号の再構成と強調
予測されたノイズを周波数領域で元の信号から減算 し、ノイズを除去します。ノイズ除去されたスペクトラル･データに対して、位相の再適用や逆変換などの後処理を行ない、時間領域信号を再構成します。さらに音声強調フィルタにより音声の明瞭度や聞き取りやすさを向上させます。その後、ノイズ除去された音声を出力デバイスに送り、リアルタイム再生します。
技術情報
このソリューションは、従来のデジタル信号処理 技術にディープ･ラーニング を組み合わせて活用しています。ニューラル･ネットワーク･ベースのスペクトル･ノイズ抑制 システムをSTM32N6ハードウェアに実装し、NPU を利用して効率的に推論します。
- リアルタイム処理：フレーム単位のノイズ除去により遅延が最小限で、ライブ通信に最適
- 高いノイズ抑制性能：音声の聞き取りやすさや自然さを維持しながら優れたノイズ抑制効果を発揮
- 低リソース要件：メモリや処理能力が限られた組み込みシステムに最適化
- 適応型ノイズ処理：定常･非定常を問わず、さまざまなノイズに対して高い効果を発揮
- 音声明瞭化： 追加のDSP技術により、ノイズ除去だけでなく音声明瞭度の向上も実現
- 電力効率：低消費電力に最適化されており、携帯アプリケーションのバッテリ寿命を延長
センサ
STM32N6570-DK 開発ボードに搭載されたデジタルMEMSマイク （U13）。MEMSマイクにより音声入力を取得し、オーディオ･ジャック（CN15）からリアルタイム処理デモ用のノイズ除去済み音声を出力します。
モデルと結果
モデル：
- UNetベースの音声ノイズ除去ニューラル･ネットワーク
- ModelNova社（embedUR社）がオンデバイス実装向けに最適化 / 量子化
- 総エポック数：50（NPUハードウェアで46、CPUソフトウェアで4）
結果：
- Flash（octoFlash）：4MBのうち1.863MB（46.58%）を重みに使用
- CPU RAM：1MBをアクティベーションに完全に使用（100%）
- NPU RAM：合計1.344MBのうち1.322MB（98.36%）をアクティベーションに使用
- 前処理時間：12ms
- ニューラル･ネットワーク推論：19ms
- 後処理時間：5ms
- 総処理時間：36ms
ソフトウェア･ツール
- STM32Cube AI Studio（ニューラル･ネットワーク変換および実装）
- ST Edge AI Core コマンド･ライン･インタフェース
- STM32CubeIDE（アプリケーション開発およデバッグ）
- STM32CubeProgrammer （ターゲットへの成果物の書き込み）
技術資料
開発リソース
STM32Cube AI Studioで最適化
STM32Cube AI Studioは、STM32マイクロコントローラ上で動作させるニューラル･ネットワーク･モデルを評価、最適化、コンパイルするために設計されたデスクトップ･ツールです。ニューラル･ネットワーク処理ユニット（NPU）Neural-ARTアクセラレータ用のコンパイルにも完全対応しています。STのAIソリューションとして提供していたX-CUBE-AIに代わるツールであり、新しいSTM32デバイスにも対応しています。
STM32N6シリーズに最適
Arm® Cortex®‑Mプロセッサをベースとする32bit汎用マイクロコントローラのSTM32ファミリは、より柔軟かつ自由なアプリケーション開発を実現します。高性能、リアルタイムの処理能力、デジタル信号処理DSP、低消費電力 / 低電圧動作、コネクティビティなどのさまざまな機能を集積した製品により、開発をサポートします。