ウェアラブルスマートカメラは静かな音声コマンドを理解する

ニュース

ウェアラブル赤外線カメラはあなたが何を言っているかを見ることができます。 — ウェアラブル赤外線カメラは、あなたが話している内容を認識できます。
*写真：チェン・チャン@コーネル大学*

両手が空いていないのに、Siri音声アシスタントに声を出して話しかけることもできない、そんな状況に陥ったことはありませんか？声を出さなくても音声コマンドを理解できるカメラが登場するかもしれません。

コーネル大学の研究者2人が、音ではなく顎の下から首や顔の動きを測定することで音声コマンドを検知するウェアラブル赤外線スマートカメラを開発した。

サイレント音声検出機能付きウェアラブルスマートカメラ

2人の研究者は、このウェアラブルカメラを「SpeeChin」と名付けました。2人は、コーネル大学アン・S・バウワーズ・コンピューティング・情報科学学部の情報科学助教授チェン・チャン氏と、コーネル大学博士課程の学生ルイドン・チャン氏です。

同社によると、これは英語で54種類、中国語で44種類の無音音声コマンドを検出できる初のネックレス型無音音声認識デバイスだという。

「両手がふさがっているときや、スマートデバイスを操作するのに手を伸ばしたくないときなど、音声コントロールを使いたくなるかもしれません」と張助教は述べています。「しかし、騒がしい場所や会議中などでは、音声コントロールは効率的ではなく、社会的にも適切ではありません。そこでサイレントスピーチが役立ちます。」

SpeeChinの首に装着された赤外線カメラは、顎の動きを下から捉えます。これにより、音声がなくても、発話された言葉を判別できます。

カメラは、話者の顔の近くに前方に取り付けるよりも、首にかける方が目立たないが、他の人の顔を映せない角度に設置されるため、プライバシーの懸念は生じないはずである。

高い信頼性があるが、特定の条件下でのみ

Gizmodoの報道によると、研究者たちは20人の参加者を対象にSpeeChinをテストしました。10人は数字や一般的な音声アシスタントのコマンドを含む54の簡単なフレーズを英語で話しました。残りの10人は44の簡単な単語とフレーズを中国語（北京語）で話しました。「トレーニング」後、カメラは英語のコマンドを90.5%、中国語のコマンドを91.6%の精度で認識できました。

しかし、カメラが高評価を得たのは、被験者が静止しているときだけでした。被験者が動いているときは、歩き方や頭の動きの変化に応じて認識の信頼性が低下しました。

そうすると、SpeeChinデバイスを確実に使用できる場所が減ってしまうように思われます。ただし、動きを取り入れたより長いトレーニングセッションや、より詳細な検出を可能にする、より高解像度で高フレームレートのカメラ機器など、改善がない限りは。