東京大学大学院 情報学環・学際情報学府 The University of Tokyo III / GSII

ニュース News

November 20, 2019

「深層学習によるサイレントスピーチインタラクション」がInnovative Technologies 2019 に選出

一般財団法人デジタルコンテンツ協会Innovative Technologies 2019に、東京大学大学院情報学環 暦本研究室と、株式会社ソニーコンピュータサイエンス研究所による「深層学習によるサイレントスピーチインタラクション」が選出され、2019年11月14日にDigital Content EXPO2019会場にて表彰式が開催されました。

■「深層学習によるサイレントスピーチインタラクション」 について
音声によって操作されるデジタル機器の利用可能性は急速に拡大していますが、公共の場で利用が困難、秘密の情報を話すことができないなどの制約があります。本研究は,顎の下側に取り付けられた超音波イメージングプローブによって観察される口腔内の情報から、利用者が声帯を振動させずに発話した発声内容を認識するサイレントスピーチを実現するものです。超音波画像の系列から音響特徴量を生成する多層ニューラルネットモデルを構築しています。提案手法により生成したオーディオ信号によって、既存の無改造のスマートスピーカーを制御できることを確認しました。これにより,人間とコンピュータが緊密に連携した種々のインタラクションが可能になり、新しいウェアラブルコンピュータが構成可能になると考えています。また,咽頭の障害,声帯機能障害,高齢による発声困難者に対して、声によるコミュニケーションを取り戻すための技術基盤につながるものと期待しています。

深層学習によるサイレントスピーチインタラクション概念図

(動画)
https://www.youtube.com/watch?v=74VCUKXiT20

https://lab.rekimoto.org/projects/sottovoce/

■ Innovative Technologies 2019について

「Innovative Technologies」は、一般財団法人デジタルコンテンツ協会による技術賞で、経済産業省で取りまとめた「技術戦略マップ」に示されている成長シナリオに基づき、その実現に大きな貢献が期待できる新技術を広く公募により選出し、「Digital Content EXPO」において国内外に発信するプロジェクトです。2012年より毎年選定が行われています。
2019年は、イノベーションによってコンテンツ産業の発展に大きく貢献することが期待される技術を「独創性」、「先進性」、「表現としての新規性」、「市場創出の可能性」を評価基準として選定し、表彰・展示が実施されました。
https://www.dcexpo.jp/it2019

■ 本件に関する報道からのお問い合わせ先
一般財団法人デジタルコンテンツ協会 デジタルコンテンツEXPO 事務局
Mail: innovetech@dcexpo.jp
TEL: 03-3512-3903
東京大学大学院情報学環 暦本研究室 〒113-8654 東京都文京区本郷7-3-1 https://lab.rekimoto.org/