“LipLearner: Customizable Silent Speech Interactions on Mobile Devices,” written by Zixiong Su, Shitao Fang, and Jun Rekimoto (Applied Computer Science Course, Graduate School of Interdisciplinary Information Studies, The University of Tokyo) has been awarded the Best Paper at the ACM CHI 2023 conference in Hamburg, Germany. ACM CHI is the top conference in the field of Human-Computer Interaction.

LipLearner is an innovative silent speech interface technology that enables private communications in natural language. It uses contrastive learning to create efficient lipreading representations, allowing for few-shot command customization with minimal user effort. The system demonstrates high robustness in various conditions and offers high usability and learnability.

This recognition highlights the potential of LipLearner to revolutionize the way we communicate with mobile devices, making interactions more private and customizable.

Zixiong Su、Shitao Fang、Jun Rekimoto (東京大学学際情報学府・情報学環 総合分析情報学コース) が執筆した論文 “LipLearner： Customizable Silent Speech Interactions on Mobile Devices” が、ドイツ・ハンブルグで開催されたACM CHI 2023でBest Paperを受賞しました。ACM CHIは、Human-Computer Interactionの分野におけるトップカンファレンスです。

LipLearnerは、自然言語によるプライベートなコミュニケーションを可能にする、革新的なサイレント・スピーチ・インターフェース技術です。コントラスト学習を利用して効率的な読唇術表現を作成し、最小限のユーザーの労力で数ショットのコマンドカスタマイズを可能にします。様々な条件下で高い堅牢性を発揮し、高いユーザビリティと学習性を実現しています。

今回の受賞は、LipLearnerがモバイル機器とのコミュニケーション方法に革命をもたらし、よりプライベートでカスタマイズ可能なインタラクションを実現する可能性を示しています。

Reference/論文：
Zixiong Su, Shitao Fang, and Jun Rekimoto. 2023. LipLearner: Customizable Silent Speech Interactions on Mobile Devices. In Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems (CHI ’23). Association for Computing Machinery, New York, NY, USA, Article 696, 1–21. https://doi.org/10.1145/3544548.3581465

ACM Digital Library: https://dl.acm.org/doi/10.1145/3544548.3581465
arXiv: https://arxiv.org/abs/2302.05907
Video: https://youtu.be/P6tuGMSfKdg