本研究では、ブレイン・コンピュータ・インタフェース（BCI）の新しいアプローチを模索しました。このアプローチは、聴覚的な音の方向を想起した際の脳波を解析し、複数の入力を可能にすることを目指しています。つまり、ある方向からくる音をイメージすることで、ユーザーが方向を入力できることが実現できないかを模索しました。このアプローチには、複数入力を可能にしつつ、ハンズフリーなインタラクションを実現することができるという利点があります。今回までの研究成果として、私たちは提案アプローチの基本的な実現可能性を探りました。具体的には、まず左右2方向からの音を聴取・想起する際の脳波信号を分類するために、時系列データ分類のための深層学習手法を適用し、テストにおいては最高で95％ほどの精度でユーザーの脳波から２方向を識別できることを示しました。この研究は、聴覚的なイメージを入力として脳波信号を得るため、参加者の動作や知覚を妨げず、ハンズフリーなインタラクションを実現する未来に近づくものです。

本研究成果は人間拡張という研究分野における著名な国際会議である、Augmented Humans (AHs) 2023の査読付きポスター論文（４ページ）として採択されたうえ、Best Poster Honourable Mention賞を受賞しました。

This study explored a new approach to brain-computer interface (BCI). This approach aims to enable multiple inputs by analyzing Electroencephalogram (EEG) during auditory sound direction recall. In other words, we explored the possibility of enabling the user to input a direction by imagining a sound coming from a certain direction. This approach has the advantage of enabling hands-free interaction while allowing for multiple inputs. As a result of our research to date, we have explored the basic feasibility of our proposed approach. Specifically, we first applied deep learning methods for time-series data classification to classify EEG signals during hearing and recalling sounds from two directions (left and right), and in tests showed that we could discriminate the two directions from the user’s EEG with up to about 95% accuracy. This research brings us closer to a future in which EEG signals are obtained using auditory imagery as input, thus allowing for hands-free interaction without interfering with the participant’s movements or perceptions.

The research results were accepted as a refereed poster paper (4 pages) at Augmented Humans (AHs) 2023, a prominent international conference in the research field of human augmentation, and received the Best Poster Honourable Mention award.

Reference:
Yuto Koike, Yuichi Hiroi, Yuta Itoh, and Jun Rekimoto. 2023. Brain-Computer Interface using Directional Auditory Perception. In Proceedings of the Augmented Humans International Conference 2023 (AHs ’23). Association for Computing Machinery, New York, NY, USA, 342–345. https://doi.org/10.1145/3582700.3583713

ACM digital library: https://dl.acm.org/doi/10.1145/3582700.3583713