（日本語は英語の後に続きます）

======================================================

（English）

The 4th BAIRAL Research Meeting for Fiscal Year 2024
“Advancing Mental Health Monitoring: A Deep Learning Framework for Multimodal Emotion Recognition”

#BAIRAL #mental-health #multimodal-framework #healthcare-apps #emotion-recognition

 

◇BAIRAL（B’AI RA League）

BAIRAL is a study group by young research assistants (RA) of the B’AI Global Forum of the Institute for AI and Beyond at the University of Tokyo. Aiming to achieve gender equality and a guarantee of rights for minorities in the AI era, this study group examines relationships between digital information technology and society. BAIRAL organizes research meetings every other month with guest speakers in a variety of fields.

 

◇Date & Venue

• Date: Thursday, Feb 20, 2025, 17:00 to 18:30 (JST)
• Language: English
• Format: Online – Zoom meeting (No registration required)

https://u-tokyo-ac-jp.zoom.us/j/81781587440?pwd=VG49FYhndanKOXPIxNkEUmelAz5qAp.1

Meeting ID: 817 8158 7440/Passcode: 250220

 

◇Guest Speaker

Meishu Song, PhD Candidate, Graduate School of Education, University of Tokyo

 

◇Abstract

The lecture will present an innovative approach to daily mental health monitoring through multimodal deep learning analysis of speech and physiological signals. The speaker will introduce two comprehensive datasets: the Japanese Daily Speech Dataset (JDSD), which will comprise 20,827 speech samples from 342 participants, and the Japanese Daily Multimodal Dataset (JDMD), which will contain 6,200 records of Zero Crossing Mode (ZCM) and Proportional Integration Mode (PIM) signals from 298 participants. These datasets will have been collected in naturalistic settings using non-intrusive wearable devices and smartphones.

The core innovation to be discussed will be a macro-micro framework that synthesizes global emotional patterns with individual-specific characteristics through a personalized crossmodal transformer mechanism. This architecture will also incorporate a novel Dynamic Restrained Uncertainty Weighting technique for multimodal fusion and loss balancing. The framework is expected to demonstrate substantial improvement in emotion recognition accuracy, achieving a Concordance Correlation Coefficient (CCC) of 0.503, significantly outperforming the baseline of 0.281.

By leveraging advanced deep learning techniques and multimodal data integration, the proposed system will aim to provide continuous, personalized emotional state assessment while maintaining ecological validity. This work will address critical challenges in mental health monitoring by offering a scalable, data-driven approach that bridges the gap between laboratory-based assessment and real-world applications, potentially transforming the approach to mental healthcare delivery.

 

Link: https://baiforum.jp/en/events/en088/

 

◇Organizer

B’AI Global Forum, Institute for AI and Beyond at the University of Tokyo

 

◇Inquiry

Priya Mu (Research assistant of the B’AI Global Forum)

priya-mu[at]g.ecc.u-tokyo.ac.jp (Please change [at] to @)

 

====================================================

（日本語）

2024年度第4回BAIRAL研究会
「メンタルヘルスモニタリングの進展：マルチモーダル感情認識のためのディープラーニングフレームワーク」

 

#BAIRAL #mental-health #multimodal-framework #healthcare-apps #emotion-recognition

 

◇BAIRALとは

BAIRALは、東京大学Beyond AI推進機構B’AI Global Forumの若手RA（リサーチアシスタント）が主体となり、月に一回のペースで開催している研究会です。B’AI Global Forumでは、AI社会におけるジェンダー平等とマイノリティの権利保障という社会目標の実現に向けて研究を進めております。その一環として、BAIRALではデジタル情報技術と社会の関係について理解を深めるために、隔月、様々なゲストスピーカーの方にお話しいただいております。

 

◇開催情報

・日時：2025年2月20日（木）17:00～18:30（日本標準時）

・ 使用言語：英語　(通訳なし)

・形式：Zoomによるオンライン開催（事前申し込み不要）

https://u-tokyo-ac-jp.zoom.us/j/81781587440?pwd=VG49FYhndanKOXPIxNkEUmelAz5qAp.1

ミーティング ID: 817 8158 7440/パスコード: 250220

 

◇ゲストスピーカー

メイシュ・ソン、東京大学大学院教育学研究科博士課程

 

◇趣旨

この講義では、音声および生理的信号のマルチモーダルディープラーニング解析を通じた、日常のメンタルヘルスモニタリングにおける革新的アプローチを提案する。講演者は、以下の2つの包括的データセットを紹介する。
一つ目は、342名の参加者から収集された20,827の音声サンプルを含むJapanese Daily Speech Dataset (JDSD)。二つ目は、298名の参加者から得られた6,200件のZero Crossing Mode (ZCM)およびProportional Integration Mode (PIM)信号を含むJapanese Daily Multimodal Dataset (JDMD)。これらのデータセットは、非侵襲型のウェアラブルデバイスおよびスマートフォンを用いて自然環境下で収集された。

本研究の中心的な革新は、グローバルな感情パターンと個別の特性を統合するパーソナライズドクロスモーダルトランスフォーマーメカニズムを用いたマクロ・マイクロフレームワークにある。このアーキテクチャには、Dynamic Restrained Uncertainty Weighting技術が組み込まれており、マルチモーダルフュージョンおよび損失バランスの最適化を実現する。このフレームワークは、感情認識精度において顕著な改善を示し、Concordance Correlation Coefficient (CCC)が0.503を達成し、従来のベースライン0.281を大きく上回る成果を挙げている。

高度なディープラーニング技術とマルチモーダルデータ統合を活用することで、提案されたシステムは、エコロジカルバリディティを維持しながら、持続的かつ個別化された感情状態の評価を提供することを目指す。本研究は、メンタルヘルスモニタリングにおける重要な課題を解決するためのスケーラブルかつデータ駆動型のアプローチを提示し、ラボベースの評価と実世界の応用とのギャップを埋めることで、メンタルヘルスケアの提供方法を革新する可能性を有する。

Link: https://baiforum.jp/events/en088/

 

◇主催

東京大学Beyond AI研究推進機構B’AI Global Forum

 

◇お問い合わせ

プリヤ・ム（B’AI Global Forum リサーチ・アシスタント）

priya-mu[at]g.ecc.u-tokyo.ac.jp（[at]を@に変えてください）