教授
山肩 洋子
Professor
YAMAKATA, Yoko
- 先端表現情報学コース
研究テーマ
- 画像認識
- 自然言語処理
- 食のAI
- 区分：
- 学内兼担・授業担当教員
- Emerging design and informatics course
Research Theme
- Image recognition
- Natural language processing
- Food AI
- Position:
- Affiliated Faculty
- 略歴
2007年 京都大学 情報学研究科にて博士（情報学）を取得。2010から6年間、京都大学 で特定講師のち准教授を務めた。2015年からJSPS特別研究員となり、英国サセックス大学にて客員研究員。2019年 東京大学 情報理工学系研究科 准教授、2024年 東京大学 情報基盤センター 教授。専門はテキストと画像を対象とした深層学習技術を中心とするマルチメディア情報処理処理分野。AIによる「食」の支援技術。
- 主要業績
詳細な業績は>相澤・山肩・松井研究室（発表文献）をご覧ください。
- Biography
Prof. Yamakata received her Ph.D. in Informatics from Kyoto University, Japan in 2006. She was a lecturer and an associate professor at Kyoto University from 2010, a JSPS research fellow at the University of Tokyo from 2015, an academic visitor of the University of Sussex, UK between 2016-2017, an associate professor of the University of Tokyo, Japan from 2018 and currently professor at Information Technology Center from 2024. Her research interests include multimedia processing, especially in cooking and eating activities.
- Achievements
For detailed research achievements, please refer to here.
料理は、材料を加工し新しい価値を持つ製品を作る 「ものづくり」である
人の健康や喜びに繋がる 食は生まれてから死ぬで絶え間なく続く生命活動です。 1日3食80年間生きるならば実に8万7千回以上食べる機会が与えられています。本研究室では、メディア情報処理技術を使って人間のあらゆる食行動を支援することで、人々のもっと豊かな食の実現を目指します。
1. レシピ記録支援アプリ RecipeLogの開発
私たちが摂取している栄養を知るためには、食べた食事を記録することが第一歩です。ですが、同じ「肉じゃが」でもレシピによって栄養価は大きく異なります。そこで私たちは、AIがユーザの入力を予測することで、ユーザが自分のレシピを少ない入力操作で記録することができるスマホアプリRecipeLogの開発を行っています。相澤研が開発し、すでにサービス提供に至っている食事管理アプリFoodLog Athlと連携することで、家庭内の食事履歴を正確に記録し、栄養摂取量を把握することが可能となります。アスリートや病を抱えた方々だけでなく、誰もが自分が摂取している食を理解し、より健康的な生涯を送れる世界の実現を目指します。
2. 食事写真から材料リスト推定
既存の食事管理アプリでは料理名で栄養データベースを検索して摂取栄養価を推定しますが、同名の料理でもレシピによって栄養価は大きく異なります。 私たちはレシピに基づき栄養価を計算するため、食事の画像からその材料を推定する画像認識モデルを開発しています。「塩」や「砂糖」といった目に見えない食材も推定できるよう、料理名と材料リストを同時に推定するマルチタスクラーニングを採用しています。
3. 手順文書の意味解析に基づく検索・推薦
オンライン上には数えきれないほどのレシピが見つかりますが、いったいどのレシピを選んだらいいのでしょうか？「肉じゃが」を検索すると1万件以上のレシピがみつかることから、調理手順説明文の意味理解を行うことが重要です。レシピは料理を作る工程を記した手順文書ですから、一般的な文書と異なり、明確な構造をもちます。我々は自然言語処理技術によりレシピテキストから作業のフローグラフを抽出(右上図)し、異なるレシピ間の相違を自動的に抽出することで、「手順文書」に注目したレシピ検索・推薦システムを開発しています。英文レシピも扱っています。