本研究室では、カメラやレーザレンジセンサを用いた大規模構造物の 3次元モデル化や解析・表示技術、複合現実感による可視化技術の開発を行っています。基本技術はコンピュータビジョン、コンピュータグラフィックスの分野 ですが、考古学や建築学といった分野の研究者と連携した学際的な研究も行っています。また屋外における複合現実感（Mixed Reality: MR）技術（映像、音響）や、これを利用した観光、交通システムといった分野への応用も進めています。

■ 3次元モデル化及び解析・表示

レーザレンジセンサやKINECTのようなデプスカメラなど、実世界を3次元的 に観測できるセンサが飛躍的に発達してきています。これらのセンサからは奥行き（2.5次元）画像が得られますが、この奥行き画像からセンサの位置姿勢を 推定し、複数の画像を統合することによって完全な3次元モデルを生成することができます。このような3次元モデル化技術はVRモデルの生成やデジタルアーカイブ、リバースエンジニアリングなど幅広い分野に利用されています。形状データは写真と異なって撮影時の光源環境に影響を受けないため、分類や認識をより正確に行うことも可能です。また我々は得られた大規模3次元モデルのクラウド環境での表示や、3次元モデルを利用したインターフェースに関する研究なども進めています。

■ 屋外MR技術の開発

仮想物体をCGアニメーションやバーチャルリアリティで表現することは一般的になりつつありますが、これらの映像はスクリーンやモニタ上で鑑賞するため、スケール感や臨場感に乏しいという問題があります。そこで実際の現場で、実世界に仮想物体を重畳して見せることによって高い臨場感が得られるMR技術の開発を行っています。技術課題としては、光源環境を推定し、実世界と仮想世界の陰影を合わせる光学的整合性や、カメラの位置姿勢を推定し、実世界の奥行きを推定して、仮想物体と正しい位置関係で描画する幾何学的整合性などがあります。前述の実世界から得られた3次元モデルを利用したオクルージョン処理手法や、光源変化に頑健なカメラの位置姿勢推定手法などの開発も行っています。

■ MRモビリティシステム

これまでのMRシステムは、個々の物体を重ねて見せるだけで、空間を再現するものではありませんでした。これに対して我々は、大規模な仮想空間を実世界に重畳し、電気自動車などによって移動しながらその空間を体験できるシステムを開発しています。このシステムではカメラから得られる映像やGPS信号、ジャイロなどを用いて幾何学的整合性を実現し、全方位カメラによる実世界の撮影によって、多人数同時体験や、光学的整合性を同時に実現することを目指しています。さらに映像から抽出した人物モデルを配して臨場感を高めるとともに、これらの仮想人物が発する音声も実世界と仮想世界の空間情報を考慮してシミュレーションし、正しい音響を再現しています。また現在はこのモビリティシステムが、観光や交通、環境にどのよう役立てられるかといった観点から調査、研究も進めています。

図1:複合現実感による文化財の復元展示

図2:MRモビリティシステム