東京大学バーチャルリアリティ教育研究センター設立記念式典　デモ展示紹介

記憶に関する神経生理学や心理学の最新の研究成果により、人が新たな出来事や言語を記憶する際に、「情動（感情を含む）」や「運動」がその事象の五感覚情報を長期記憶として保持させることが明らかになりつつあります。我々は、この情動や運動の記憶保持効果とVR・AR技術を統合し、人の記憶に効果的に介入する新たな語彙学習手法を設計すること目指しています。本ブースでは、情動の一例として、情動喚起を伴う立体音響ナレーションで覚える体感型英単語学習手法を、運動の一例として、場所に関連した単語の音声提示による偶発的語彙学習手法を紹介します。

日常環境におけるロボットの数は増加を続けており、これらを効率的に操作、制御するインタフェースの実現は重要な課題です。NavigaTorch は、人間がプロジェクタの投影映像を動かすことによってロボットの操作が可能なインタフェースです。映像に不可視の情報を埋め込む技術である空間分割型可視光通信 (PVLC) を、小型・軽量なプロジェクタを用いて実現することで、これをユーザが手に持ち、映像を動かすことによる直感的なロボット操作を実現しました。

AR技術を用いた内視鏡手術ナビゲーション装置です。左のモニターに写っているのが内視鏡映像です。右のモニターに写っているのが融合3次元画像処理後の脳動脈と脳静脈のＣＧモデルです。術者が内視鏡を動かすと同時にＣＧモデルも実映像と同じ角度や倍率に同期した映像が表示される仕組みになっています。

空中に浮かぶ映像に手を触れて、触感を感じながらタッチ操作するための技術を提案します。近年、種々の空中映像投影技術が提案されていますが、そこには接触感が伴わず、手を伸ばしてもすり抜けてしまうという問題がありました。特に入力インターフェースとして用いる場合、接触感の欠如は指先ストローク範囲の認識を曖昧にし、操作性を著しく損ないます。
本技術では、市販の空中映像技術に超音波を重畳することで、映像に触感を付与します。超音波と空中映像の伝搬軸を矛盾なく重ね合わせるために、結像素子の表面で超音波を反射させます。指先で映像に触れた位置・タイミングをセンシングし、それに応じた物理的な力を提示することで、現実の物体に触れたかのような感覚を与えます。
この技術により、あたかもパントマイムをするかのように空中映像の上で指先をガイドして正確にタッチ操作をすることが可能になります。物理的なパネルを排することで、例えば料理中や手術中のように手が汚れた状態であっても使えるタッチパネルが実現されます。また、パネル上に指紋が残らないため、セキュリティ面でも衛生面でも優れたキー入力が可能になります。

空中超音波触覚ディスプレイ（AUTD）は非接触かつ身体に装着するデバイスなしで触覚を提示できるデバイスですが、提示可能圧力が小さいため、その対象は指先や掌などの鋭敏な場所に限られていました。
本展示では、刺激提示点の微小な空間変調法による皮膚有毛部への振動触覚提示を実現します。

ニューラルネットワークを用いて、リアルタイムに0.5秒後の人間の動きを推定し提示するシステムを開発しました。
Kinectを用いて人間の動きの測定し、その動きを時系列順に並べた物を入力として用いています。また、結果として0.5秒後の動きを出力しています。
現在では、ジャンプ、歩行時の運動の推定を行っており、体幹部では3cmほどでの誤差でのリアルタイム推定が可能になっています。

全天球カメラを用いて撮影された映像は大きな臨場感を与えるが，単純な早送りではブレが増大し視聴に耐えられない．適応的サンプリングによる元の映像よりも安定した早送りを生成できる．その効果をHMDで体験する．

文学部心理学研究室と情報理工学系研究科廣瀬・谷川・鳴海研究室では、VR空間における人間の行動の基本特性について実験心理学的研究を行っています。たとえば、VR空間では、ジャイアントマンにもアントマンにもなれるはずですが、それは情景を縮尺するだけではなく、自分自身の身体との相対的な比較に基づいていると考えられます。すなわち、自分自身の身体の大きさが、どのような要因で推定されるのかを調べています。情景の縮尺に加え、視点の高さの操作、手などの身体の一部の呈示などによって、簡単に身体像が変化して感じられることを体験して下さい。

手術ロボットを用いて微細血管の吻合を行うためのシミュレータです．血管，針，糸，ロボットを力覚デバイスを用いて操作することができ，３Dメガネにより奥行きを感じることもできます．この研究により，手術ロボットの新しい制御を事前にシミュレータで評価することが可能になりました．手術スキルの評価にも応用していく予定です．
展示では実際にシミュレータを操作していただけます．（英語で説明しますが，日本語でも対応できます．）

近年動的対象へのプロジェクションマッピングの研究が盛んです．既存の手法では，高速プロジェクタや高速ミラー制御を用いた，対象の変形を認識するもの，広範囲な動きに追従できるものがありましたが，何れも解像度が低い，対象形状が限定されるといった問題がありました．本展示では，それら個別技術の長所を上手く統合した広域ダイナミックプロジェクションマッピング「VarioLight」をお見せします．ステージほどの広い範囲でも高解像に投影でき，回転変形や激しい動きへも貼りつくような投影が可能となっております．
今後は，アーティストのステージ上でのダイナミックなパフォーマンスに対応したプロジェクションマッピングや，より多くの観客にも対応できる，スケールした拡張現実体験が期待されます．

「Infinite Stairs」は平面を歩行するユーザに対して階段を歩行する映像を提示するとともに、その映像に対応した段差の縁に相当する触覚刺激を与えることで、バーチャル空間内で階段を歩行する際の昇降感覚を提示するシステムです。床に設置された棒をユーザが踏むことで触覚刺激を足裏に提示します。この触覚刺激により、視触覚間相互作用を生起したユーザの床面に対する形状知覚が変化し、触覚刺激を提示しない場合よりも階段を昇っているかのような感覚が高めることができます。実際の空間では平面を歩行するので、ヘッドマウントディスプレイを装着したVR体験でも安全に昇降感覚を得ることができます。また、従来の階段での歩行感覚を提示するVRシステムに比べ低コストであり、棒の配置パターンを変えることで螺旋階段をはじめとする様々な形状の階段を表現することができます。

HMDとは，VR世界と現実世界との隔壁である．しかしその隔壁を越え，VR体験者の「気配」を，現実に染み出させることは出来ないだろうか？
本作品は，VR体験者の隣にVR空間内の店舗を模倣した箱庭を用意し，箱庭上の足跡や扉の変化によって，VR空間での購買行動を現実に浮かび上がらせる．

Transcaliburは、単一のデバイスで異なる形状の把持感覚を表現することができるVRデバイスです。
VRの流行とともに、VR空間でのインタラクションを支援する手持ち型デバイスが普及しています。
一方で、画一的な形状のデバイスでは、VRで表現可能である多様な物体の形状をきちんと再現することができません。
そこで、人間は手に持っている物体の質量特性（重心位置や慣性モーメントなど）から、物体の形状を推定することができる現象に注目しました。
Transcaliburは、機械学習を用いて特定した質量特性と形状知覚の対応関係をもとに、先端に取り付けられた重りの位置を制御することで、デバイスの質量特性を変化させ、任意の形状を把持しているような感覚を表現します。

プロジェクションマッピングは現実を拡張する技術として注目されていますが、従来その対象は建物やステージ背景等の静止物体に制限されていました。本展示では、このような制限をなくし、動的に変化する実世界と仮想的な視覚情報を人間の知覚レベルで完全に融合させるダイナミックプロジェクションマッピングの一例として、無地のTシャツにぴったりと映像を投映するデモをお見せします。対象と映像の間のずれを人間に知覚させないためには、投映対象の運動や変形を高速に計測し、その状態に合った映像を瞬時に生成して投映する必要があります。本研究室では、この要請を満たすために、1,000fpsで非剛体変形を把握するアルゴリズムと、1,000fps・3ms遅延で8bit階調の映像を投影する高速プロジェクタDynaFlashを開発しました。
これらの技術を用いることで、運動中においても、変形に応じた矛盾のない投映を維持し、あたかも対象に投映画像が印字されている、または対象表面にテクスチャが元々存在していたかのように現実を拡張することができます。Tシャツへの投影は、特にユーザインタフェース分野、及びファッション分野における新展開として期待されています。

前庭電気刺激は皮膚上に設置した電極から微弱な電流を流すことで，加速度や角速度などの前庭感覚を惹起する手法です．この展示では，前庭電気刺激とHMDを併用することで，視覚と前庭感覚を人工的に作り出し，没入度の高いVR体験を実現します．