三次元や画像を見る人の身体と結びつける試みは、ここで参照できる記事の範囲では、現地で古写真を現在の風景に重ねる体験、ブラウザ上で動かす三次元教材、360度VRカメラによる館内の追体験、物語に介入するVR演劇、過去の景観写真を現在の地図と並べる表示、遺跡のウォークスルー映像に分かれる。いずれも見せる内容は研究者や制作者が決めており、その見せ方を、現地で重ねる、視点を動かす、場所を移る、問いに答えるといった身体の動きを伴う体験として組んでいる。
古写真を現在の風景に重ねる体験の三つの局面
現地で古写真を現在の風景に重ねる体験は、「記憶」の働きの観点から三つの局面に整理されている。過去の古写真の当時の撮影場所を現在の場所で探す記憶探索(MH)、古写真と現在の撮影場所を重ねて仮想的に過去の記憶を現実化する記憶現実(MR)、古写真に重なる現在の写真を記録する記憶記録(MG)である [UC-006 §「記憶」概念の整理:MH・MR・MGと「像覚」]。
このうち身体と結びつく度合いが最も高いのは記憶現実である。見る人が現地に立ち、過去を現在の風景に重ねて体験するからである。体験の例としては、長崎バージョンの「長崎古写真ハンティング」(アンドロイド仕様)があり、のちに iPhone 仕様の汎用版として「メモリーグラフ」が登場している [UC-006 §「記憶」概念の整理:MH・MR・MGと「像覚」]。ファインダー上に基準画像を重ねる撮影支援の仕組みと設計については、詳細は「写真という資料」を参照。
古写真を重ねる体験について、姫野研究室は、既存の感覚語彙では捉えきれない認識の局面を含むとして、影像の記憶を扱う認識概念に「像覚」という用語を提案している。視覚・触覚・知覚など認識用語の体系に並べる試みとして、研究室のブレインストーミングから出された [UC-006 §「記憶」概念の整理:MH・MR・MGと「像覚」]。
ブラウザの中で儀式の進行を自分で進める
平安時代の宮中儀式(除目)を扱う教材は、WebGL(JavaScript の三次元CGライブラリ)と Three.js を使ったウェブコンテンツで、任意のブラウザで閲覧できる。タブレット端末やスマートフォンがあれば時間や場所に制限されずに学べる作りで、建物や登場人物の振る舞いに、静止画・説明文の表示、動画・音声の再生が組み合わされている [UC-019 §教材の機能と画面]。
操作は、マウスで視点を動かす、紫宸殿・陣座・清涼殿や鳥瞰図などあらかじめ設定されたカメラ位置へ移る、「前半」ボタンで陣座に大臣や大弁を登場させ、「次へ」ボタンで儀式を進める、というものである [UC-019 §教材の機能と画面]。見る人が視点を選び、儀式の進行を自分で進めるので、文章の記述を順に追う読み方とは理解の経路が異なる。学生からは、三次元CGアニメーションで建物や登場人物の振る舞いを見たことで、テキストを読むだけの場合よりも宮中の儀式の様子を深く理解できたという感想が寄せられている [UC-019 §教材の機能と画面]。
体験として成り立たせるには費用も要る。建物のデータが重く、初回のアクセスでは建物がすべて表示されるまで時間がかかる。一度アクセスするとキャッシュされるため、2回目以降はそれほど待たずに済む [UC-019 §教材の機能と画面]。ブラウザで動くことが「どこでも見られる」ことの条件であり、同時に初回の待ち時間という制約でもある。
360度VRカメラで館内を歩く
同じ部門が作成しているコンテンツには、360度VRカメラを使ったウォークスルーと、動画によるナビゲーションがある。中央図書館のナビゲーション版では、学生に360度VRカメラを頭に付けて館内を歩いてもらって収録し、視点を360度自由に変えられるようにしている [UC-019 §Linked Data・360度VR・点群の取り組み]。
画面左上のマップで経路をクリックすると、その地点に移動できる。館内に表示されているパネル画像とビデオ動画は、360度VR画像が表示される球体の中でも表示できる [UC-019 §Linked Data・360度VR・点群の取り組み]。見る人は歩く順序に縛られず、地点を選んで移り、見回し、その場の掲示物や動画に触れる。
物語に介入するVR演劇
もう一つの体験は、見る人が筋に介入するものである。立命館大学アート・リサーチセンター(ARC)のデータベース資源を二次活用し、『東海道四谷怪談』第二幕の世界を、ユーザー介入型のVR演劇として構築した事例がある。あんま宅悦になりきって「雑司ヶ谷四ツ谷町の場」で何が起こったのかを探るミステリー型のVRアドベンチャーで、小道具の調査とお岩AIとの会話から謎を追い、ユーザーの回答によって結末が分岐する [UC-036 §AX時代のDH:ARCアーカイブを活用したVR展示]。
構想は三つの柱からなる。登場人物との自由会話で物語が変化する演劇体験、キャラクターアバターの着用による認知・行動の変化を利用するプロテウス効果、ARC のデータベース資源の二次活用である [UC-036 §AX時代のDH:ARCアーカイブを活用したVR展示]。見る人が演目の外から眺めるのではなく、登場人物の位置に自分を置いて動く設計になっている。
素材には資料が使われている。3Dモデルは、浮世絵ポータルDBと催事型写真ポータルDBに蓄積された第二幕のお岩・伊右衛門の資料を参考にし、「四谷怪談図録」で着物の色味や髪形を確認したうえで、画像生成AIでTポーズを制作し、3Dに特化したAIでモデリングとリギングを行った。音声は、1923年(大正12年)5月に市村座で上演された公演の役者の声を大西SPレコードコレクションから取得して生成した [UC-036 §AX時代のDH:ARCアーカイブを活用したVR展示]。
この事例の語り手は、VRコンテンツは費用をかければ従来も作れたが、いまは一人でできて、日本文学を学ぶ学生が作品の中身を勉強したうえで作る時代になったと指摘する。筋の分岐は、四世鶴屋南北がこうした筋を作った可能性を示し、いま伝わる筋の価値を逆に検証できるのではないか、ともいう [UC-036 §AX時代のDH:ARCアーカイブを活用したVR展示]。
過去と現在の景観を画面で並べる
現地で重ねる体験とは別に、過去の景観資料を画面の上で現在の街並みと並べて見るやり方もある。「バーチャル京都」は、GIS と VR の技術で異なる時点の三次元 GIS を重ね、時間の次元を加えた四次元 GIS として構築されている [UC-015 §バーチャル京都と4D-GIS]。たとえば市電の写真は撮影地点を特定して路線沿いに地図化され、Google マップや Google ストリートビューと並べて過去と現在を比較できる [UC-015 §寄贈写真・市電写真・街路景観写真・絵葉書の地図化]。同じ場所の過去と現在を見比べられることは、没入が足すものの一つである。写真の同定の方法については、詳細は「写真という資料」を参照。
美しい映像が継続利用につながらなかった遺跡の例
体験として見せる仕組みが、継続して使われるとは限らない。バム遺跡の事例は、その費用と継続利用の課題を具体的に示している。ウォークスルー映像は美しい出来であったにもかかわらず、継続的な利用につながらなかった。データのオープン化は諸事情で難しく、対話型のVRサービスは提供の負担が大きすぎて、映像で見る形しか提供できなかった [UC-020 §プロジェクトの教訓と今後の問い]。
ここから残る問いは二つある。インタラクティブな利用に耐える品質を、外部・内部の空間ともに現実的なコストで提供できるか。オンラインでの情報の注釈や共有を、現実的なコストで実現できるか [UC-020 §プロジェクトの教訓と今後の問い]。映像の美しさと、見る人が操作して使える体験の提供とは別の問題であり、後者には制作側の負担がかかる。ブラウザ教材の初回の待ち時間と同じ種類の制約が、遺跡の事例ではサービス提供そのものを左右している。
没入が理解に足すもの、隠すもの
足すものとして読み取れるのは五点ある。現地で過去を現在の風景に重ねられること(記憶現実)、空間の中で出来事の進行を追えること(除目教材)、見る人が地点と視線を選べること(館内のウォークスルー)、登場人物の位置から筋に介入して結末を変えられること(VR演劇)、同じ場所の過去と現在を見比べられること(画面上の並置)である。儀式の様子についての学生の感想はその一例で、文章だけでは得にくい理解が得られたと報告されている [UC-019 §教材の機能と画面]。
隠すもの、あるいは体験に課される制約として、記事から導けるのは費用と継続利用の面である。美しい映像があっても、対話的な利用に耐える形で提供し続けるには負担が大きく、利用が続かない場合がある [UC-020 §プロジェクトの教訓と今後の問い]。
体験を組む側の責任については、AIによる処理で量が増えると誤りも増え、結果を確かめる責任は人間に残るという報告がある [UC-048 §限界と人間に残る責任]。AIで3Dモデルや音声を作るVR演劇のような制作でも、任せた部分を製作者が確認する必要があるという点で、同じ判断が働くと考えられる。
実測に基づく復元と推定に基づく復元の区別については、詳細は「三次元の計測と復元」を参照。