現地で端末をかざして過去を現在の風景に重ねる体験、ブラウザ上で視点と進行を自分で選ぶ三次元教材、360度VRカメラによる館内の移動、小道具の調査と会話で結末が分かれるVR演劇、画面上で過去と現在の景観を並べる表示、遺跡の推定モデルを映像で見せた事例は、いずれも三次元や画像を見る人の身体の動きと結びつける試みである。この節は、そうした体験が理解に何を足し、何を隠すかを、記事で言える範囲で整理する。体験の素材となる計測や復元は節「三次元の計測と復元」、地域の人と進める実践は節「地域とともに進める」に任せ、ここでは見る人の側の体験と、それを組み、保つ側の負担に絞る。
古写真を現在の風景に重ねる体験の三つの局面
姫野研究室は、古写真と現在の風景を重ね合わせる体験を、記憶の働きの観点から三つの局面に分けている。
- 記憶探索(MH):過去の古写真が撮られた場所を、現在の場所で探す
- 記憶現実(MR):古写真と現在の撮影場所を重ね、仮想的に過去の記憶を現実化する
- 記憶記録(MG):古写真に重なる現在の写真を記録する [UC-006 §「記憶」概念の整理:MH・MR・MGと「像覚」]
このうち見る人の身体に最も近いのが記憶現実である。見る人は現地に立ち、過去の像を目の前の風景に重ねて体験する。体験を支えるアプリとして、先行した長崎版の「長崎古写真ハンティング」と、iPhone 仕様に進化した汎用版の「メモリーグラフ」が開発されている [UC-006 §「記憶」概念の整理:MH・MR・MGと「像覚」]。ファインダー上に基準画像を重ねる撮影支援の仕組みと設計は、節「写真という資料」を参照されたい。
姫野研究室は、こうした体験が視覚・触覚・知覚といった既存の感覚語彙では捉えきれない認識の局面を含むとして、影像の記憶を扱う認識概念に像覚という用語を提案している [UC-006 §「記憶」概念の整理:MH・MR・MGと「像覚」]。この用語は、体験の局面を捉えるための提案である。
画面上で過去と現在の景観を並べる
現地に立たなくても、画面上で過去と現在を見比べる形の体験はある。バーチャル京都では、撮影地点を特定して路線沿いに地図化した市電写真を、GoogleマップやGoogleストリートビューと並べ、過去と現在を比較できる。1960年代の街路景観写真を載せたWeb地図でも、四条通の当時の景観と現在のストリートビューを容易に比較できる [UC-015 §寄贈写真・市電写真・街路景観写真・絵葉書の地図化]。同じ場所の過去と現在を見比べられることが、これらの表示が見る人に足すものの一つである。写真の撮影地点を特定する方法は、節「写真という資料」を参照されたい。
視点と進行を自分で選ぶ三次元教材
九州大学の対話型3Dウェブ教材は、WebGLとThree.jsで作られ、任意のウェブブラウザで学習できる。3次元CGで表した建物や登場人物の振る舞いに加えて、静止画や説明文の表示、動画・音声の再生の機能を備える。マウスで視点を対話的に動かせ、紫宸殿・陣座・清涼殿や鳥瞰図などのカメラ位置があらかじめ設定されており、「次へ」ボタンで儀式を進める [UC-019 §教材の機能と画面]。見る人が視点を選び、進行を自分で進めるという点が、この体験の性格である。
学生からは、テキストを読むだけの場合よりも宮中の儀式の様子を深く理解できたという感想が寄せられている [UC-019 §教材の機能と画面]。見る人の側で何が深まったかを示す報告は、いまのところこの感想が中心である。
360度VRカメラを使う体験もある。中央図書館のナビゲーションでは、学生が360度VRカメラを頭に付けて館内を歩いて収録し、視点を360度自由に変えられる。画面左上のマップで経路をクリックするとその地点へ移動でき、館内のパネル画像とビデオ動画は、360度VR画像が表示される球体の中で表示できるようにしてある [UC-019 §Linked Data・360度VR・点群の取り組み]。
ユーザー介入型のVR演劇
VR演劇は、見る人が物語の中に入って働きかける体験の例である。『東海道四谷怪談』第二幕を題材にした作品は、あんま宅悦になりきって「雑司ヶ谷四ツ谷町の場」で何が起こったのかを探るミステリー型のVRアドベンチャーで、小道具の調査とお岩AIとの会話から謎を追い、ユーザーの回答によって結末が分岐する。キャラクターアバターを着ることで認知や行動が変わるプロテウス効果を利用している [UC-036 §AX時代のDH:ARCアーカイブを活用したVR展示]。
素材には、アーカイブに蓄積された資料の二次活用が使われた。3Dモデルは浮世絵や催事型写真のデータベースの資料を参考に、着物の色味や髪形を図録で確認して作り、音声は大西SPレコードコレクションにある当時の役者の声から生成している [UC-036 §AX時代のDH:ARCアーカイブを活用したVR展示]。分岐する筋の作りについて、制作の側からは、いま伝わる筋にどれだけの価値があるのかを逆に検証できるのではないかという見方も示されている [UC-036 §AX時代のDH:ARCアーカイブを活用したVR展示]。
生成AIで一人でも作れるようになったとはいえ、AIの処理には、量が増えると誤りも増える限界があり、人間が確認する責任は残る [UC-048 §限界と人間に残る責任]。没入体験の制作にも、何を変えず何を確かめるかを決める判断が要る。
体験を組み、保つ側の負担
没入体験が隠す側面や制約として記事から読み取れるのは、体験を作り、保つ側の負担である。
バム遺跡の推定モデルでは、ウォークスルー映像を作って公開したが、映像は美しくても継続的な利用にはつながらなかった。データのオープン化は諸事情で難しく、対話型VRサービスの提供も負担が大きすぎたため、結局は映像で見る方法しか提供できなかった。3次元モデルへの注釈も試みたが、当時はうまくいかなかった [UC-020 §プロジェクトの教訓と今後の問い]。
残された問いは、作成コストの高い推定モデルに見合う利用目的や閲覧環境を提供できるかである。具体的には、インタラクティブな利用に耐える品質を外部・内部空間ともに提供できるか、オンラインでの情報注釈や共有を現実的なコストで実現できるかが挙げられている [UC-020 §プロジェクトの教訓と今後の問い]。モデルを作ることと、それを体験として届け続けることは別の課題である。