実測に基づくモデルと推定に基づくモデル
三次元記録における最も重要な区別は、実測に基づくモデルと推定に基づくモデルのあいだにある。この区別は技術的な精度の問題ではなく、モデルが何を根拠として成り立っているかという問いに関わる。
実測に基づくモデルは、レーザー計測や測量によって現存する対象を直接計測して構築する。対象が現存する限り、これが原則となる [UC-020 §実測と推定：2種類の3次元モデル]。推定に基づくモデルは、計測できない対象を三次元化するときに用いる。2003年の地震でほぼ全壊したイラン・バム遺跡（アルゲ・バム）の復元プロジェクトは後者の極端な事例であり、現代の遺跡でありながら現地で実測できないため、衛星画像・写真・平面図・地形データ・記録・遺物・人々の記憶という異種のデータを統合して失われた形状を推定するほかなかった [UC-020 §実測と推定：2種類の3次元モデル]。
この区別は、モデルを利用する側にとっても不可欠な情報である。どこが実測に基づき、どこが推定によって補われているかが記録されていなければ、モデルの信頼性を判断する手がかりが失われる。
フォトグラメトリ・レーザースキャニング・SfM が使える条件
レーザースキャニングと、複数画像から三次元形状を復元するフォトグラメトリ・Structure from Motion（SfM）は、いずれも対象が現存することを前提とする。バム遺跡の事例では「レーザースキャンやStructure from Motionといった全自動の手法も、新しいデータを取得できない以上、遺跡が現存しないバムでは使えなかった」と明示されており、崩壊後の記録には適用できなかった [UC-020 §レンダリングと自動化の試み]。
後年の実践として、ドローンを活用した記録や、観光客が撮影した写真から焼損した首里城を復元した例が言及されている。これらは対象が一部現存する、あるいは多数の写真が事前に蓄積されているという条件下での成果である [UC-020 §レンダリングと自動化の試み]。バム遺跡では、NHKが1981年に撮影した7分間の空撮映像が残されていたが、解像度の低さ・カメラ種の違い・修復による形状の変化が壁となり、精度の高い復元には至らなかった [UC-020 §レンダリングと自動化の試み]。
参照データの質が復元の限界を決める
推定モデルの質は、利用できる参照データの質と量に直接規定される。バム遺跡では、外部機関（CNRSおよびICHHTO）から写真測量学的な地図の提供を受け、建物の形状と位置についての大まかな参照データを得た。遺跡への強い思い入れを持つ人々が観光で訪れる場所だったため、写真の提供は広く得られた [UC-020 §参照データと写真の収集]。
しかし2003年はスマートフォン登場前でデジタルカメラも主流ではなく、多くはフィルム写真をスキャンしたもので高解像度にならなかった。半自動モデリング（標高データに写真を重ねて構造とテクスチャを得ようとする試み）は、位置合わせの難しさから成果に至らなかった [UC-020 §レンダリングと自動化の試み]。内部空間については写真がとくに乏しく、天井の形などは建築学的な推定で補うほかなかった [UC-020 §レンダリングと自動化の試み]。
推定を担う専門知識と作業分担
推定に基づく復元では、欠落した情報を専門知識によって補う判断が随所に求められる。バム遺跡の事例では、突起物・窓・門の形などをペルシャ建築として妥当かという観点から判断する必要があった。当初はコンピューター専門家がモデリング（遺跡のジオメトリの構築）とレンダリング（モデルをもとに画像・映像を生成すること）の両方を担い、遺跡専門家は指示を出すだけという体制だったが、欠落部分を補う際の建築上の判断はドメイン知識なしには下せないため、うまく機能しなかった [UC-020 §モデリングとレンダリングの分担と精度・コストの調整]。
遺跡専門家がモデリングを担い、コンピューター専門家がレンダリングを担うという分担に改めることで、正確かつ表現として成立した出力が得られるようになった [UC-020 §モデリングとレンダリングの分担と精度・コストの調整]。この教訓は、「どちらの専門家が何を担当するか」という問いが、推定モデルの精度と妥当性に直接影響することを示している。
精度とコストのバランスも推定モデル固有の問題である。精度を上げるほど手作業が増えてコストが上がり、自動化すればコストは下がるが精度が落ちる。バム遺跡では、重要な部分は手作業で正確に、重要度の低い部分はできるだけ自動でという使い分けが採用された。都市的なスケールを持つ遺跡では、このコスト管理が特に重要になる [UC-020 §モデリングとレンダリングの分担と精度・コストの調整]。
どこを補ったかを記録するという未解決の課題
推定に基づくモデルでどこを補ったかを記録することは、復元の透明性に直結する。バム遺跡プロジェクトでは三次元モデルへの注釈を試みたが「うまくいかず、この領域はまだ発展の余地が大きい」とされており [UC-020 §プロジェクトの教訓と今後の問い]、補完箇所の明示的な記録は技術的・実践的な未解決課題として残されている。メタデータの設計と管理については「メタデータ」を参照。
モデル完成後の活用という問い
バム遺跡プロジェクトの教訓として、三次元モデルを作った後にどう活用するかがより大きな課題として浮かび上がることが指摘されている。ウォークスルー映像を作って公開したが、映像は表現として成立しても継続的な利用にはつながらなかった。データのオープン化は諸事情により難しく、対話型VRサービスの提供も負担が大きすぎたため、映像で見る形しか提供できなかった [UC-020 §プロジェクトの教訓と今後の問い]。三次元データを体験させる仕組みについては「拡張現実と没入」を参照。
今後の問いとして、インタラクティブな利用に耐えるクオリティを外部・内部空間ともに現実的なコストで提供できるか、そして修復によって絶えず姿を変えてきた遺跡をどの時点のモデルとして作るべきかという点が残されている [UC-020 §プロジェクトの教訓と今後の問い]。後者の問いは、記録の対象が単一の固定した状態ではなく時間とともに変化するという、三次元復元に固有の難問である。