画像資料の一部を切り出して集め直すと、一点の資料の内側に分け入った比較が、機関をまたいで可能になる。顔のように特定の部分を多くの作品から集めれば、描き方の違いを一覧で確かめられる。本節では、何を単位に切るか、何を記述するか、集め直した部分をどう扱うかを順に述べる。IIIF の仕組みそのものは節「画像の流通基盤」を参照。機関をまたぐ横断検索と索引化は探す側の担当なので、節「資料をさがす・集める」を参照。
何を単位に切り、何を記述するか
切り出しの単位は、研究の問いが決める。顔コレ(顔貌コレクション)は、近世の絵巻・絵入本を中心に、さまざまな機関が IIIF で公開する作品から顔の部分を切り抜いて集めた事例である [UC-041 §顔貌コレクション（顔コレ）とは]。対象は顔に限られない。江戸時代の商人の広告や版面を切り取った江戸買物案内、名所案内から名所の画像を切り取った江戸観光案内も、統一的なメタデータを付与して整理した同様の試みとして公開されている [UC-041 §ICPを活用した展開]。一つの作品の内側から同じ人物の部分だけを集めたキュレーションや、肖像部分を集めたキュレーションの例も挙げられている [UC-001 §IIIF Curation Platformとは何か]。
IIIF の枠組みでは、切り出した部分はキュレーションリストとして記述される。キュレーションとは、あるテーマに沿ってコンテンツを集め、適切な順番に並べ、新たなコンテンツとして提示・共有する活動である [UC-001 §IIIF Curation Platformとは何か]。リストは、複数の資料(マニフェスト)からそれぞれ切り出した画像領域を、メタデータとともに1ファイルで管理できる。データ管理が容易になり、長期保存にもつながる点が利点として述べられている [UC-003 §まとめ：相互運用性と管理の容易さ]。
キュレーションの作成と保存
作成の手順は単純である。画面上の切り取りボタンで矩形領域を指定し、お気に入りに入れると、欲しい画像がキュレーションリストに溜まっていく。領域を切り取ってお気に入りに入れるだけで集められる点は、IIIF Curation Viewer の独自機能とされる [UC-001 §IIIF画像のキュレーション]。集めたキュレーションは JSONkeeper に保存でき、上書き更新も選べる。ログインしていれば他人による上書きを防げる。保存した内容は URL を共有すれば他者も閲覧でき、再び IIIF Curation Viewer で開ける。ただし保存はできても検索はできず、検索には IIIF Curation Finder の設定が別途必要になる [UC-001 §IIIF画像のキュレーション]。
保存したあとの管理には役割の異なるツールが使われる。ログイン状態でエクスポートしたキュレーションは IIIF Curation Manager で一覧・編集・削除でき、個別のメタデータの追加や変更は IIIF Curation Editor が担う。展示には IIIF Curation Player があり、画像に付けたメタデータを重ねて表示でき、スライドショーでコマを自動再生することもできる [UC-001 §IIIF画像のキュレーション]。切り出し・編集・管理・展示を役割の異なるツールに分担させ、同じキュレーションのデータ形式でつなぐ構成が、複数の実践に共通している。ただし IIIF Curation Editor は大規模な編集には向かないことが注意点として挙げられている [BP-001 §工程ごとにツールを使い分ける]。
アノテーションの付け方
切り出しただけでは、集めた部分は並べて見る材料にとどまる。顔コレの特徴は、すべての顔貌に統一的なメタデータを付与した点にある。性別・身分・向き・原典・所蔵機関といった項目を揃えることで、横断的な検索と数の確認が可能になる [UC-002 §顔コレ構築のワークフロー, UC-041 §顔貌コレクション（顔コレ）とは]。
メタデータの付与には、対象についての専門知識が欠かせない。予備知識のない人には単なる男性の顔に見えるものが、美術史の観点から見れば、鬼の正体を現す前の酒呑童子と分かる場合がある。それを分かる人がキーワードを付すことで、複数の絵巻を横断して酒呑童子の顔貌を確認できる [UC-041 §顔コレの構築過程]。
8,000を超える顔貌に項目を一つずつ入力すると作業量が膨大になる。そのため、キュレーションの JSON を表示して空のメタデータ項目を一括置換で挿入する工夫が採られている。複雑な置換には外部エディタを経由することもある [UC-002 §顔コレ構築のワークフロー]。
機械と人手を組み合わせた切り抜き
切り抜く対象が大量にある場合は、検出を機械に任せ、人が補う方法がある。『遊行上人縁起絵巻 清浄光寺甲本』は10巻本で、多人数が登場する場面が何度も現れ、2,000を超える顔貌が存在する。具体的な分析を目的とした研究では、ある程度の期間で結論を出すことが求められるため、切り抜きの速度を上げる必要があった [UC-041 §『遊行上人縁起絵巻 清浄光寺甲本』への手法の適用]。
そこで、顔コレデータセットを訓練データとして画像検出器に学習させ、甲本の版面のどこに顔があるかを調べた。顔コレの中心は江戸初期から中期の作品であり、14世紀の作品とされる甲本とは様式も顔の描き方も異なるため、難しいと見込まれていた。それでも約70%の顔貌を自動検出でき、人が囲むのは残りの30%で済んだ。人が密集している箇所でも、数人に1人を取りこぼす程度で、ほぼ正確に位置を検出したという [UC-041 §『遊行上人縁起絵巻 清浄光寺甲本』への手法の適用]。検出精度は、顔コレデータセット自体を対象にした場合で約80%、時代の異なる作品に適用した場合で約70%と報告されている。3分の2の検出を機械に任せられれば、人が顔を切り取る作業量は3分の1に縮む [UC-040 §機械学習による顔検出]。
手順としては、検出は機械、メタデータの付与は人という分担になる。切り抜いた顔貌へのメタデータ付与は、美術史的な姿やアトリビューションを確かめながら、人の目で一つずつ行われた [UC-041 §『遊行上人縁起絵巻 清浄光寺甲本』への手法の適用]。機械による検出の扱いは、節「特徴抽出と様式分析」を参照。
マイクロコンテンツ化とは何をすることか
デジタル化された人文学資料の一部を、特定の目的と粒度で整理し直して研究に使える形にすることを、報告者の研究チームはマイクロコンテンツ化と名付けている。IIIF に則ってデジタル化された資料から部分を抽出・収集し、メタデータを付与したうえで、横断検索・一覧化・研究活用につなげる流れである [UC-002 §人文学資料のマイクロコンテンツ化]。
これを手法として一般化したのが GM 法である。顔貌を切り抜き、メタデータを付与し、一覧化した部分を平面上で整理するという一連の作業に付けた名称で、様式研究者 Giovanni Morelli の名と、切り取った部分をよく見ることを意味する Gazing Microcontents を重ねている [UC-041 §手法の一般化としてのGM法]。従来、様式分析のために写真カードを並べ直したり分類し直したりしてきた作業を、デジタル環境で大規模化・効率化し、情報を付加できるようにしたものと位置づけられている [UC-041 §手法の一般化としてのGM法]。
集め直した部分を整理する道具として、IIIF Curation Board がある。画像を平面上に自由に移動させ、KJ 法のように分類できる。範囲選択した画像の自動整列、グループを囲む枠線、色つきのシール、付箋といった補助機能もあり、色分けの意図を凡例として示すこともできる [UC-002 §IIIF Curation Boardによる画像整理]。700を超える僧侶・尼僧、あるいは500を超える顔貌を平面上で整理する作業は紙の上では物理的に難しく、こうしたデジタル上の整理機能が実現を支えている [UC-002 §『遊行上人縁起絵巻』の様式分析への応用]。
多人数で集合的に集める
切り出しは多人数で分担できる。顔コレは複数の作業者が分担して構築しており、各作業者がメールアドレスと任意のパスワードでログインし、管理者が各アカウントのキュレーションを横断的に確認する形で進められた [UC-002 §顔コレ構築のワークフロー]。Google や Facebook のアカウントでのログインは、作業者の個人アカウントを管理側が把握することになるため、共同作業ではメールでのログインが推奨されている [UC-002 §顔コレ構築のワークフロー]。切り抜き作業では、大学院生が非常に多くの顔貌を切り取ったとされる [UC-041 §顔コレの構築過程]。
参加者が集まってキュレーションの視点を出し合うイベント「キュレーソン」も実施されている。基本操作をレクチャーしたうえで各自が自由にキュレーションを行い、互いに解説し合う。ある研究室での実施では、髷に注目したもの、背景の植物に注目したものなど、同じ研究室の中でも視点の異なる成果が生まれた [UC-002 §キュレーソン：ICPを使ったグループワーク]。大人数で実施して後日まとめる場合は、運営側が共通のアカウントを用意して全員にそれでログインしてもらうと、すべてのキュレーションが一つのアカウントに集まり、公開やアーカイブがしやすくなる。これは、上の共同作業での個別アカウントとは逆向きの運用である [UC-002 §キュレーソン：ICPを使ったグループワーク]。
集め直した部分を数え、比べる
統一的なメタデータが付いていれば、集めた部分を検索するだけでなく数えることもできる。顔コレでは、講演時点で顔貌が全部で8,845件あり、男性が圧倒的に多いことが数として確認できる。テーマを選ばずに各機関の公開作品を網羅的に取り込めば男性が増えていくのではないか、というのが講演者の見立てである。顔の向きでは、斜めを向いた顔が圧倒的に多く、正面は描きにくいといったことも確かめられる。美術に携わる人間が直感的に感じていることを、数量的に再確認する助けになるとされる [UC-041 §顔コレの活用]。メタデータと画像座標は、検索用の API から一括して取得することもでき、男女の比率のような統計的な検討に使える [UC-002 §メタデータ検索と派生キュレーションの作成]。
比べる作業は、切り出した顔に標識を付けて並べることで成り立つ。たとえば男女の標識を付けて IIIF Curation Board に並べれば、僧侶と尼僧の顔の描き分けを確かめる比較ができる [UC-041 §デモで示した僧侶と尼僧の描き分け]。この比較の結果と、そこから導かれる様式や分担についての解釈は、節「特徴抽出と様式分析」を参照。
既存のキュレーションから派生キュレーションを作る
既存のキュレーションから、新しいキュレーションを派生させることができる。検索結果から気になる顔貌をリストに登録し、エクスポートして派生キュレーションを作る機能があり、複数の作品から似た顔貌を集めて比較するという、美術史の古典的な様式分析の手法に対応する [UC-002 §メタデータ検索と派生キュレーションの作成]。
教育の場面では、この派生が追体験の手段になる。ある絵巻専用の顔コレを構築して検索用のメタデータを付与し、学生が先行研究で比較対象とされた顔貌を手がかりに、絵巻の中から典型として近い顔貌を探す。考察の結果は派生キュレーションとして作成し、グループごとに共有する。研究の第一線で行われている様式分析の手続きを、ツールに置き換えて学ぶ構成である [UC-002 §『石山寺縁起絵巻』を用いた美術史教育プログラム]。
派生キュレーションを作る意義は、一度集めた部分が使い捨てにならない点にある。他の人が作ったキュレーションを出発点に、別の問いに合わせて集め直せる。集めた部分に文章を添えて展示として提示することも可能で、description 項目に記述した文章は、キュレーションを読み込んだ IIIF Curation Player で画像とともに表示できる [UC-002 §キュレーソン：ICPを使ったグループワーク]。