はじめに
本講演では、ROIS-DS人文学オープンデータ共同利用センター/国立情報学研究所の 鈴木 親彦 氏が、人文学研究者の立場から IIIF Curation Platform(以下 ICP)の活用事例を「レシピ」として紹介します。鈴木氏は人文情報学・文化資源学を専門とし、利用者の意見を反映する立場から ICP の開発にも関与しています。講演では、顔貌の収集サービス「顔コレ」を軸とした研究活用、ICP を用いたグループワーク「キュレーソン」、ICP の利用環境と環境構築の3点を取り上げ、ICP の各機能が実際の研究や教育の現場でどう使われているかを具体的なワークフローとともに示します。
顔貌コレクション(顔コレ)とは
顔貌コレクション(顔コレ) は、様々な機関が IIIF で公開している美術作品から顔貌部分を収集し、整理・検索可能にしたサービスです。日本の絵巻物や絵入本を中心に顔貌を集めており、2021年2月時点で299作品・8,845顔貌が収録されています。単に顔貌を切り取って集めるだけではなく、すべての顔貌にメタデータが付与されているのが特徴です。顔コレは IIIF Curation Platform のほぼ全機能を用いて構築されており、画像の切り取りからメタデータ付与・編集・管理・検索、さらにそれを用いた整理分析まで、ICP の各ツールを段階的に活用しています。
顔コレ構築のワークフロー
顔コレの構築は、IIIF Curation Viewer による画像の読み込み・顔貌の切り取り・メタデータ付与を軸に、IIIF Curation Editor によるメタデータ項目の一括登録、IIIF Curation Manager によるグループ作業管理を組み合わせて進められます。多数の機関のアーカイブを横断しつつ、大量のキャンバスにメタデータを付与する点に、独自の工夫が含まれています。
まず IIIF Curation Viewer で対象作品を表示します。各機関の Web サイトに置かれている IIIF マニフェストを Viewer 上にドラッグ&ドロップすると作品が読み込まれ、矩形選択機能で顔貌を一つずつ囲みながらキュレーションリストへ登録していきます。切り取りを終えたら、エクスポート機能で保存します。この段階で JsonKeeper にキュレーションが格納されて URL が生成されるため、共有はその時点から可能です。
切り取りを進めるとキュレーションが大量に蓄積されます。既定のままでは管理が難しいため、IIIF Curation Editor を起動し、ツリーの object 直下の label 項目に作品名などを入れて上書き保存することで、キュレーションごとに名前を付けます。
メタデータの付与は Viewer のメタデータ付与機能で行い、顔コレでは向き・性別・職業などの項目を統一的に与えています。ただし8,000を超える顔貌に項目を一つずつ入力すると作業量が膨大になるため、IIIF Curation Editor 上でキュレーションの JSON を表示させ、空のメタデータ項目を一括置換で挿入する工夫が採用されています。複雑な置換には外部エディタ(Oxygen)を経由する場合もありますが、IIIF Curation Editor 上でも Ctrl+F の検索置換機能で簡易な処理が可能です。長時間の作業を中断する際は、上書き更新によるエクスポートで作業を保存できます。なお、メタデータを更新した場合はメタデータ入力欄で変更を承認した後にエクスポートしないと正しく保存されない点に注意が必要です。
顔コレは複数の作業者が分担して構築しているため、IIIF Curation Manager によるグループ作業管理が重要になります。各作業者がメールアドレスと任意のパスワードでログインする「メールでログイン」機能を用い、管理者は各アカウントの情報を把握してキュレーションを横断的に確認します。Google や Facebook のアカウントでログインすると作業者の個人アカウントを管理側が把握することになりプライバシー上の問題が生じるため、共同作業ではメールでのログインが推奨されます。
メタデータ検索と派生キュレーションの作成
付与したメタデータを用いた検索は、表側に IIIF Curation Finder、裏側で Canvas Indexer が稼働する構成で実現されています。検索の例として、Label「身分」に紐づくValue「化身」を選ぶと仏・鬼・怪物などの顔貌を横断的に閲覧でき、表示単位はキャンバス(個々の顔貌)とキュレーション(作品単位)で切り替えられます。
さらに IIIF Curation Finder には、検索結果の「+」ボタンで気になる顔貌をリストに登録し、エクスポートして派生キュレーションを作成する機能があります。これは複数の作品から似た顔貌を集めて比較するという、美術史の古典的な様式分析手法に直接対応するものです。
裏側では、searchEndpointUrl と facetsEndpointUrl を叩くことで、メタデータと画像座標を一括して取得することもできます。searchEndpointUrl からはキュレーションに含まれる画像とメタデータの一覧が、facetsEndpointUrl からは付与されたメタデータの一覧と各値の付与数が取得できます。男女の比率のような統計的な検討に活用できるほか、後述の顔コレデータセット構築にも応用されています。
顔コレデータセットと機械学習との連携
ICP の機能を機械学習と連携させた成果が、顔コレデータセット です。顔コレに登録されたすべての顔貌画像とメタデータを、機械学習用のデータセットとして構築・提供しています。データセットは CODH のサイトおよび GitHub から取得可能で、顔コレに登場する顔貌を学習させて日本の絵巻物風の顔を自動生成する実験などに利用されています。
このデータセットの応用として、顔コレに含まれない未知の絵巻物を機械学習で読み込ませ、画面のどの座標に人の顔があるかを自動認識させる試みも行われています。自動認識の結果を IIIF Curation Viewer に取り込みさらなるデータセット構築の支援に用いるため、Viewer には「選択サイズ座標入力」機能が用意されており、座標値を直接入力することで画面上の任意の位置を矩形選択できます。
『遊行上人縁起絵巻』の様式分析への応用
ICP の全機能を用いた美術史研究の事例として、東京大学美術史学研究室准教授(当時、2026年現在教授)の 髙岸 輝 氏との共同研究が紹介されています。対象としたのは『遊行上人縁起絵巻 清浄光寺甲本』で、まずこの作品の顔貌を新たにキュレーションし、専用の顔コレとして整備しました。
そのうえで、服装・髪型が同じ僧侶と尼僧をすべてピックアップし、IIIF Curation Board 上に並べて整理することで、男女の顔貌が描き分けられているかを網羅的に確認しました。その結果、男女の描き分けに加え、担当した絵師ごとの傾向の違いまで明らかになっています。500を超える顔貌を平面上で整理する作業は紙の上では物理的に難しく、IIIF Curation Boardによる整理機能がデジタル上での実現を支えています。本研究の成果は、鈴木 親彦・髙岸 輝・本間 淳・Alexis Mermet・北本 朝展「日本中世絵巻における性差の描き分け-IIIF Curation Platformを活用したGM法による『遊行上人縁起絵巻』の様式分析」として『じんもんこん2020論文集』(pp.67-74, 2020)に収録されています。
IIIF Curation Boardによる画像整理
IIIF Curation Board は、キュレーションに含めた画像を平面上で整理し、情報を付加できるツールです。読み込みは IIIF Curation Manager の起動ボタンか、キュレーション URL を直接 Board へドラッグ&ドロップする方法で行えます。
読み込み直後は画像がキュレーション順に並んでいるだけですが、ドラッグで自由に移動させて KJ 法のように整理することができます。グループ化を補助する機能として、範囲選択した画像を上揃え・垂直方向整列などで自動整列させる機能、グループを囲む下敷きの枠線、画像へのシール(5色、複数貼付可)、テキストを書き込める付箋などが用意されています。付箋自体にもシールを貼れるため、色分けの意図を凡例として示すこともできます。
さらに、画面上部の情報表示ボタンで、マニフェストに含まれるデータ・キュレーションのメタデータ・シールの色などの表示/非表示を一括で切り替えられます。整理作業中はシンプルな表示でグルーピングに集中し、成果を人に示すときには全情報を表示するというように使い分けることができます。
人文学資料のマイクロコンテンツ化
顔コレの実践で示されたように、デジタル化された人文学資料の一部を特定の目的と粒度で整理し直して研究活用可能にする取り組みを、鈴木氏の研究チームでは、マイクロコンテンツ化と名付けました。マイクロコンテンツ化のワークフローは、IIIF に則ってデジタル化された資料から部分を抽出・収集し、メタデータを付与した上で、IIIF Curation Finder や IIIF Curation Board を通じて横断検索・一覧化・研究活用に繋げる流れとして整理されています。
切り取り対象は顔貌に限られません。例えば江戸時代の買物情報を整理した 江戸買物案内 や、観光情報を整理した 江戸観光案内 も、同様のマイクロコンテンツ化の試みとして公開されています。
キュレーソン:ICPを使ったグループワーク
キュレーソン(Curathon)は、アイデアソンやハッカソンと同じく、参加者が集まってキュレーションのアイデアを出し合い、発見を共有するイベントです。CODH ではこれまでに、人文情報学のサマースクール内のセッションとして実施した Digital Humanities for Japanese Culture: Resources and Methods と、東京大学文学部の絵巻研究室の学生による 絵巻ゼミキュレーソン の2回を実施しています。
実施の流れは、参加者に ICP の基本的な使い方をレクチャーし、自由にキュレーションを実施してもらい、参加者同士で相互に解説し合うというものです。絵巻ゼミでは、髷に注目したキュレーションや背景の植物に注目したキュレーションなど、同じ研究室の中でも視点の異なる成果が生まれました。運営上は、テーマをあらかじめ決めておくこと、使いやすいデータベースやデータセットをリストアップしておくこと、検索キーワードの例を準備しておくことで、スムーズに進行することが出来ます。
大人数で実施し後日成果をまとめる場合には、運営側が共通のメールアドレス・パスワードを用意して参加者全員にそれでログインしてもらうという、グループ作業管理とは逆向きのアカウント共有が便利です。これによってすべてのキュレーションが一つのアカウントに集まり、まとめての公開やアーカイビングが容易になります。
キュレーション結果に文章を付すには、IIIF Curation Editor の description 項目を編集します。記述した文章は IIIF Curation Player でキュレーションを読み込むと画像とともに表示でき、スライドショー的な提示や、全画面表示時の自動再生による展示解説的な利用も可能です。
『石山寺縁起絵巻』を用いた美術史教育プログラム
ICP を活用した美術史教育の事例として、先達の研究プロセスを学生が追体験するグループワークが紹介されています。題材としたのは作者不詳の『石山寺縁起絵巻』で、相澤正彦「石山寺縁起詳解」(『石山寺縁起絵巻集成』中央公論美術出版、2016)の研究では、絵師・粟田口の作品との顔貌の典型の近さから両者の関係が論じられています。
このプロセスを学生が追体験できるよう、『石山寺縁起絵巻』専用の顔コレを新たに構築し、検索用のメタデータを付与した上で IIIF Curation Finder を立ち上げました。学生は、相澤の研究で比較対象とされた顔貌を提示され、IIIF Curation Finder の検索機能で『石山寺縁起絵巻』の中から典型として近い顔貌を考察します。考察結果は派生キュレーションとして作成し、グループごとに共有する形で進めます。研究の第一線で行われている様式分析の手続きを、ICP のツールに置き換えて追体験できる教育プログラムの一例として位置づけられています。
ICPの利用環境とアクセス方法
ICP の利用環境には大きく3つの選択肢があります。一つは CODH が提供するデモ環境を使う方法で、インストールが不要な代わりにプロジェクト専用環境は持てません。二つ目は ICP クライアントだけを利用する方法で、ZIP ファイルをダウンロードしてウェブサーバの必要な位置に展開しますが、プロジェクト専用環境としては不適です。三つ目は ICP サーバも自前で立てる方法で、独自インストールも可能ですが Docker を利用すると便利で、プロジェクト専用環境も構築できます。
汎用性が高いのは1と3で、簡単に始めたい場合は IIIF Curation Viewer のデモ環境 などをそのまま利用でき、認証を行えば各機能を横断してキュレーションを扱えます。自身のキュレーションを IIIF Curation Finder で検索させたい場合や独自環境を構築したい場合は、Docker 版 IIIF Curation Platform が推奨されます。Docker 版の利用には、ポートや Proxy の設定が分かる程度のサーバー管理知識と Docker の基本知識が必要ですが、それほど高度な知識がなくても十分に対応できる範囲です。
操作方法をひととおり学びたい場合は、鈴木氏が自身のサイトで公開している ICP チュートリアル が利用できます。今回の講演で紹介された手順を含め、ICP の基本操作が紹介されています。
知見と展望
ICP は、画像の切り取りからメタデータ付与、検索、整理分析、グループワーク、教育プログラムの実施まで、人文学研究の幅広い場面に対応する機能群を備えています。顔コレを軸とした研究、複数人で行うキュレーソン、美術史教育の追体験は、いずれも単一の機能ではなくツール群の組み合わせで実現されており、マイクロコンテンツ化のワークフローを共通の基盤としています。鈴木氏自身は情報技術の専門家ではないと述べる一方、Docker 版の仮想環境を複数立ち上げて共同研究を進める実践が示されました。
講演情報
- イベント:第14回CODHセミナー IIIF Curation Platform利活用レシピ100連発
- 講演日:2021-02-18
- 講演者:鈴木 親彦(ROIS-DS人文学オープンデータ共同利用センター/国立情報学研究所)
- 資料:人文学研究データリポジトリ(doi:10.20676/00000388)
- 動画:YouTube
関連リンク
- IIIF Curation Platform (ICP) | ROIS-DS人文学オープンデータ共同利用センター(CODH)
- 顔貌コレクション(顔コレ)
- IIIF Curation Finder
- 顔コレデータセット | 顔貌コレクション(顔コレ)
- 江戸買物案内 - 江戸を中心とする商人に関するビジュアルな商業広告データベース
- 江戸観光案内 - 江戸を中心とする観光に関するビジュアルな名所挿絵データベース
- Digital Humanities for Japanese Culture: Resources and Methods at Digital Humanities Summer Institute | CODH Tutorial
- 東京大学文学部「絵巻ゼミ」キュレーソン | CODHチュートリアル
- IIIF Curation Viewer
- ICP Docker | ROIS-DS人文学オープンデータ共同利用センター (CODH)
- ICP Tutorial
この記事は、講演記録を基に生成AIを利用して作成したユースケース記事です。