はじめに

デジタル化された画像資料は、閲覧するだけでなく、研究の問いに合わせて部分に分け、属性を与え、並べ直して分析できるデータとして扱えるようになっています。その背景には、画像共有の国際的な方式であるIIIF(International Image Interoperability Framework)の普及と、研究対象となる画像コレクションの構築を半自動化できる可能性を開いたAI(人工知能)の進展があります。対象とするのは、画像資料をデータとして研究や教育に用いた6件の実践です。データの持ち方や工程ごとのツールの使い分けといった構築の側面は、[IIIFキュレーションによる画像資料の活用]が扱っています。

参照する事例は次の6件です。

  • 事例A:IIIF Curation Platform(ICP)の機能を、利活用のレシピとして紹介した事例
  • 事例B:顔貌コレクション(顔コレ)の構築と、研究・教育への応用を扱った事例
  • 事例C:字典・写本・文書群などのデジタルアーカイブ構築にICPを用いた事例
  • 事例D:IIIFとAIが美術史研究をどう変えるかを論じた事例
  • 事例E:顔コレの手法を一つの絵巻の分析や他の資料へ広げた事例
  • 事例F:絵巻の絵師の分担を、先行研究と顔貌の比較から再検討した事例

対象とする資料も講演の立場も異なりますが、画像資料をデータとして研究に用いる進め方には共通する型が見いだせます。

既存の研究手法の継承と拡張

新しい手法を一から立てるのではなく、すでに研究の場で使われてきた手続きや学術的な基盤を出発点とし、デジタルの環境でその規模や確かめ方を広げる進め方が、5件の事例に見られます。

  • 事例A:キュレーションは、もともとミュージアムで資料の収集や作品の展示などを指す言葉で、あるテーマに沿ってコンテンツを集め、並べ、提示・共有する活動とされています。様々な作品から同じ人物の部分だけを集めた「不美人の描き方—「末摘花」」のように、テーマごとに並べることで描き方の比較などが可能になります。
  • 事例C:『ヒエラティック古書体学』データベースは、今も研究に必須とされるMöllerのヒエラティック字典の、音価から文字を引けないといった課題を受けて作られました。デジタル源氏物語では、『校異源氏物語』を比較の基盤として諸本対照を行えるようにしています。
  • 事例D:顔を切り抜いて集める作業は紙と糊などでも行えますが、デジタルの利点を活用する方向に研究手法自体を進化させる点に大きな違いがあると述べられています。キュレーションも、ハサミと糊で一覧を作っていた作業をデジタルで簡単にするものと位置づけられています。
  • 事例E:GM法は、様式分析のために写真カードを並べ直し分類し直してきた研究手法を、デジタルの環境で大規模化・効率化し、情報を付加できるようにしたものです。名称は、様式研究の泰斗Giovanni Morelliの名とGazing Microcontentsとの二重の意味をもちます。
  • 事例F:清浄光寺甲本の全10巻を三つの画風に分けた先行研究の分類を、作品の調査と高精細画像をもとに読み直し、分類の妥当性を認めたうえで制作年代の推定を見直しています。

対象は絵巻の顔貌、字典の字形、写本の本文と異なりますが、出発点にあるのは、写真カードによる様式分析、既存の字典や校異本、先行研究の分類といった、従来の研究が築いてきた手続きと基盤です(事例C、事例E、事例F)。デジタルの環境は、その手続きを行える規模と、付け加えられる情報の範囲を広げています。GM法は、手法を横展開するために名付けられたもので、顔貌に限らず美術史以外の資料にも応用できるとされています(事例E)。

GM法の作業は、美術史に携わってきた人であれば、同じことをアナログでやってきたと感じるものだとされています(事例E)。美術史研究の大規模化の背景には、多くのミュージアムやライブラリによる高解像度画像の公開があると述べられています(事例D)。先行研究が古くから取り組んできた「法然上人伝絵」48巻の手の区別も、写真がIIIFのような形で公開されれば、かなり明確に区別していくことが可能だとされています(事例F)。

網羅的なデータによる検証

場面ごとの印象や経験上の直感として捉えられてきたことを、資料全体にわたって集めたデータで確かめられる形にする進め方が、4件の事例に見られます。判断の根拠が、選び出した例から、全体を並べた結果や件数へと広がります。

  • 事例B:顔コレでは、付与したメタデータの一覧と各値の付与数を取得でき、男女の比率のような統計的な検討に活用できます。『遊行上人縁起絵巻 清浄光寺甲本』の僧侶と尼僧をすべて平面上に並べて整理し、男女の描き分けに加え、絵師ごとの傾向の違いまで明らかにしています。
  • 事例D:顔の検出の3分の2を機械に任せられれば、人が顔を切り取る作業量を3分の1に短縮できます。より多くの作品を分析できるようになれば、エビデンスの信頼性が向上し、研究を深めることにつながると期待されています。
  • 事例E:講演時点の8,845件の顔貌では、男性が圧倒的に多いこと、斜めを向いた顔が圧倒的に多いことが数として確認でき、美術に携わる人が直感的に感じていることを数量的に再確認する助けになるとされています。甲本では、網羅的に多くの顔をチェックし、質と量の両面から様式を確認しています。
  • 事例F:男性の僧侶と女性の僧侶の顔の描き分けは、場面を見ればその場で把握できますが、全巻にわたってすべての僧侶と尼僧を取り出し、絵師ごとにシールを貼っていく作業によって、網羅的に分かるようになるとされています。

付与した値の件数で傾向を確かめる方法(事例B、事例E)と、全巻の対象を絵師ごとに並べて比べる方法(事例E、事例F)は手段が異なりますが、どちらも、場面ごとに見て取った例ではなく資料全体を判断の根拠にする点で共通しています。確かめられる対象も、数として表れる傾向から、質的な違いまで幅があります。

集める範囲については、日本中の作品から集められるようになれば、作品の一般的な傾向がより明らかになっていくという見通しが示されています(事例E)。

解釈の手がかりとしてのデータ

機械による検出の結果や、データを並べて比べた結果を、それ自体で結論とするのではなく、専門家が解釈するための手がかりとして扱う進め方が、4件の事例に見られます。何を付与し、結果が何を意味するかの判断は、対象を知る人が担います。

  • 事例C:『ヒエラティック古書体学』データベースでは、行単位のアイテムを並べて比較することで、ヒエログリフでは類似していない125番と600番の字形がヒエラティックでは極めて類似しており、書記が両者を区別していなかった可能性を検証するといった研究活用の例が示されました。
  • 事例D:顔コレにおいて機械学習に最も価値があるのは、顔の切り抜きという作業を支援して労力を大幅に軽減できる可能性がある点で、データの解釈は専門家の精読に基づくとされています。AIの結果は盲信せず、新たな解釈を考える手がかりとして使うのがよいという見解が示されています。
  • 事例E:甲本では70%程度の顔貌を機械学習で自動検出できた一方、メタデータの付与は現段階では人の目で行っています。顔コレでは、予備知識のない人には男性の顔にしか見えないものでも、美術史の観点から見れば酒呑童子だと分かる人がキーワードを付与します。
  • 事例F:全巻の僧侶と尼僧を絵師ごとに整理する作業は、絵師の様式、図像の解釈、原本に対する理解という複雑な問題を見ていく手がかりになると述べられています。清浄光寺甲本の三つの類は、14世紀初頭の正統やまと絵に対する解釈の違いとして捉え直す見通しが示されています。

事例Dと事例Fは、ともにデータから得た結果を解釈の「手がかり」と位置づけています。データ処理が担う範囲は、顔の位置の検出(事例D、事例E)から、比較の材料をそろえて並べること(事例C、事例F)まで事例によって異なりますが、何を付与するかや結果の意味を読み取る部分は、美術史の知識(事例E)や専門家の精読(事例D)に委ねられています。機械学習でデータセットの規模を拡大することは、従来より広い範囲での精読を可能にするものとされています(事例D)。

注意点として、AIは学習したことを出力しているにすぎず、学習していないタイプの画像を与えるとまったく認識できないため、何を学習し、何を正解できるようになっているかを常に考えながら使うことが大切だとされています(事例D)。データの解釈も機械が支援する「遠読(Distant Reading)」には新たな可能性が広がる反面、方法論の危うさも共存しており、リスクを認識しながら進める必要があると述べられています(事例D)。

役割で分担する研究体制

一人の研究者がすべてを担うのではなく、データを作る、処理する、解釈するといった役割ごとに、異なる専門をもつ人が分担して研究を進める体制が、5件の事例に見られます。

  • 事例B:顔コレを用いた『遊行上人縁起絵巻』の様式分析は、美術史研究室の研究者との共同研究です。
  • 事例C:デジタル源氏物語は研究者や図書館関係者との共同研究、『ヒエラティック古書体学』データベースは図書館関係者らとの共同開発、オスマン・トルコ語文書群は歴史研究者との共同で進められています。講演者は、ICPの開発元とは別組織の一利用者として、プログラム的・システム開発的な観点からICPを用いており、オスマン・トルコ語文書群については自身が史料の専門ではないと述べています。
  • 事例D:データ駆動型人文学研究は、人文学者の問い、情報学者の技術的提案、両者の議論のいずれからも始まり、ソフトウェアエンジニアやデータキュレーターなどの専門人材を含むチームを組む形もあります。一人で進める研究ではなく、さまざまな専門人材が協力する点が従来型の研究と大きく異なると指摘されています。
  • 事例E:講演者は、情報学の研究者と人文学の研究者を橋渡しし、双方のニーズとシーズを結び合わせることを自身の役割と考えています。顔コレの顔貌の切り抜きは、大学院生が非常に多くを担っています。
  • 事例F:清浄光寺甲本の検討は、遊行寺宝物館の館長の理解を得て作品をじっくり調査し、館長が撮影した高精細の写真の提供を受けることで可能になりました。

人文学の共同研究では地域や時代、作品で分担することが多かったのに対し、データを作る、学習させる、解釈するといった役割で分担するチームは新しい挑戦とされています(事例D)。そのなかには、データを処理する側と分野の専門家の間に立つ橋渡しの役(事例E)や、作品を所蔵し高精細の画像を用意する側(事例F)も含まれます。組み方は事例ごとに異なり、システム開発的な観点からICPを用いる側が、歴史研究者や図書館関係者と組む形(事例C)もあれば、美術史の研究者と共同で一つの作品を分析する形(事例B、事例E)もあります。

今後の展望として、人文学側はリサーチクエスチョンを明確化し、研究の方法論をデジタルに合う形に進化させること、情報学側は分野専門家とコミュニケーションを取り、問題の抽象化と手法の有用性に焦点を合わせて研究を進めることが挙げられています(事例D)。

まとめ

画像資料をデータとして扱うとき、問いや比較の手続きは従来の研究から引き継がれ、デジタルの環境が広げているのは、その手続きを行える規模と、資料全体を根拠に確かめられる範囲です。データから得た結果の意味を読むのは引き続き専門家であり、データを作る、処理する、解釈するという役割が分かれることで、それぞれを担う人が組む研究体制がとられています。

参照ユースケース

事例A:IIIFのポテンシャルを引き出すIIIF Curation Platform利活用アイデア

IIIF Curation Platformの機能を利活用のレシピとして紹介し、利用者の視点をIIIFに持ち込む意義を述べています。

事例B:人文学マイクロコンテンツ研究ツールとしての IIIF Curation Platform

顔貌コレクションの構築を軸に、絵巻の様式分析や美術史教育、グループワークへの応用を紹介しています。

事例C:IIIF Curation Platformを用いたデジタルアーカイブの活用

スクラップブック、写本、字典、書簡などのデジタルアーカイブ構築に、IIIF Curation Platformを用いた事例を紹介しています。

事例D:美術史におけるデータ駆動型人文学研究の展開 - IIIFやAIでどう変わるか?

IIIFとAIが美術史研究をどう変えるかを論じ、データ駆動型人文学とチーム型研究への展望を示しています。

事例E:「顔貌コレクション」IIIF Curation Platformを活用した研究基盤の構築と展開

顔貌コレクションの構築過程と、その手法をGM法として一つの絵巻の分析や江戸の資料へ広げた展開を紹介しています。

事例F:多巻構成の絵巻における絵師の分担に関する検討―「顔コレ」とGM法導入による「遊行上人縁起絵巻」(清浄光寺甲本)の比較を通じて

『遊行上人縁起絵巻』清浄光寺甲本の絵師の分担を、先行研究の分類と顔貌の比較から再検討しています。

講演情報

関連リンク


この記事は、複数のユースケースを基に生成AIを利用して作成したベストプラクティス記事です。