はじめに

美術作品に登場する顔を切り取って集める「顔貌コレクション（顔コレ）」について、その構築過程と、そこで培った手法を特定の作品の分析や他分野へ広げていく展開までを紹介します。講演者は、ROIS-DS人文学オープンデータ共同利用センター（CODH）特任助教で国立情報学研究所を兼務する鈴木親彦氏です。鈴木氏は文化資源学で博士を、美術史で修士を取得し、人文情報学（Digital Humanities）を専門としています。情報学の研究者と人文学の研究者を橋渡しし、双方が持つニーズとシーズを結び合わせることが自身の役割だと考えており、顔コレもその現れの一つだと位置づけています。

顔貌コレクション（顔コレ）とは

顔貌コレクション（顔コレ）は、美術作品に登場する顔の部分を切り取って集め、それを美術史研究（特に様式研究）に活用するための実験的なプロジェクトです。CODHのサイトで公開しており、収集の対象は近世の絵巻・絵入本が中心で、江戸初期から中期の作品が多くなっています。

顔貌の収集には、IIIFで公開されている画像を利用しています。国文学研究資料館の資料をもとにCODHが公開している日本古典籍データセットのほか、慶應義塾大学メディアセンターデジタルコレクション、京都大学貴重資料デジタルアーカイブなど、さまざまな組織が公開している作品から顔を切り抜き、一覧化しています。

顔を集めること自体よりも、集めた顔貌に統一的なメタデータを付与している点が顔コレのポイントです。メタデータとはデータを説明するためのデータであり、顔コレの場合は切り取った顔について、性別、身分、顔の向き、どの作品に出てきたのかを示す原典、どこが所蔵しているのかといった項目を付与しています。これをすべての顔貌に統一的に付けることで検索が可能になります。実際の検索には、IIIF Curation Platform (ICP)を構成するIIIF Curation Finderを用います。たとえば向きが後ろの顔貌は数こそ少ないものの、後ろ向きを描くための努力のバリエーションが見えて面白い、と鈴木氏は述べています。

顔コレの構築過程

顔コレはICPを活用して構築しており、作品を読み込む、顔貌を切り抜く、顔貌にメタデータを付与するという一連の作業を繰り返して作られています。研究チームは、この一連の作業をキュレーションと呼んでいます。

作品の読み込みでは、IIIFという技術を使うことで、IIIFで公開されている画像であればどのようなものでもICPに読み込んで収集できるようになりました。読み込んだ画面の中から顔を見つけ、一つ一つ囲んで登録していくという作業を繰り返し、顔のコレクションを構築します。この切り抜き作業では、学習院大学の大学院生が非常に多くの顔貌を切り取っています。

集まった顔貌へのメタデータ付与には、美術史の知識が欠かせません。予備知識のない人が見れば単なる男性の顔にしか見えないものでも、絵巻を美術史の観点からきちんと見ていけば、たとえば鬼の正体を表す前の酒呑童子だと分かります。それが分かる人間がキーワードとして酒呑童子を付与することで、さまざまな絵巻を横断して酒呑童子の顔貌を確認できるようになります。専門知識を生かしながらメタデータを付けていくことが、この作業の中心にあります。

顔コレの活用

付与したメタデータは、キーワードによる横断検索だけでなく、その件数を手がかりとした定量的な確認にも使えます。美術史の様式研究をサポートできるのではないかという発想が、もともと美術史を専門としていた鈴木氏がこのプロジェクトを始めた出発点でした。

検索では、たとえば酒呑童子というキーワードから、簡単な描写の顔から詳細な描写の顔まで、また人間の姿、鬼の姿、首だけになった姿までを横断的に集められます。こうしてキーワードやテーマごとに顔を集めることが、様式研究の支援につながります。

IIIF Curation Finderでは、付与されたメタデータが一覧表示されるだけでなく、各メタデータが付与された顔貌の件数も確認できます。講演時点で顔貌は全部で8,845件あり、男女比で見ると男性が圧倒的に多いことが分かります。テーマを選ばずに各機関の公開作品を網羅的に取り込んでいくと男性が増えていくのではないか、というのが鈴木氏の見立てです。顔の向きでは、真横でも真正面でもない斜めを向いた顔が圧倒的に多く、正面は描きにくいといったことも数として確認できます。美術に多少なりとも携わっている人間が直感的に感じていることを、数量的に再確認する助けになるわけです。鈴木氏は、日本中の作品から顔を集められるようになれば、作品の一般的な傾向がより明らかになっていくのではないかとも考えています。

少し毛色の変わった活用もあります。コロナの状況下で作品そのものを見に行けなくなるなか、日本の古典から着想を得て現代アートを制作する現代アーティストの梁亜旋氏が、顔コレで検索した顔を現代アートに作り変える取り組みを行いました（梁亜旋展『古典から再構築へ』）。鈴木氏は、顔コレには社会的にも広がる可能性があると捉えています。

『遊行上人縁起絵巻 清浄光寺甲本』への手法の適用

顔コレの手法は、特定の1作品を詳細に分析するためにも使えます。特に大量の顔貌が登場する作品の分析には最適であり、研究チームは『遊行上人縁起絵巻 清浄光寺甲本』（清浄光寺 遊行寺宝物館所蔵）にこの手法を適用しました。美術史としての分析結果と位置づけは髙岸氏の講演［多巻構成の絵巻における絵師の分担に関する検討―「顔コレ」とGM法導入による「遊行上人縁起絵巻」（清浄光寺甲本）の比較を通じて］に譲り、ここでは手法そのものを取り上げます。

甲本には非常に多くの登場人物が描かれています。第三巻第一段「大衆に飲食を施す」のように多人数が登場するシーンが一つの巻の中に何度も現れ、しかも10巻本であるため、顔の数は膨大になります。さらに、複数の絵師または絵師工房の手によって描かれているだろうと言われており、顔だけを切り抜くことで作品内部の分担が分かるのではないかという見通しもありました。

分析のための作業過程は顔コレと基本的に同じで、顔貌の切り抜き、メタデータの付与、一覧化した顔貌の整理・分析という組み立てです。ただし切り抜きの規模が異なり、甲本だけで2,000を超える顔貌が存在します。研究コミュニティ全体のためのプラットフォームとして長いスパンで作品を追加していく顔コレとは違い、具体的な分析を目的とした研究プロジェクトにはある程度の期間で結論を出すことが求められます。具体的なゴールを考えるとスピードアップが必要になり、ここで機械学習と協力した顔貌の切り抜きを実施しました。

訓練データには顔コレをもとにした顔コレデータセットを利用し、画像検出器に学習させたうえで、甲本の版面のどこに顔があるのかを調べました。顔コレの中心は江戸初期から中期の近世の作品であり、諸説あるものの14世紀の作品である甲本とは様式も顔の描き方も異なるため、鈴木氏は難しいのではないかと考えていました。それでも70％程度の顔貌を自動検出できたため、人間は残りの30％を囲めばよいことになり、大幅なスピードアップにつながりました。人が密集している箇所でも、数人に1人取りこぼす程度で、ほぼ正確に顔の位置を検出しています。

切り抜いた顔貌へのメタデータ付与は、現段階では人間の目で見て行っています。美術史的にどのような姿やアトリビューションを持つのかを確認しながら、職業、向き、性別といった項目を一つずつ付与していきました。

一覧化した顔貌の整理・分析には、ICPを構成するIIIF Curation Boardを使いました。講演の前年に追加された機能で、キュレーションを構成する画像を平面上に自由に配置したりグループ化したりできます。ここでは、僧侶と尼僧の顔がきちんと描き分けられているのかというリサーチクエスチョンのもとに顔貌を整理しました。甲本には700を超える僧侶・尼僧が登場するため、全体を表示すると一つ一つは細かくなりますが、ズームインすれば男性と女性を分けて並べるといった整理ができます。

デモで示した僧侶と尼僧の描き分け

講演後のデモでは、甲本の顔貌を整理した実際の画面を示しながら、僧侶と尼僧の描き分けについて分かったことを説明しました。

甲本の顔貌は巻や段ごとに切り抜いてあるため、髙岸氏の講演で示された1類・2類・3類という絵師（絵師工房）の区分ごとに顔貌を並べ、簡単に比較できます。網羅的に多くの顔をチェックしていけるので、質と量の両面から様式を確認できます。そのうえで鈴木氏と髙岸氏が特に注目したのが、僧侶と尼僧の描き分けでした。IIIF Curation Boardに並べ直した画面には、髙岸氏が付けた絵師の類を示す色（2類は赤、3類は青）が入っており、さらに男性には黄色いシール、女性にはシールなしという区別も付いています。この状態で、すべての僧侶・尼僧の顔を巻ごと、さらに作者ごとに網羅的に並べています。

僧侶も尼僧も剃髪して同じ色の袈裟を着ており、顔以外の差異はないはずです。しかしこの絵巻では男性のグループと女性のグループを標識によって必ず分けているため、どちらのグループの人物かは分かります。そこで顔の部分に注目すればその差を読み取れることになります。整理の結果、当時の絵師も男女の顔をある程度描き分けようとしていたことが分かった一方で、1類から3類の絵師の間で描き分けの感覚にはかなりの差があることも分かりました。

たとえば2類の絵師の場合、男女を描き分けようとしていることは何となく分かるものの、共通した形態の顔が多く、特に若年の世代では顔だけを取り出して男女を判別しようとすると、ほぼ意地悪な問題になってしまうほどの描き分けにとどまります。一方で3類の絵師は、原本をある程度簡略化しながらも的確に写そうとしており、男性はゴツゴツした顔、女性はなめらかな顔という違いに加えて、頭髪の後退の度合いや剃り込みの大きさといった個々の顔の描き分けまで行っています。こうした違いを、まとめて並べることで網羅的に確認できたことが、デモで示された発見です。

手法の一般化としてのGM法

顔貌を切り抜き、メタデータを付与し、一覧化した顔貌を平面上で整理するというICPを使った一連の作業を、研究チームはGM法と名付けています。

美術史に携わってきた人であれば、同じことをアナログでやってきたと感じる作業です。従来、様式分析のために写真カードを並べ直したり分類し直したりしてきた研究手法そのものを、デジタルの環境を使って大規模化・効率化し、さらにそこへ情報を付加できるようにしたものがGM法にあたります。手法を横展開するために名前を付けようという発想から命名されました。GMという名称は、様式研究の泰斗であるGiovanni Morelliの名前と、切り取ってきた部分をよく見ることを意味するGazing Microcontentsとのダブルミーニングになっています。

ICPを活用した展開

GM法で整理できるのは顔貌に限らず、美術史以外の資料にも応用できます。さまざまな画像を対象にキュレーションを行うことができ、特に非文字情報である画像と文字情報であるメタデータを組み合わせて整理・分析したい場合に、ICPは有効な研究のツールになります。使い方は、鈴木氏の個人サイトでICP Tutorialとして解説しています。

展開の例として、鈴木氏は江戸に関するさまざまな画像情報のキュレーションを行っています。江戸買物案内は、江戸時代に存在した、現在のタウンページに相当するような商人の一覧が載る資料から、商人ごとの広告や版面を切り取り、統一的なメタデータを付与したものです。江戸観光案内は、名所記や名所図会といった名所案内から名所の画像を切り取り、名所の名前などのメタデータを統一的に付与することで、江戸の都市空間を再現しようとする取り組みです。同じセミナーの前の講演で公開が紹介された江戸を見るためのサイトも、こうしたキュレーションで作成したデータを元データとしています。

鈴木氏は講演の最後に、自分の研究に使えそうだ、このような整理・分析に使えないかといったアイデアがあれば、ディスカッションの際に共有してほしいと呼びかけました。情報学と人文学のニーズとシーズを結び合わせるという冒頭の役割意識は、顔コレとGM法をほかの研究者の資料や問いへ開こうとするこの最後の呼びかけにも重なります。

講演情報

関連リンク

この記事は、講演記録を基に生成AIを利用して作成したユースケース記事です。