画像から特徴を取り出して比べる研究は、美術史が長年行ってきた様式分析を、計算機と組み合わせることで規模と速度の点で変容させる。本節では、顔などの対象を画像から自動検出し、大量の部分を並べて様式を観察し、そこから何が言えるかを扱う。
顔の自動認識と様式比較への接続
絵巻物から人の顔を自動認識するという試みは、美術史の古典的な手続き——図像を並べて特徴を比較する——を機械の速度で行う回路を開く。顔コレデータセットの応用として、顔コレに含まれない未知の絵巻物を機械学習で読み込ませ、画面のどの座標に顔があるかを自動認識させる実験が行われている [UC-002 §顔コレデータセットと機械学習との連携]。自動認識の結果は IIIF Curation Viewer に取り込まれ、さらなるデータセット構築の支援にも用いられる [UC-002 §顔コレデータセットと機械学習との連携]。
浮世絵への展開でも同様の論理が働いている。Google の機械学習研究者が既存の API を活用して浮世絵から顔の部分を切り取れることを発見し、CODH がその手法を用いて浮世絵顔データセットを構築した [UC-040 §顔画像データセットの展開とedomi]。データセットが整うと、役者の顔を自動的に切り抜いて並べる構想が続く [UC-040 §顔画像データセットの展開とedomi]。自動認識は「顔がある」という事実を座標として出力する段階にとどまるが、その座標が蓄積されることで、様式を比べるための素材が生まれる。
大量の部分を並べて様式を観察する
自動検出で得られた大量の部分画像を並べて見ることが、様式分析としてどう機能するかは、検索と閲覧の仕組みに依存する。メタデータの値で絞り込むと——たとえば「身分」に「化身」を指定すると——仏・鬼・怪物などの顔貌を横断的に閲覧できる [UC-002 §メタデータ検索と派生キュレーションの作成]。これは作品を超えた図像の類型を、研究者が視覚的に確認する操作であり、従来の様式分析が目録と図版によって行っていたことを、検索で実現したものといえる。
さらに、複数の作品から似た顔貌を集めて比較するために派生キュレーションを作成する機能が用意されており、これは美術史の古典的な様式分析手法に直接対応するものと位置づけられている [UC-002 §メタデータ検索と派生キュレーションの作成]。部分を切り出してキュレーションリストに記述し横断検索で取り出す操作の詳細は「部分を切り出す」を参照。本節の関心は、そうして集められた部分から様式について何が言えるかにある。
機械学習がもたらす可能性と限界
機械学習は、入力と正解の組を与えてモデルを調整していく技術であり、データセットと正解が揃えばデータ駆動型の研究を推進する強力な道具になる [UC-040 §機械学習とは何か]。条件のよい場合には 95% 以上の認識精度が得られるが、学習していないタイプの画像を与えるとまったく認識できないため、何を学習し何を正解できるようになっているかを常に考えながら使うことが大切だ、と指摘されている [UC-040 §機械学習とは何か]。
この限界は様式分析の文脈で具体的な意味を持つ。自動認識が成立するのは、学習データが対象の様式をある程度網羅している場合に限られる。未知の絵師の筆や、学習データと大きく様式が異なる作品を読み込ませると認識精度は落ちる。規模を上げてデータを集めることで何が見え、何が消えるかという問いは「遠読と精読」で論じるが、画像の様式分析においてこの問いは、そもそも何が認識の対象として「見える」かをモデルが決定するという形をとる。
制作分担の推定と様式分析の射程
大量の顔貌を自動認識して並べることが様式分析として何を可能にするかについて、現時点で紐づく記事は具体的な制作分担の推定事例を示していない。顔を自動で切り出し、メタデータで分類し、派生キュレーションとして再編する操作が整備されている [UC-002 §メタデータ検索と派生キュレーションの作成] [UC-002 §顔コレデータセットと機械学習との連携] のは確認できるが、そこから「この顔貌群はこの人物が描いた」という推論がどのように、またどこまで可能かは、記事が直接扱う範囲を超えている。