AI顔貌検出サービスは、日本の絵本や絵巻物を中心とした美術作品から顔貌を切り取って収集する作業を支援するサービスです。物体検出アルゴリズムを顔貌コレクションで訓練した機械学習モデルを利用しています。

AI顔貌検出サービス（IIIF Curation Viewer）

使い方

リンク先のIIIF Curation Viewerでは、任意のIIIF画像を表示し、領域を指定して、AI顔貌検出サービスを適用することができます。

1. IIIF Curation Viewerに、顔貌検出を適用したい資料のIIIFマニフェストを指定します。例として、文正草子を指定してみます。

2. 顔貌検出サービスを適用したいコマを指定します。例として、文正草子の7コマ目を表示します。

3. 次に、画面右上の「■」ボタンをクリックして、顔貌検出したい領域を指定します。領域を指定した後にクリックすると、ポップアップウィンドウが表示されますので、「AI顔貌検出サービス」をクリックしてください。

4. 検出された顔貌が黄色い矩形で表示されます。この矩形をクリックし、ポップアップウィンドウの「領域の編集」をクリックすると、矩形を編集できるようになり、編集結果をキュレーションとして保存することもできます。

参考資料

本サービスは、以下の研究成果をウェブサービス化したものです。

Alexis Mermet, Asanobu KITAMOTO, Chikahiko SUZUKI, Akira TAKAGISHI, "Face Detection on Pre-modern Japanese Artworks using R-CNN and Image Patching for Semi-Automatic Annotation", Proceedings of the 2nd Workshop on Structuring and Understanding of Multimedia heritAge Contents (SUMAC'20), pp. 23-31, doi:10.1145/3423323.3423412, 2020年10月

また、物体検出モデルの学習には、以下のデータセットを活用しています。

顔貌コレクション（顔コレ）

なお、本サービスの訓練には顔貌コレクションのデータを直接利用しましたが、機械学習への利用しやすさを向上させるため、顔貌コレクションから派生したデータセットも公開しています。

顔コレデータセット