はじめに

IIIF Curation Platform(ICP)は、IIIFの画像を利用者の視点から自由に収集・加工・公開するためのオープンソースソフトウェア群です。北本朝展氏(ROIS-DS人文学オープンデータ共同利用センター/国立情報学研究所)の講演では、ICPの多様な機能が「利活用レシピ」として体系的に紹介されています。第14回CODHセミナー「IIIF Curation Platform利活用レシピ100連発」の最初の講演にあたり、取り上げられるレシピは難易度に応じて星の数で区別されています。星1つは全ての利用者に役立つレシピ、星2つは特定の用途に役立つレシピ、星3つは自らシステムを構築する方などに役立つやや高度なレシピです。デジタルアーカイブの構築や画像資料の活用を検討している研究者・アーキビストにとって、ICPがどのような場面で使えるかを知る手がかりとなる内容です。

IIIF Curation Platformとは何か

IIIF Curation Platform(ICP)は、「キュレーション」という方法論をIIIF(International Image Interoperability Framework)の世界に導入するためのソフトウェア群です。

IIIFは国際的な画像配信方式です。様々なサイトがHTMLで提供するページを、同じブラウザで閲覧できるのと同様に、様々なサイトがIIIFで提供する画像を、どのサービスでも同じビューアで閲覧できます。この相互運用性(インターオペラビリティ)を画像の世界で実現したことがIIIFの注目される理由だと北本氏は説明します。基礎知識は第4回CODHセミナーで扱われています。

キュレーションとは、もともとミュージアムで資料の収集や作品の展示などを指す言葉で、情報的には、あるテーマに沿ってコンテンツを集め、適切な順番に並べ、新たなコンテンツとして提示・共有する活動を指します。例えば不美人の描き方—「末摘花」は様々な作品から同じ人物の部分だけを集めたもの、顔貌データ:イギリスの肖像は様々な絵に登場するイギリスの人物の肖像部分を集めたもので、テーマごとに並べることで描き方の比較などが可能になります。

スライド05

ICPはこの考え方をIIIFに導入するソフトウェア群で、ウェブブラウザ上で動作するソフトウェアが7点、特定目的のアプリが1点、サーバ側で動作するPythonプログラムが3点、導入を支援するDocker設定が1点の、合わせて12点ほどのオープンソースで構成されています。MiradorやUniversal Viewerといった著名なIIIFビューアと競うのではなく、IIIFのポテンシャルを引き出すことに集中する場として開発されています。

IIIF画像の閲覧

IIIF画像の閲覧には、中心的なツールであるIIIF Curation Viewerをはじめ、用途に応じた複数のビューアが用意されています。

IIIF Curation Viewerは典型的には書籍の閲覧に使われます。日本古典籍データセットの和書と『東洋文庫所蔵』貴重書デジタルアーカイブの洋書ではページめくりの方向が逆になりますが、IIIFにはどちら側にめくるか(viewingDirection)を指定する機能があるため、同じビューアでどちらも閲覧できます。

写真の閲覧などには埋め込み型IIIF Curation Viewerを使います。標準のビューアが単体で完結したツールであるのに対し、埋め込み型はウェブページ内で他の情報と組み合わせて使うことを想定しています。華北交通アーカイブでは、ビューア外側へのメタデータ配置や、白黒写真とAIで自動カラー化した写真の切り替え表示といった独自機能が使われています。

スライド10

帳簿形式の長期科学データの公開にもIIIFは有用です。デジタル台風:地上気象観測原簿アーカイブでは、連番画像をTiled Pyramidal TIFF形式に変換してIIIFマニフェストを作り、ビューアから閲覧できるようにしています。北本氏によれば、利用者が特に便利だと感じたのはページをめくっても拡大領域の情報が引き継がれる点で、表の特定箇所を拡大したままページをめくれることが好評でした。

時系列画像のアーカイブの例がデジタル台風:気象衛星「ひまわり」ビューアです。11,000画素×11,000画素の高解像度画像が短い間隔で観測され、「前」「次」が「ページ」ではなく「時間」の移動になり、カレンダーからの日付選択もできます。こうした資料は現在のIIIFの枠組みでは適切に扱えないため、Timeline APIとCursor APIを独自に拡張して実現しており、独自拡張に対応したビューアでしか表示できません。

キュレーションプラットフォームとキュレーションAPIの区別

ICPを理解するうえでは、ソフトウェア群であるキュレーションプラットフォームと、仕様であるキュレーションAPIを区別することが大切だと北本氏は述べます。

キュレーションプラットフォームは、IIIF Curation Viewerをはじめとする、独自に拡張したAPIを使えるオープンソースソフトウェア群で、ビューアだけでなくデータの保存や検索など多くのツールが連携します。一方、Curation APIはデータのフォーマットや提供方法を定めた仕様であり、API自体はどんなソフトウェアでも使えます。ICPはそのAPIの一つの実装例にすぎず、キュレーションを行うのにICPを必ず使う必要はありません。こうした独自拡張が必要なのは、公式のIIIF仕様が画像の「提供者側」の視点であるのに対し、キュレーションは「利用者側」の視点を新たに提供するものだからです。

独自に拡張したAPIは、キュレーションを作る仕組みであるCuration API、時間を単位として一次元的に順序を定義できる資料を閲覧するTimeline API、長大なキャンバスのリストの一部を切り出して提供するCursor APIの3つです。Timeline APIとCursor APIは前述の時系列画像にのみ使われています。これらの仕様はIIIFを用いた高品質/高精細の画像公開と利用事例で公開されています。

なお、IIIF Curation Viewerなどの画面右上にはログイン機能があり、Google社のFirebase認証を用いてログインできます。ログインは必須ではありませんが、ログインするとデータの権限管理などの機能が利用できます。後述のくずし字認識など連携サービスの一部はログインを要求しますが、これは有料化のためではなくデータ管理のためで、基本的に無料です。

IIIF画像のキュレーション

ICPの中心となる機能が、IIIF Curation Viewer上での画像のキュレーションです。テーマに沿って画像を集め、保存・公開し、管理・編集・展示する一連のワークフローを支援します。

キュレーションの作成と保存

画面上の「切り取り」ボタン(■)で矩形領域を指定し、「お気に入り」ボタン(☆)に入れると、欲しい画像がCuration Listに溜まっていきます。領域を切り取ってお気に入りに入れるだけで簡単に画像を集められる点が大きな利点で、これは他のビューアにはないIIIF Curation Viewer独自の機能です。集めたキュレーションはJSONボタンで手元にダウンロードできるほか、ネット上のJSONkeeperにエクスポート保存するのが便利です。上書き更新も選べ、ログインしていれば他人による上書きを防げます。JSONkeeperに保存したキュレーションはURLを共有すれば他者も閲覧でき、再びIIIF Curation Viewerで開けます。ただし保存はできても検索はできず、検索にはIIIF Curation Finderの設定が別途必要です(同セミナーの次の講演で扱われます)。

スライド17

キュレーションの管理と編集

ログイン状態でエクスポートしたキュレーションは、IIIF Curation Managerで一覧でき、編集や削除も行えます。個別のメタデータの追加や変更には、Curation形式のJSONデータを見ながら編集できるIIIF Curation Editorを利用しますが、これは大規模な編集作業には向きません。

キュレーションを用いた展示

IIIF Curation Playerは、キュレーションを「展示」するための機能を備えたツールで、画像に付けたメタデータを画像に重ねて表示でき、スライドショー機能でコマを自動再生することもできます。応用例として、華北交通アーカイブでは、ミュージアムでのオフライン展示とICPによるオンライン展示をQRコードでリンクしています。キャプションのQRコードをスマートフォンで撮影すると対応するコマがIIIF Curation Playerで表示され、スマートフォンが簡易ガイドになるとともに、展示内容を長期アーカイブとして残せます。さらに進んだ例として、高知県立美術館「芳年」展では、連想出版が構築したビューアがICPのDocker版のデータを表示しており、画像への領域指定とメタデータ入力にIIIF Curation Viewerのキュレーション機能を活用しています。

IIIF画像のエクスポート

IIIF画像のエクスポートは、ビューア内で選択した画像領域を外部サービスに送り、ビューアの中だけではできない処理を外部で行わせる機能です。

基本となるのが選択領域のエクスポート機能で、矩形で囲んだ領域を表すURL(IIIFの画像URI)を外部サービスに送信できます。これを活用したのがKogumaNetくずし字認識サービスで、囲った領域内の一文字をAIが認識し、文字候補を順序付きで表示します。Tensorflow.jsを利用してブラウザ内で動作し、エクスポートで送られた画像をJavaScriptのプログラムに渡して結果を表示する仕組みです。

外部の一般的な画像サービスとの連携もできます。例えばukiyo-e.orgの検索サービスと連動させると、囲った画像から類似画像を検索できます。画像を入力として処理結果を返すタイプのサービスであれば、データの渡し方さえ決めれば連携でき、自前でAPIを立ち上げてICPと連携させることも可能です。これを実現するのが切り取り画像エクスポートプラグインで、ICPサービスリポジトリでは5種類のエンドポイント設定が公開されています。エンドポイント設定(JSONファイル)をドラッグ&ドロップすればエクスポート先を変更でき、別名でリリースされているビューアも、実体は同じビューアでエクスポートの初期設定が違うだけだと北本氏は説明します。

IIIF画像のアノテーション

アノテーションは、切り取った領域にメタデータを付けて画像の上に重ねて表示する仕組み(Curation APIの一部)で、画像を切り取ってまとめるデータ形式であるキュレーション(Curation APIで定義)とは区別されます。これはIIIF Presentation APIのannotationとは異なりますが、大部分は相互変換が可能です。

地図へのアノテーション

分かりやすい例が、古地図に適用した江戸マップβ版です。江戸切絵図の上に町名や施設名のマーカーを立て、クリックすると地名や分類などが吹き出しで表示され、ウェブ地図のような使用感が得られます。この事例で注目されるのは、機関をまたぐデジタルアーカイブ構築が実現している点です。もとの地図画像は国立国会図書館デジタルコレクション「江戸切絵図」にあるIIIF画像で、CODHはこの画像をコピーせず、国立国会図書館にアクセスして画像を取得し、その上に重ねるオーバーレイ情報だけを作成しています。利用者が独自に付加情報を作って公開し、もとのデータは提供元から取得するという使い方ができる例です。

スライド32

くずし字認識とアノテーション

文字へのアノテーションには、文字領域を四角で囲む矩形枠線マーカー、翻刻した文字を表示する文字マーカー、下の文字を消すように上に表示する上書きモードがあり、原画像と比較する用途や翻刻部分だけを読む用途で使い分けられます。この機能を使うのがKuroNetくずし字認識サービスで、囲った領域内のくずし字をすべて認識する多文字認識サービスです。1枚の認識は1秒から3秒程度で終わります。認識結果はIIIF Curation Viewerの文字マーカーで表示され、もとの文字と比較しながら読めるほか、透明度や表示位置・サイズを利用者が変更でき、文字をクリックするとUnicodeが表示され、くずし字一覧ページで他の用例とも比較できます。さらにKuroNet Text Editorを使うと、文字の読み順を行内・行間で手動指定してテキスト化でき、読み順を可視化することもできます。

ICPの高度な利用

ICPはデータ構造化の基盤としても活用でき、キュレーションで集めたデータを外部システムやデジタルアーカイブの構築につなげる高度な使い方ができます。

画像から部分領域を指定してメタデータを付与する作業は応用範囲が広く、データ構造化の一つといえます。例えば武鑑全集では、各大名家の家紋や道具だけを取り出してキュレーションすることで、持ち物の一覧を作れます。切り取り画像のURLをExcelなどでリスト化し、後からプログラムでJSONkeeperから読み出して外部システムに合わせた形式に変換すれば、ICPを使わないデジタルアーカイブを構築することもできます。デジタル台風:気象衛星「ひまわり」図鑑は、特徴的な雲を切り出したデータを別のプログラムで処理し、一部を動画として別サイトで公開したオンライン図鑑の例です。

スライド39

こうした仕組みの裏側で動くのがJSONkeeperとCanvas Indexerです。JSONkeeperはJSON形式のデータを保存・提供するサービス、Canvas IndexerはJSONkeeperのデータをクロールしてキャンバス単位に分解し検索可能とするサービスで、ビューアやファインダーの背後にあるデータベース的なソフトウェアです。Canvas Indexerに機械学習によるタグ付けサービスを連携させ、顔にタグを付けて検索するといった使い方もできます。顔貌コレクションでは、キュレーション単位で集めたデータをキャンバス単位に分解し、メタデータ単位で組み替える仕組みを使っており、IIIF Curation Finderから検索できます(Omeka Sなど他のソフトウェアからも利用できる仕組みを開発中です)。このほか、キュレーションに利用されている領域をキャンバス単位・マニフェスト単位で可視化するCuration Tracerもあり、画像のどこに注目が集まっているかを分析でき、将来的にはアクセス解析への発展も考えられています。

IIIFの相互運用性とICPの独自性

北本氏は講演の結びで、IIIFの相互運用性が普及を支えた一方で、ICPはそれだけでは足りないという問題意識から出発したと述べています。

IIIFが世界中で急速に普及した理由は、ミュージアムやライブラリといった画像提供者の共通のニーズにうまく応えたからだと北本氏は考えています。共通形式でデータを公開して相互運用性を担保することで、同じツールで世界中の画像にアクセスできるようになりました。各種ツールがIIIFを前提とするにつれて、IIIFに対応していないアーカイブが逆に「不便」とみなされる時代が近づいており、Fear of missing out(取り残される恐怖)が現実のものになりつつあると北本氏は感じていると語ります。

これに対しICPは、IIIFが提供者のニーズに応えるだけでは足りないという出発点に立っています。テーマ別の画像コレクションを利用者が独自に作成し公開できるようにしたこと、画像提供者以外が公開する画像サービスを利用者が独自に呼び出し使えるようにしたこと、利用者が独自の付加情報をオーバーレイ表示できるようにしたことなど、いずれも利用者が独自に行えることを増やした点に独自性があります。利用者が自由に画像を収集し、処理し、公開するワークフロー全体を支援する基盤として、ICPはIIIF画像の新たな利活用を開拓する役割を果たしていると北本氏は位置づけています。この考え方はE2301 – オープンな画像の利活用を開拓するIIIF Curation Platformにも記されています。

講演情報

関連リンク


この記事は、講演記録を基に生成AIを利用して作成したユースケース記事です。