華北交通アーカイブ

AI・技術

人工知能(AI)・機械学習・IIIF・モバイルなど、これからの古写真アーカイブに欲しくなるテクノロジーを先駆的に活用します。

1. 古写真の自動カラー化(AI彩色写真)

機械学習(AI)を用いて古写真を自動的にカラー化する研究が活発化しています。かつて白黒写真しかなかった時代、「彩色写真」というものがありました。絵の具などを使って人間が手彩色するという方法で、白黒写真をカラー化し、おみやげなどとして売っていたのです。同様の作業を機械で行うのが自動カラー化です。最近の流行は、多数の画像から彩色のパターンを学習するという機械学習の方法です。多数のカラー写真を使って白黒画像とカラー画像の対応づけを学習すれば、古写真に対する「いかにもありそうな彩色」を自動化できるというものです。

深層学習(ディープラーニング)による自動カラー化、あるいは「AI彩色」の結果は、深層学習のアルゴリズムだけでなく、学習に用いたデータセットにも依存します。一般的にAI彩色は、植物の緑色や、空や水の青色など自然物の彩色は得意です。逆に人工物に対する彩色はあまり得意ではありません。その理由は、人工物の場合は、物体の色と形・テクスチャの組み合わせが状況によって様々に異なるからです。同様の現象は、自然物の場合でも紅葉(黄葉)を緑に彩色してしまう場合などに起こりますが、着物や建物のような人工物では彩色のパターンはもっと千差万別で、一つの「正解」はありません。

こうした場合の正確な彩色には、色に関する知識をもつ人間による手動修正が必要となります。機械が大まかに彩色し、人間がそれを修正する。この方法が、これからの彩色における機械と人間の役割分担になっていくと予想されます。とはいえ、本アーカイブのように数万枚規模の古写真アーカイブともなると、人間が一つずつ彩色を修正していくことは現実的とは言えません。そこで本アーカイブでは、機械による自動彩色の結果をそのまま利用することにしました。

また、たとえ自動彩色であっても、アーカイブ写真群の特徴に合わせて学習することが本来は望ましいのですが、それには時間もコストもかかることから、本アーカイブでは既存のソフトウェアを活用して自動彩色を行うことにしました。自動彩色のためのソフトウェアやサービスはいくつも公開されていますが、本アーカイブでは実行の容易さと精度の良さのバランスを観点に比較検討し、以下の研究成果を利用することにしました。

Satoshi Iizuka, Edgar Simo-Serra, and Hiroshi Ishikawa. "Let there be Color!: Joint End-to-end Learning of Global and Local Image Priors for Automatic Image Colorization with Simultaneous Classification". ACM Transaction on Graphics (Proc. of SIGGRAPH), 35(4):110, 2016.

研究成果のソフトウェアコードは、GitHubで公開されています。

Copyright (C) 2016 Satoshi Iizuka, Edgar Simo-Serra, Hiroshi Ishikawa

  This work is licensed under the Creative Commons
  Attribution-NonCommercial-ShareAlike 4.0 International License. To view a copy
  of this license, visit http://creativecommons.org/licenses/by-nc-sa/4.0/ or
  send a letter to Creative Commons, PO Box 1866, Mountain View, CA 94042, USA.

  Satoshi Iizuka, Waseda University
  iizuka.waseda.jp, http://hi.cs.waseda.ac.jp/~iizuka/index_eng.html
  Edgar Simo-Serra, Waseda University
  esimo.waseda.jp, http://hi.cs.waseda.ac.jp/~esimo/  

またモデルとしては、ImageNetを対象に学習したモデルを用いています。ImageNetについては以下の論文を参照して下さい。

ImageNet Large Scale Visual Recognition Challenge, Olga Russakovsky*, Jia Deng*, Hao Su, Jonathan Krause, Sanjeev Satheesh, Sean Ma, Zhiheng Huang, Andrej Karpathy, Aditya Khosla, Michael Bernstein, Alexander C. Berg and Li Fei-Fei. (* = equal contribution)

華北交通アーカイブを対象に自動カラー化を適用した結果を下に示します。下段がオリジナル画像、上段がカラー化画像です。結果を見ると、特に植物や空、水などがうまくカラー化できていることがわかります。

図1: 華北交通アーカイブの写真に対する自動カラー化の結果。特に良好な結果が得られた例を選んだ。

2. 古写真の自動タグづけ

古写真アーカイブを構築する上で大きな問題となるのが、検索のためのメタデータの付与です。古写真に写っているものを対象に検索するには、従来は人間が写真を一つずつ閲覧しながら検索に有用な情報(タグ)を付与する方法が一般的でした。とはいえ、本アーカイブのように数万枚規模の古写真アーカイブともなると、人間が一つずつタグを付与するのは現実的ではありません。そこで本アーカイブでは、機械が自動的にタグを付与する自動タグづけ技術を利用することにしました。

ここでも鍵を握るのは深層学習(ディープラーニング)です。まず、画像を入力すると、その画像が何であるかを出力する、画像分類問題を機械に学習させます。そうすると機械は、画像を与えると、その画像が属する分類クラスの度合いを出力するようになります。この度合いの高いものから選んでいくことにより、画像の内容を認識した自動タグづけが可能となります。

この場合も、本来はアーカイブの特徴に合わせた分類モデルを学習させることが望ましいのですが、それには時間もコストもかかることから、本アーカイブでは既存の学習結果をそのまま活用することにしました。この場合、古写真には明らかに含まれないタグ(television等)が出現するという問題が生じます。とはいえ、こうしたタグを「読み替える」ことで有用な情報を発見できるケースもあり、これらを単純に「間違い」としてしまうのはもったいない。むしろこの情報を使ってどのように写真へのアクセス性/発見性を高めるか、という発想の転換が重要になってきます。

こうした画像タグづけのためのソフトウェアやサービスはいくつも公開されていますが、本アーカイブでは、利用の容易さを観点に比較検討し、ILSVRC2012データセットを対象に1000クラスの画像分類を学習したTensorFlow実装のInception V3モデルを利用することにしました。Inception V3については、以下の論文を参照してください。

Rethinking the Inception Architecture for Computer Vision, Christian Szegedy, Vincent Vanhoucke, Sergey Ioffe, Jonathon Shlens, Zbigniew Wojna

華北交通アーカイブを対象に自動タグづけを適用した結果として、「shoji(障子)」というタグを付与された画像を示します。いずれも障子に特徴的な格子状の物体を捉えているため、すべてが「障子」としては正解ではないかもしれませんが、建築に関する写真を検索するには有用です。また、人間が付与するタグとして「障子」というタグは必要がないと選ばれないため、機械は人間が付与しないタグを付与する補完的な役割を果たしているとも言えます。 その他、本アーカイブで使えるタグについては、機械タグ一覧をご覧下さい。

図2: 華北交通アーカイブの写真に対する自動タグ付けの例。例として「shoji(障子)」クラスを示す。

なお画像タグづけには、オリジナル画像ではなく自動カラー化画像を用いることにしました。どちらを用いる方がうまくいくかは利用するツールの組み合わせに依存しますが、今回は予備的な実験で自動カラー化画像を用いた方が結果が良好だったため、自動カラー化→自動タグづけという2つの機械学習モデルを組み合わせたワークフローを用いました。

図3: 華北交通アーカイブにおける、機械によるカラー化とタグづけのワークフロー。

3. IIIF Curation Platform

華北交通アーカイブでは、古写真の画像配信にInternational Image Interoperability Framework (IIIF)を用いています。IIIFとは世界の先進的な美術館・図書館・研究機関などが続々と採用している画像配信方式であり、画像のズームイン・アウトが簡単にできるだけでなく、目的に合わせて画像ビューアを変更したり、画像ビューアに独自機能を組み込んだりすることもできます。こうしたメリットに着目し、ROIS-DS人文学オープンデータ共同利用センターでは、2016年ごろからIIIF Curation Platformの開発を続けてきました。

今回の華北交通アーカイブのために新たに開発したのが、IIIF Curation Viewer Embedded(埋め込み型IIIF Curation Viewer)です。この開発では、上述の機械学習活用に対応する機能を実装することを目標としました。

(1) 古写真の自動カラー化への対応として、画像切り替え機能を開発しました。IIIF Presentation API 2で定義されているoa:Choice(Choice of Alternative Resources)を新たに実装し、ビューア上で白黒写真とカラー化写真とを切り替え表示できるようにしました。
(2) 古写真の自動タグづけへの対応として、画像切り取り機能を開発しました。IIIF Image APIの画像座標指定機能と連動させ、初期表示の段階で画像の一部を拡大表示できるようにしました。
(3) メタデータなどの関連情報表示への対応として、HTMLページにIIIF Curation Viewerを埋め込む機能を開発しました。IIIF画像とメタデータ、ナビゲーションをHTMLページ上で併存できるようにしました。

以上、3点の機能改善により、華北交通アーカイブで活用するに十分な機能を備えることになりました。なおIIIF Curation Viewer Embeddedは、近日中にオープンソースとして公開する予定です。

4. モバイル機器によるオフラインとオンラインの連携

技術的な問題により、公開を終了しました。

機械タグ一覧(996 件)

自動タグづけで用いているタグ一覧を以下に示します。学習データのラベルがもともと英語であること、またオリジナル写真のメタデータとの区別を明確にすること、この2点を考慮してタグは英語のまま表示します。