はじめに

歴史資料に書かれた地名や被害の記録を、現代のビッグデータのように分析するには、まず資料から機械可読なデータを作る必要があります。古地図や史料の画像が公開されても、くずし字の判読などのハードルがあります。生成AIでこの作業の一部を効率化できるようになった一方で、手作業でなければ難しい部分も残っています。地名・街道・村・藩などの歴史地理データと、歴史地震の史料データを作る実践を対象とします。

参照する事例は、次の6件です。

  • 事例A:江戸切絵図の地名や藩、街道・宿場に識別子を与えたデータセットの構築と、参勤交代の道程の記述
  • 事例B:江戸時代後期の街道と地点を古地図から手作業で描き、主要街道をオープンデータ化した歴史地図
  • 事例C:幕末の全国の村の位置と領域を推定し、領分と石高を付けたデータの作成
  • 事例D:地震史料集のテキストデータベース化と、安政江戸地震の震度データセットの整備
  • 事例E:LLMで史料の被害記述から震度を判定するツールの設計と自作
  • 事例F:『天保郷帳』の村と地名データの対応付けと、歴史資料のテキストレポジトリの構築

対象の異なるこれらの事例には、データの作り方に共通する型が見いだせます。

識別子を介したデータの連携

地名・街道・村・藩などのまとまりに識別子(ID)を与え、名称や出典の異なるデータを結びつける土台にする型が、複数の事例で見られました。識別子を与えることは、何を同じものとみなすかを決めることでもあります。

  • 事例A:まとまりを列挙して番号を割り当て、同じIDを持つものを同じものとみなす作業として識別子の付与を位置づけています。藩IDデータセットでは、藩にIDと代表名・別名を与え、文献ごとに異なる藩名を一つにまとめました
  • 事例B:主要街道のデータを再利用可能にするため、街道を一本ずつ識別する街道ナンバリングを設けました。百の位を地方ごとに割り当て、下二桁は基幹街道かどうかで分けていますが、基幹街道の基準は地方ごとに異なります
  • 事例C:作業を始める前のルールとして、村ごとに固有ID(UID)を与えました。同じ郡内に同名の村が多いため、データベースで同名の村が連続する場合のみ同一村とし、分割した村は5000番台、統合した村は欠番とします
  • 事例D:地震史料集テキストデータベースでは、〇印の有感地点と書名の地名に地名IDを与え、索引地図から地名に関連する史料を検索できるようにしました。安政江戸地震の震度データでは、史料IDへのひもづけと、地名情報処理基盤GeoLODとのリンクを行いました
  • 事例F:『天保郷帳』の各村を、GeoLOD APIで『日本歴史地名大系』地名項目データセットと対応付けています。村に緯度経度が付き、大系のデータをキーに他の郷帳と連携すれば、生産高の時代的な変遷も把握できるはずだとしています

識別子は、異なる名称や出典を一つにまとめる道具であると同時に、何を同じものとみなしたかという判断の記録でもあります。事例Aは、その判断基準を非常に難しい問題だとしています。事例Cは、同一とみなす条件を作業前のルールとしています。識別子を共有したデータは、作成者や時点の異なるデータと結びつけられます。事例Fは郷帳どうしの連携による変遷の把握を見込み、事例DはIDや座標を介したデータセット間のリンクを模索しています。

事例Aでは、藩の別名をまとめておいたことで、別名をORでつないだ論文検索により、藩ごとの研究の多さを比べられるようになりました。同じ事例の江戸宿場データセットは、宿場の記述を街道IDごとにリスト化して宿場IDを付けたもので、一つの識別子が次のデータセットの土台になっています。一方で、同名の地名や表記揺れが多い場合は、単純な文字列の一致ではうまく対応付けができません(事例F)。また、事例Dでは、地名を付けた地点は市区町村レベルで落としたもので、被害の発生地点とは必ずしも一致せず、地名が付いたのも一部の史料に限られます。

自動処理と人の判断の分担

複数の事例で、機械が処理や候補の提示を担い、人が基準を定めて結果を確かめるという役割の分担がとられています。

  • 事例A:江戸切絵図の地名の緯度経度を座標変換で推定し、その推定位置を人がれきちずと現代地図の上で確認しながら修正しました。旅日記から、資料中の移動の記録を記述するdochu形式で道程を抽出する作業は、Claude Opus 5で試みています
  • 事例C:CSVアドレスマッチングサービスで村の概略の位置を求め、その後は人の目で一つずつ位置を調整しました。空間結合と集計はQGIS・R・Pythonで行い、自動でできるところは自動にしています
  • 事例D:史料集のテキスト化は、OCR・高精度テキスト化と手入力で行いました。課題として、AI-OCRなどAIの助けで機械可読化がかなり手軽になってきた一方、細かい部分は人が見る必要があるとしています
  • 事例E:LLMが1件ずつ震度を判定して要検討度を「警告」「注意」「妥当」に振り分け、人が警告・注意の行を再判定します。判定基準表の整理や監査の項目は人が判断して文章にし、コードはClaudeが実装しました
  • 事例F:AIが発案したスコアリング制で、1位と2位の点差が大きい村などを「確定」とし、残りを人手の確認に回しています。テキストレポジトリでも、AIが提案したアノテーション候補を人が目視でレビューします

分担の線引きは事例によって異なります。事例Cと事例Eでは、人が先にルールや基準を定め、その枠の中で処理を機械に任せています。事例Eと事例Fは、機械が付けた確からしさの区分や点差によって、人が確認する対象を絞っています。事例Eは警告・注意の行を人間による再判定に回すとし、その程度の件数であれば人間が対応できるだろうと見ています。事例Fは「確定」としなかった残りの村を人手の確認に回しています。事例Aは、AIを使える部分は多々あるものの、現実には手作りでないと無理な作業が多々あると述べています。

事例Fでは、スコアリング制の導入で人手の確認が必要な件数が減り、100万円以上の経費減になりました。同じ事例は、AIによる改善が成功した理由として、人手による検証データがあったことと、施策の効果を即座に検証できたことを挙げています。事例Cでは、住所マッチングを適用してから作業の進み方が少し上がりました。一方、事例Eは限界として、大量に処理できることは誤りも大量に生むことや、LLMのモデルが更新されると同じ入力でも結果が変わりうるため、モデル名と日時を記録していることを挙げています。

修正を前提としたデータの持ち方

誤りは後から見つかるものとして扱い、元データと成果物、版、未確定のものと確定したものを分けて持つことで、直しやすくしている事例が複数あります。

  • 事例C:同名の村が多く位置の推定を間違えやすいため、直しやすさを重視しました。完成品を毎回直すのではなく、村の位置や農業集落の所属など元データの側を直して再処理し、近世村の領域データを自動生成する形にしています
  • 事例D:史料集のテキストデータには、費用と時間をかけて作っても誤字や構文ミスなどが残り、公開から5年経った今もクリーニングを続けています。史料校訂の結果を統合する際も、未校訂と校訂済のデータをひもづけ、両方を見えるようにしたいとしています
  • 事例F:翻刻は修正されて変わっていくため、テキストレポジトリの要件に版管理を入れ、本文を編集すると版が上がる仕組みにしました。AIの推測である候補は確定データとは別の表に置き、選んで初めて確定したリンクになります

事例Cと事例Fは、修正した結果だけでなく、修正の前の状態や確定前の状態もたどれる形を選んでいます。事例Cは旧高旧領取調帳に準拠した版と、おかしなところを直した版の二つを公開し、事例Fは、特定の版を選んでその版のテキストを閲覧できる形にし、確定前の候補も確定データとは分けて保存します。事例Dも、校訂の前後の両方を見えるようにしたいとしています。いずれの事例でも、データは公開した時点で完成するものではなく、更新され続けるものとして扱われています。事例Dが紹介した地震史料集のはしがきにも、この仕事が完成することはありえないと考えられ、永く続けなければならない仕事であることが書かれています。

事例Cでは、元データの側を直す形にしたことで修正がしやすくなりました。同じ事例は、村ごとのIDを最初にルールとして定めてから作業を進めており、作り方のまとめとして、完璧は求めず、どうせ直すという前提で修正しやすさを重視することを挙げています。事例Dは、未校訂と校訂済の両方を見えるようにしたい理由として、玉石混交でもとにかく多く見たい人もいることを挙げています。ただし、事例Dでは、データベースにして検索できるようになると粗が目立ちました。事例Cでも、位置の調整に個人の判断が混ざっているため、今も間違いが見つかります。

資料の歪みと偏りの見極め

資料には、作られた目的や書かれ方による歪みや偏りがあります。複数の事例が、変換や処理を一律に当てはめず、資料の性格を見極めたうえでデータにしていました。

  • 事例A:江戸切絵図を、重要な地点を1枚に収めるために距離も方位も歪めた「トポロジカルな地図」と解釈すべきだとし、座標変換だけでは合わない理由をそこに求めています。過去の記録の曖昧さや不可視性も、品質の課題に挙げています
  • 事例B:天保国絵図は測量に基づかず距離も方位も正確でないため、明治期の迅速測図と突き合わせて道を特定し、地理院地図の上に線を引きます。明治の地図にも測量誤差や転位があるため、そのままトレースはしません
  • 事例C:旧高旧領取調帳は令制国ごとに時点がばらばらで、同時期に存在しないはずの会津藩と斗南藩が両方載っています。同じ郡内の同名の村は、川の流域の説明が詳しい角川日本地名大辞典を使って見分けました
  • 事例D:安政江戸地震の震度データの根拠をたどると、半分ほどが上位5〜6点の、被害を書き上げた一覧表のような史料から抜き出されていました。史料集には信頼性の低い史料も含まれるため、校訂結果の統合を考えています
  • 事例E:史料の構造を分析し、本文に含まれる書状の写しの差出人と所在地を整理して、過去の地震への言及など判定から除外する対象を挙げています。今後は、記主の在地性などの史料の性格を判定結果に反映することを考えています

資料の歪みは一度の変換や一律の処理では解消されず、事例Aと事例Bは、複数の地図や資料を行き来しながら位置を決めています。事例Aは、曖昧さや不可視性が複数データの突合や比較によって解消できることもあると述べています。一方で、偏りそのものを示している事例もあります。事例Dは典拠となった史料の偏りを、事例Bは名所図会などの資料がある地域とない地域の偏りを示し、どちらもその扱いを今後の課題としています。

事例Bは、歴史の道調査報告書や自治体史、論文なども参考に裏を取り、400点を超える参考文献の一覧をサイトに掲載しています。事例Dでは、震度データを当時の地図に重ね、江戸城の周辺を拡大すると、史料によく出てくる門や橋に点が集中している様子が可視化されました。一方、事例Bでは、資料から確実に読める区間と地形などから推定した区間があっても、データ上は同じ一本の線であり、精度は記録していません。事例Eは、記述を細切れにすると文脈が失われることと、LLMが解釈できない独特の言い回しや状況があるため人間の補足が重要であることを挙げています。

まとめ

4つの型は互いに関わっています。事例Cでは、村ごとのIDを最初にルールとして定めたことが、元データの側を直す仕組みを支えています。事例Eは、機械が判定し人が確かめる分担のもとで、LLMが解釈できない独特の言い回しや状況があるため、人間の補足が重要であることを挙げています。また、事例Bのれきちずが事例A・事例D・事例Fで背景の地図に使われているように、事例で作られたデータが、ほかの事例の土台にもなっています。

参照ユースケース

事例A:歴史ビッグデータの夢〜過去の世界をAIで研究するために必要な土台とは?

歴史資料から機械可読なデータを作る土台として、地名や藩に識別子を与えたデータセットの構築と、品質・協働の課題を論じています。

事例B:れきちず―歴史地図データの構築とオープンデータとしての展開

江戸時代後期の街道と地点のデータを古地図から手作業で作る方法と、オープンデータ化、作り続けるための課題が中心です。

事例C:幕末期近世村領域データの作成 ー石高でみる日本の400年ー

幕末の全国の近世村について、位置と領域を推定し、領分と石高を付けたデータを個人で作成・公開した経緯と作り方です。

事例D:1855年安政江戸地震の被害と震度のデータセット構築

史料の記述から歴史地震の震度分布図を作るための、地震史料集のデータベース化と、安政江戸地震の震度データセットの整備を扱いました。

事例E:LLMを用いた歴史地震の震度判定

史料の被害記述から震度を判定するツールを、大規模言語モデルを使ってプログラミングのできない立場で設計・自作した取り組みと、人間に残る責任を示しました。

事例F:歴史資料のためのテキストレポジトリ構築と災害資料の構造化

郷帳の村を地名データと対応付けて地理データにする試みと、歴史資料の構造化を支えるテキストレポジトリの試験実装について述べています。

講演情報

関連リンク


この記事は、複数のユースケースを基に生成AIを利用して作成したベストプラクティス記事です。