ここでの「実体」は、文章の中に出てくる地名・人名・年代・出来事のように、他のデータと結びつけられるものを指す。前節までに整えたデータの外側には、構造を持たない自然言語のまま残っている資料が大量にある。翻刻やOCRでテキストにはなっても、機械が処理できる形にはなっていない。この節は、そのテキストから実体を取り出し、他のデータにつなぐ工程を扱う。[UC-049 §歴史資料の大規模テキスト化と構造化の課題] は、AI-OCRや市民参加型の翻刻で大量のテキストが手に入るようになった今、次の課題は有用な構造化データをいかに取り出すかだと位置づけている。
取り出して、外部のデータに対応づける
歴史資料の大多数は構造化されていない自然言語で書かれている。機械処理に適した形にするには、翻刻してプレーンテキストにしたうえで、地名や人名などの重要情報にアノテーションを付ける(または固有表現抽出で抜き出す)。続いて、その部分を外部のデータソースと対応づける。この最後の段階がエンティティリンキングである。[UC-049 §歴史資料の構造化プロセスと「みんなで注釈」]
「みんなで注釈」はこの手順をウェブ上で行えるようにした事例である。安政江戸地震の関連資料約100点を対象に、ユーザーが人名・地名・地震による被害にマークを付け、マークした部分を外部のデータと結びつける。地名は GeoLOD の API で歴史地名のデータにつなぎ、被害がいつ、どこで、どの規模で起きたかを構造化データとして取り出す。[UC-049 §歴史資料の構造化プロセスと「みんなで注釈」] 取り出すこと自体が目的ではなく、取り出した実体を外部のデータにつなぎ、他の資料と突き合わせられるようにする点に意味がある。
つなぐ側の基本方針は、実体に識別子(ID)を付け、属性を紐づけることである。識別子の付与では、表記が揺れる以上、何を同じ実体とみなすかの基準が重要になる。属性には、位置情報、名称の表記揺れや粒度の吸収、読みなどを与える。[UC-013 §識別子と属性によるデータ構築の基本方針] 取り出した実体が地名辞書や知識グラフに流れ込むかどうかは、この識別子の基準にかかっている。地名辞書側の事情は節「地名という接点」を、表記の揺れの吸収は節「データを整える」を参照。
取り出しの精度を、後工程で保つ
取り出しの対象は地名に限らない。〔文政雑記〕の事例では、史料の中の書状の写しが何通含まれるか、差出人とその所在地はどこかといった本文の構造も取り出している。過去の地震への言及のように、判定から除外すべき記述も挙げている。[UC-048 §再設計:処理を分割する(取得・タグ付け・表化・構造分析)]
この事例で注目したいのは、取り出しを一括の処理にせず、段階に分けた点である。史料の一括取得、地名と判定対象物(構造物など)へのタグ付け、地点・対象物ごとの表化と構造分析と続き、そのあとで震度を判定する。表化の段階には、タグ付けで漏れたものを拾えるような設計を入れている。[UC-048 §再設計:処理を分割する(取得・タグ付け・表化・構造分析)] 一度に判定まで任せると、どこで取りこぼしが起きたかが見えなくなる。段階を分ければ、各段階の出力を人が確認でき、漏れを後の段階で補える。
LLM による抽出と構造化は、この段階分割の中で使われる。[UC-049 §歴史資料の大規模テキスト化と構造化の課題] は、生成AI がデータ構造化の作業に有用であることが経験的に分かりつつあり、構造化の方法を変えつつあると述べている。ただし、抽出結果の精度や、歴史的な文章に対する性能を比べた材料は、この節の根拠記事には無い。
区切ることと文脈を保つこと
LLM に渡すテキストは、扱える長さに区切る必要がある。区切ると、文脈が途切れる。Humanitext のテクストデータでは、AI に渡す単位ごとのチャンクに、参照箇所を特定できる安定した ID(CTS URN 規格に基づく)を与え、保存・配信・推論の三層でこの ID が共通の参照のアンカーになる。[UC-038 §保存・配信・推論の三層アーキテクチャ]
文脈が途切れる問題は、翻訳で顕在化する。チャンクを単独で訳すと、代名詞・省略・照応の指示先が失われる。そこで文脈指向翻訳では、直前までのチャンクの訳を文脈として与える。ただし、その訳は参照の解決にのみ使い、訳すのは現在のチャンクだけにする。これにより、各チャンクは単独で検索できながら、文脈上の指示先を保てる。チャンク化と文脈保持は本来トレードオフだが、生成時に文脈を参照させることで、ある程度まで両立させている。[UC-038 §保存・配信・推論の三層アーキテクチャ]
この構想の第3層、つまり本文のTEIには手を入れず、その外側で参照関係・異読・注釈を ID に結びつけたグラフを、検索(RAG)やグラフ上の探索(GraphRAG)に使う部分は、現在の研究課題で実装には至っていない。[UC-038 §保存・配信・推論の三層アーキテクチャ] 実体を取り出した結果を、検索に使えるデータとして整える工程の一例として挙げられる段階にとどまる。
取り出した結果を保存し、渡す基盤
取り出した実体は、一度作ったら終わりではない。翻刻は修正されて変わっていくので、テキストと注釈、エンティティリンキングの結果は、版を管理しながら保存する必要がある。「みんなで注釈」を作ってみると、安政江戸地震の史料に特化していること、任意のテキストを追加できないこと、注釈の種別が固定されていて他のプロジェクトに使えないことが課題として見えた。そこで、さまざまなデータソースのテキストを集め、構造化の各段階で得られる結果を保存し、外部のアプリケーションと API で連携するテキストレポジトリが要件として挙げられた。[UC-049 §テキストレポジトリが必要になった理由と要件] 取り込み、アノテーション、エンティティリンキング、分析・可視化を一つの巨大なシステムにまとめず、外部のシステムとして分け、API で本体と結ぶという考え方である。
地名を取り出して住所辞書に突き合わせる場面でも、同じ基盤の考え方が現れる。GeoNLP は、テキストの中の地名と住所を自動的に抽出し、辞書の中の地名にリンクするソフトウェアで、住所部分のエンジンに jageocoder を使っている。地名辞書を拡張すれば適用範囲を広げられる。[UC-031 §現代の住所を対象とした応用事例] 辞書側の整備は節「地名という接点」に委ねる。