テキストに散在する地名・人名・年代といった実体を取り出し、辞書や知識グラフに接続する作業は、史料のデジタル活用において独立した工程を構成する。統計的な傾向を測る分析とは異なり、この工程が問うのは「どの実体が、どの外部データとつながるか」である。

「取り出す」と「辞書につなぐ」の二段階

テキスト中に出現する地名と住所を自動的に抽出し、辞書中のエントリにリンクするソフトウェアとして GeoNLP がある。住所解析のエンジンとして jageocoder が組み込まれており、地名辞書を拡張すれば適用範囲を広げられる設計になっている [UC-031 §現代の住所を対象とした応用事例]。

この二段階は実際には分離しにくい。取り出した文字列をどの辞書エントリに対応させるかは表記の問題を含むからである。省略されて書かれた住所、区と町名の間に入る地域名の脱落、異体字の使用といった、現実のデータに頻出するズレに対処するため、表記揺れ・異表記辞書が用意される。この辞書は、現実に出てくる住所を住所データベース中のエントリに一件ずつマッピングする対応を記述したもので、たとえば「東京府東京市小石川區大塚辻町」を「東京府東京市小石川區小石川大塚辻町」として扱うよう指定する [UC-031 §旧東京市15区住所データセットの構築]。辞書エントリを拡張するか元データを修正するかは、どれだけ例外的かという観点から判断する微妙なバランスの上に成り立っている、という指摘もある [UC-031 §旧東京市15区住所データセットの構築]。地名辞書の構造と異体字の詳細な扱いは「地名という接点」を参照されたい。

変換できた範囲と変換できなかった範囲

テキストから取り出した実体が外部データに接続できる保証はなく、変換できた範囲と変換できなかった範囲を区別して扱うことが求められる。

『日本歴史地名大系』地名項目データセットの位置推定では、平成の大合併以前の住所が含まれるため、そのまま現代のジオコーダーに入れても位置が特定できない。大合併以前の住所に対応する現代住所の候補を jageocoder で探したうえでジオコーディングし、推定緯度経度として地図上にマッピングするという手順が取られた。自動化できる部分もある一方、手動で対応しなければならない部分が多く残るという評価が報告されている [UC-031 §現代の住所を対象とした応用事例]。

住所の書かれ方が断片的なケースも現場では頻出する。発電所データの地図化では、字レベルの細かい住所が多く、一般的な地図サービスでは検索できないものが含まれる。「国有林」のような記述しかない場合は、正確な位置の特定に限界がある [UC-031 §現代の住所を対象とした応用事例]。取り出した実体が位置情報に変換できる割合は、データの性質と辞書の整備状況によって大きく変わる。