資料をデータにする工程のうち、整える作業は実務で最も時間を食う。表記の揺れや異体字、同じものを指す別の書き方を整理し、揺れのある記録を同一の対象にまとめる。基本になるのは名寄せで、実際の資料に現れる記載を、整えた先の標準的な対象(辞書のエントリ)へ一件ずつ対応づけていく。そこで問われるのは、どこまでを同一とみなすか、どこまで整えるか、整えることで何を失うか、整えた過程をどう残すか、という四つの判断である。

名寄せの考え方:ばらつきをどこまで同一とみなすか

揺れのある記録を一つにまとめる作業は、どの違いを揺れとして許し、どの違いを別物の印として区別するかという基準を決める作業でもある。

辞書を使う場合、実データから典型的な表記揺れを集めて辞書を強化していく。辞書を使う優先順位を決められるので、表記揺れの辞書を優先して引けば、実データに含まれる不正確な記載にも対応できる。頻出する異体字は共通の異体字辞書に登録し、利用例の少ないものは個別の対応表で処理する。異体字のなかでも書き間違いに近いものは、無理に異体字として登録せず、元のデータ側を直して対応する [UC-031 §旧東京市15区住所データセットの構築]。住所や地名の具体的な対応は「地名という接点」を参照されたい。

基準を数値で決めた例が、活字の同定である。同じ文字の複数の刷りを比べると、同一の活字による刷りでは輪郭に沿った細い縁だけが違い、別の活字では筆画そのものの位置が違う。縁のずれは同じ活字による揺れとして許し、筆画の位置のずれは別の活字の印として区別する。平均類似度が0.85を超える組み合わせがなくなるまで併合を繰り返し、物理的な活字へさかのぼる [UC-043 §活字ブロックの同定]。手法と検証の詳細は「画像・テキスト認識」の「字形の比較」に譲る。

どこまで整えるか

整える作業は、手間に見合う効果が薄れる地点で打ち切る必要がある。関東大震災の住所データの修正では、変換率を見ながら、費用のかかる作業へ段階的に進めている。

順を追うごとに改善幅は小さくなり、残りは一件ずつの確認という最も手のかかる作業に絞られる。どこで打ち切るかは、この改善幅と手間の対応を見て決めることになる。住所の変換そのものの手順(辞書を拡張するか元データを修正するかの判断など)は「地名という接点」を参照されたい。

整えることで失うもの

整える作業は、元の記載とは異なる値への置き換えを含む。先の住所データでは、単に「横川町」とだけ書かれているものを、「中ノ郷横川町」「柳島横川町」のような区別の表記がないという理由で「本所横川町」とみなしている。地図上に存在しない地番も、近接する番地に代表させて処理している [UC-032 §住所データ修正のワークフロー]。

どちらの場合も、置き換えた分だけ元の記載の曖昧さや元の精度が、データから消える。したがって元の値を別に残しておかなければ、後から置き換えの当否を確かめることも、別の判断でやり直すこともできない。

整えた過程を残す

成果物だけでなく、そこへ至る中間の資料を残すことも、後から辿るための手段になる。『新収日本地震史料』の編纂では、調査先でコピーや写真撮影をした史料を紙焼きにして冊子に綴じた写真帳と、カード目録およびその Excel ファイルが残っている。これらから、いつどこでどの史料を集めたかがおおよそわかる。調査先ではすでに所在がわからなくなっている史料もあると聞いており、その意味でもコピーが残っていることには重要な面があると述べられている [UC-047 §『新収日本地震史料』の編纂資料]。

この事例は編纂の中間生成物の保存の話であり、クリーニングの履歴や変換の記録をどう書き残すかを述べたものではない。