資料をデータにする工程のうち、整える作業は実務で最も時間を食う。表記の揺れや異体字、同じものを指す別の書き方を整理し、揺れのある記録を同一の対象にまとめる。基本になるのは名寄せで、実際の資料に現れる記載を、整えた先の標準的な対象へ一件ずつ対応づけていく。そこで問われるのは、どこまでを同一とみなすか、どこまで整えるか、整えることで何を失うか、整えた過程をどう残すか、という四つの判断である。

名寄せの考え方:ばらつきをどこまで同一とみなすか

揺れのある記録を一つにまとめる作業は、どの違いを揺れとして許し、どの違いを別物の印として区別するかという基準を決める作業でもある。

実データに現れる典型的な揺れを集めて、標準的な対象へ対応づける辞書を育てていくのが、一つの実践的なやり方である。揺れは頻度で振り分けて扱え、頻出するものは共通の辞書に、例の少ないものは個別の対応表に載せる [UC-031 §旧東京市15区住所データセットの構築]。住所や地名での具体的な運用は、節「地名という接点」を参照されたい。

基準を数値で決めた例が、活字の同定である。同じ文字の複数の刷りから物理的な活字へさかのぼるとき、同一の活字による刷りでは輪郭に沿った細い縁のずれだけを揺れとして許し、筆画そのものの位置が違えば別の活字の印として区別する。この基準を数値にして、複数の刷りを同一の活字へまとめる処理の打ち切りを決めている [UC-043 §活字ブロックの同定]。手法と検証の詳細は、節「文字を読む」の「字形の比較」を参照されたい。

どこまで整えるか

整える作業は、手間に見合う効果が薄れる地点で打ち切る必要がある。費用のかかる作業へ段階的に進むほど改善幅は小さくなり、最後に残るのは一件ずつの確認という最も手のかかる作業である。関東大震災の住所データの修正では、表記揺れのパターンを辞書に登録した段階で全体の約84%が地番レベルで変換でき、最後に残りを一件ずつ確認した段階で87%となった [UC-032 §住所データ修正のワークフロー]。住所の変換手順そのものは、節「地名という接点」を参照されたい。

整えることで失うもの

整える作業は、元の記載とは異なる値への置き換えを含む。先の住所データでは、「中ノ郷横川町」「柳島横川町」のような区別の表記がないという理由で、単に「横川町」とだけ書かれているものを「本所横川町」とみなしている。地図上に存在しない地番も、近接する番地に代表させて処理している [UC-032 §住所データ修正のワークフロー]。

どちらの場合も、置き換えた分だけ元の記載の曖昧さや元の精度が、データから消える。したがって元の値を別に残しておかなければ、後から置き換えの当否を確かめることも、別の判断でやり直すこともできない。

整えた過程を残す

成果物だけでなく、そこへ至る中間の資料を残すことも、後から辿るための手段になる。『新収日本地震史料』の編纂では、調査先でコピーや写真撮影をした史料を紙焼きにして冊子に綴じた写真帳と、カード目録およびその Excel ファイルが残っている。これらから、いつどこでどの史料を集めたかがおおよそわかる。調査先ではすでに所在がわからなくなっている史料もあると聞いており、その意味でもコピーが残っていることには重要な面があると述べられている [UC-047 §『新収日本地震史料』の編纂資料]。

この事例は編纂の中間生成物の保存の話であり、クリーニングの履歴や変換の記録をどう書き残すかを述べたものではない。