一点の資料を深く読むことと、大量の資料を規模を上げて集約することは、見えるものが異なる。後者を歴史ビッグデータと呼ぶ立場がある。本節はこの立場そのものを説明し、規模を変えることで得られるものと失われるものを述べる。
歴史ビッグデータという立場
記録は、本や書き残されたものから取り出して使うほかない。日記からは過去の天気、被害の記録からは地震や噴火の様子、感染症の記録からは広がり方、米相場の記録からは値段、村ごとの記録からは人口が取り出せる。日本には江戸時代のものだけでも数十億点規模とも言われる書物が残っており、これらを機械で扱える形にして集めようとする発想が歴史ビッグデータである [UC-011 §2. 「歴史ビッグデータ」という課題]。同様の発想は欧州の Time Machine Europe(「過去のビッグデータ」を掲げる)に見られ、英国の Living with Machines も、デジタル化された大量の資料の分析を AI で拡大する同様の発想に立つ [UC-011 §2. 「歴史ビッグデータ」という課題]。
規模を上げて得られるもの
規模を上げると、一点では見えない比較や分布が見えてくる。四つの事例がこれを示す。
大量の部分を並べて様式を比べる。 顔貌コレクションは、絵本や絵巻のデジタル画像から顔の部分だけを切り抜き、「山伏」などのメタデータを付けて網羅的に集めたデータセットである。一度作れば、顔の様式の比較にも、顔の自動認識にも、GAN による絵巻風の顔の生成にも使える [UC-040 §顔貌コレクションとデータ駆動型人文学]。部分を同じ型に切り出して並べると、比較の足場ができる。切り出しの手順は節「部分を切り出す」を、比較から何が言えるかは節「特徴抽出と様式分析」を参照。
村を全数そろえて分布を見る。 幕末期の近世村領域データは、全国の村を一通り埋めて石高で分布を見ることを目指している。位置の推定は人の目で一つずつ調整しており、場所が分からない村や、農業集落が消えて分けられない村は残る。作成者はこれを、全国を一様にざっくり見られる中・低分解能のデータと位置づけ、細部は地域の方にとって手が届かないかもしれないが、一通り全国を作った点に意味があるとしている [UC-046 §作成手順]。全数がそろっていること自体が、分布を問う前提になる。
住所や地点を集計して地理を描く。 歴史地震の史料では、長文のテキストから地点を抜き出して地点ごとの表を作り、それぞれの震度を判定する処理が試みられた。約2万文字の史料から約160地点が抽出されている [UC-048 §第1実験:史料を一括処理するアプリとその課題]。記事が述べるのは抽出・表化・判定の処理までである。地点ごとの表が揃えば揺れの地理的な広がりを描ける、というのは本節の読みである。地名を取り出す方法は節「テキストから実体を取り出す」を、図にする際の選択は節「可視化の技法」を参照。
写真を通時的に並べる。 同一構図の写真を画素レベルで比較すると、人が気づかない微細な変化が明らかになることがある。これは写真を研究する人だけでなく、撮影に参加する人にとっても、何が変わり何が変わっていないかを実感を伴って理解できる体験になる [UC-016 §景観を「読む」ための新しい技術]。ここで言う景観を読むとは、絶えず変化する景観の中に不変なものを見出すことである [UC-016 §景観を「読む」ための新しい技術]。
規模を上げて失うもの
集約は、一点を深く読めば見えたものを消してしまう。
- 文脈の喪失。 記述を細切れにすると文脈が失われる。LLM が解釈できない独特の言い回しや状況があるため、人間の補足が重要になる [BP-006 §資料の歪みと偏りの見極め]。
- 精度の区別が消える。 旧街道のデータでは、資料から確実に読める区間と地形などから推定した区間があっても、データ上は同じ一本の線であり、精度は記録されていない。作成者は、資料の残り方で精度がまちまちであることを今後の課題としている [UC-045 §線を引く:地理院地図の上での手作業]。
- 資料ごとの性格が見えなくなる。 資料には作られた目的や書かれ方による歪みや偏りがある。江戸切絵図は、重要な地点を一枚に収めるために距離も方位も歪めた図と解釈すべきとされる。そのため座標変換だけでは合わない [BP-006 §資料の歪みと偏りの見極め]。震度データの根拠をたどると、半分ほどが上位5〜6点の史料から抜き出されていた事例もある。集めた数が多くても、典拠が少数の史料に偏っていることがある [BP-006 §資料の歪みと偏りの見極め]。
- 粒度の限界。 全国を一様に埋める代わりに、個々の地域の細部には届かない [UC-046 §作成手順]。
- 歪みは一律の処理では解消されない。 複数の地図や資料を行き来しながら位置を決める作業が要る [BP-006 §資料の歪みと偏りの見極め]。
時間にも規模を広げられる
規模は件数だけでなく時間にも広がる。近世村のデータは、羽前国村山郡を対象に江戸前期から試験的に作られた。領主が替わり村の名前も変わるため、従来のデータの作り方には収まらなかった [UC-046 §今後の展望]。通時的なデータセットの作り方は、節「時間をもつ空間」を参照。通時的な写真の比較も、同じ考え方の延長にある。