活字の分割と F1:何を測っているか

画像に写った文字を読む作業は、文字を認識する前に、版面のどこで文字が区切れるかを決める段階を含む。嵯峨本『徒然草』の古活字を対象にした事例では、AI くずし字認識モデル RURI で文字の矩形を認識し、その矩形から版面の傾きを補正し、行を検出してグリッドを推定し、筆線とグリッドの交差を確かめて活字ブロックの境界を決めている [UC-043 §活字ブロックの自動分割]。

この分割の正確さは F1 スコアで測られている。人手で書いたコードの結果は 0.8599 で、筆線を切る誤りと空白を切る誤りが残った。そこで、AI にコードを書かせ、人手で注釈した 20 ページの正解データで結果を確認し、誤りをフィードバックするエージェンティックループを回した。改良したコードを残りの 303 画像に適用して得た値が 0.9902 である [UC-043 §活字ブロックの自動分割]。F1 が測るのは境界を切る位置の一致であり、切り出した文字が何であるかという読みの正しさではない。「正解 20 ページで調整し、残り 303 画像で評価した」という条件を添えて初めて、この 0.9902 の意味が定まる。

字形の比較:同じ活字かどうかを決める

同じ文字を刷った 2 つの像が、同一の活字によるものかどうかは、字形を比べて判定されている。同じ活字による刷りでは、インキングや圧力、紙によって輪郭に沿った細い縁だけが違う。別の活字なら筆画そのものの位置が違う。手彫りなので、2 本として同じ彫りはない [UC-043 §活字ブロックの同定]。

比較には 2 つの測度を用いる。ssim_ink は筆線が一致するかを、diff_blobs は余ったインクの形を測る。この 2 つをロジスティック回帰で 1 つの数値にまとめ、制約付き平均連結の凝集型クラスタリングで、平均類似度が最も高い族どうしを併合していく。0.85 を超える組み合わせがなくなった時点で停止する。「手」の字では、37 の刷りが 4 本の活字にまとまった [UC-043 §活字ブロックの同定]。

この結果は、刷られた紙の構造で検証された。クラスタリングにはページの情報を与え、丁の情報は与えていない。1 枚の紙(丁)は 1 つの版から一度に刷られるので、1 本の活字は同じ丁に一度しか置かれない。集計すると、同じ見開きで向かい合うページでは 11,411 ペア中 227 件が同じ活字にまとまったのに対し、同一丁では 11,034 ペア中 1 件にとどまった。見開きと同じ割合なら同一丁でも約 220 件起きるはずなので、この差はクラスタリングが丁の構造と整合していることを示す [UC-043 §活字ブロックの同定]。

暫定の結果は、セグメント 37,314 に対してクラスタ(物理的なブロック)8,494、最大のクラスタサイズ 40、シングルトン 3,467(40.8%)である。ただしシングルトンは多く見積もられている可能性があり、実際はより少ないと講演者は見ている [UC-043 §活字ブロックの同定]。

字形の比較と分類を、メタデータ管理とあわせて行う例として、『ヒエラティック古書体学』のデータベースがある。Möller の字典から字形を行単位で切り出し、ヒエラティック番号とヒエログリフ番号をメタデータとして管理し、Mirador に流し込んで並べて比べる構成である。この仕組みで、125 番と 600 番の字形の類似を検証している [UC-003 §『ヒエラティック古書体学』データベース]。

認識結果の誤りを人手に戻す

認識の結果は、そのまま成果とはされず、原資料と重ねて人が確かめられる形に戻される。自動読み順推定アルゴリズムで生成した行テキストと、人手でテキスト化した『校異源氏物語』各ページの先頭行との編集距離を計算し、概ね 90% 程度の精度で提示された対応箇所の候補を、人手で確認する例がある [BP-001 §機械の認識結果を人手の確認に戻す]。

ここで使われる編集距離にもとづく一致は、F1 とは比べているものが異なる。F1 は分割の結果と人手の正解の一致を測り、編集距離は機械が出した行テキストと、人手が書き起こした先頭行との一致を測る。後者の約 90% は、人手確認の要否を判断する材料として使われている。確認すべき箇所を絞り、人手の作業を広い範囲へ及ぼすための目安である [BP-001 §機械の認識結果を人手の確認に戻す]。

くずし字認識の結果を原画像と照らして読む仕組みも、同じ構えに立つ。KuroNet くずし字認識サービスは、囲った領域内のくずし字をすべて認識し、結果は原画像の上に文字マーカーとして重ねて表示される。利用者はもとの文字と照らしながら認識結果を確かめられる [UC-001 §IIIF画像のアノテーション]。表示方式の詳細は、節「部分を切り出す」を参照。

認識結果の誤りを許容できる使い方と、許容できない使い方

認識結果にどこまで誤りが残ってよいかは、そのテキストを何に使うかで変わる。つくしプロジェクトでは、LLM に古典籍を読ませるために入れるコンテキストと、LLM を学習させるための学習データとで、品質の要件を分けている。前者は分量を優先し、OCR テキストに誤りがあっても利用時に LLM 側で対応できるとする。後者は品質を優先し、誤りを手動・自動のいずれかで可能な限り事前に直す必要があるとする [UC-053 §LLM利用向けとLLM構築向けのデータセットの違い]。

誤りを許容するかどうかは、認識の精度そのものでは決まらず、テキストの行き先で決まる。学習データの実例(からまる)は、節「AI で問う・読む」を参照。

文字認識の難しさ:字形・書体・読み順

くずし字認識が間違えやすい箇所は、文字の性質から説明されている。ひらがなの「は」、カタカナの「ハ」、漢字の「八」や、「ば」「バ」といった似た字形は、文脈を見れば区別できるが、文字単位だけでは区別がつきにくく、認識精度が下がる。また「見」は、「みそ汁」ではひらがなの「み」、「見る目」では漢字の「見」として使われ、同じくずし字でも現代日本語では別の文字になる [UC-053 §歴史的日本語の文字とテキストの基礎知識:翻刻・文字・校訂・句読点]。「事」のように多くの異体字とそれを崩した形がある字は、すべて「事」と認識する必要がある。変体仮名は、小学校令(1900 年)以後に教えられなくなったため読めなくなった文字で、Unicode にも登録されているものの、通常は現代のひらがなの Unicode で翻刻する [UC-053 §歴史的日本語の文字とテキストの基礎知識:翻刻・文字・校訂・句読点]。

書体や本の種類による違いも、認識の手法に影響する。公文書や医学書は楷書の漢字、物語や読み本はかなり崩したひらがな、技術書や翻訳物はカタカナで書かれる傾向がある。同じ本の中に漢文・漢字かな交じり・万葉仮名が混在する場合もあり、本を単位に処理しようとしても 1 冊の中に異なる書き方が出てくる [UC-053 §歴史的日本語の文字とテキストの基礎知識:時代・種類・レイアウト]。

版面の読み順も別の難しさである。木版印刷でも写本でもレイアウトを自由に決められるため、行がはっきりしない紙面では読み順の自動判定が難しい。散らし書きの書状はその極端な例である。講演者は、文字認識とレイアウト認識は異なる問題で、読み順の推定は依然として重要な課題だと述べている [UC-053 §今後に向けて]。推定が難しい以上、読み順は人が行内・行間で指定して補う手段もあり、KuroNet Text Editor ではそれが可能である [UC-001 §IIIF画像のアノテーション]。

翻刻と字体:誤字を残すか、読みを補うか

翻刻は、くずし字で書かれた資料を読み、現代日本語の文字を入力してテキストにする作業である。ここで原文の字体や誤字をどこまで残すかは、後の読解に何を渡すかを決める判断になる。

読解の段階を整理した枠組みでは、テキストに誤りが含まれる場合、自分の知識によって、その先にある正しいテキストを想定しながら読む段階が置かれている [UC-039 §文献を「読む」とはどういうことか]。この段階の説明は節「AI で問う・読む」を参照。本節にとって要となるのは、翻刻で誤字を記録するか読みを補うかの選択が、この段階の最初の接点になる、という点である。誤字をそのまま記録すれば、翻刻テキストは原本の状態を伝えるが、正しいテクストの想定は後の読み手に任される。読みを補って記せば、後の読みは楽になるが、補った判断が見えなくなる。

原本画像と行テキストを一対一で結びつける仕組みは、この判断を後から検証する手がかりになる。Humanitext OCR は、行単位で座標とともにテキストを取り出し、校正ビューアで行ごとの目視校正ができる [UC-038 §三つの公開サービス]。誤りや補いを原本に戻して確認できるので、残した字と補った字を区別して扱う道が開ける。訳・注の初稿と修正の仕組みは、節「AI で問う・読む」を参照。

校訂本文は、この判断の一方の極にあたる。句読点を補い、濁点をつけ、歴史的仮名遣いを現代かなにし、ひらがなを漢字にする(「かむた」を「神田」にする)といった処理で、読みやすくしたテキストである [UC-053 §歴史的日本語の文字とテキストの基礎知識:翻刻・文字・校訂・句読点]。原文の表記をどこまで変えるかという翻刻の判断が、ここまで進んだ形である。校訂の有無が LLM での読解・翻訳にどう効くかは、節「AI で問う・読む」を参照。

句読点にも注意がいる。江戸時代の本の「。」は、文法的な文末ではなく、名詞句・連用形・連体形の後に置かれて読みのリズムを示すものであり、現代の句点と同じではない [UC-053 §歴史的日本語の文字とテキストの基礎知識:翻刻・文字・校訂・句読点]。原文の記号をそのまま残すのか、現代の用法に直すのかが、ここでも問われる。