はじめに

本講演では、東京大学大学院人文社会系研究科／東京農工大学大学院工学研究院の塚越柚季氏が、AIと一緒に、あるいはAIが自律的にテキストを読むためのシステムについて語りました。BOOST課題の主なゴールは、翻訳を解釈の表明ととらえ、その根拠を支える註釈を生成するモデルを作ることです。読解のプロセスを工程に切り分け、AIの処理と人間の判断を往復させる取り組みであり、古典語の資料をAIで扱う際の部品化に関心のある方に役立ちます。

対象とするヴェーダ文献

塚越氏が対象とするのは、インド古典であるヴェーダ文献です。これを記すサンスクリット語はインドの言語の中でも最も古く、文献は紀元前1200年頃から紀元前500年頃に成立しました。内容は神々への讃歌や儀礼の手順が中心で、時代が下ると哲学的な議論も加わります。古典ギリシャ語やラテン語と同じ祖先をもつ言語として歴史比較言語学の基礎資料となり、インド思想や仏教などの研究も支えます。

塚越氏はAIから見た難しさとして、母語話者がいないこと、読める人や研究者が少ないことを挙げました。加えて、古典サンスクリットには存在しないアクセント体系と古い語形が残っている点が最大の特徴です。名前は紛らわしいものの、古典サンスクリットのほうが新しく、ヴェーダのサンスクリットのほうが古い言語です。

文献を「読む」とはどういうことか

翻訳は、文字列をある言語から別の言語へ置き換えるだけの作業ではありません。現在の機械学習における翻訳は置き換えのタスクとして設定されていますが、本来の翻訳は、元のテキストの背景や言語的特徴を反映させる作業です。

塚越氏は読解の工程を、字を「読む」こと、誤りの向こうにある正しいテクストを「読む」こと、語形・構文を分析して「読む」こと、文脈・背景を調べて「読む」こと、関連する別の文献を参照して「読む」ことの五つに整理しました。テキストに誤りが含まれる場合には、自分の知識によってその先にある正しいテキストを想定しながら読みます。似たテキストが他の文献にないかを調べたり論文を読んだりして周辺の知識を取り入れる作業も、読解に含まれます。

VEDA AI：読解の工程を部品に分ける

塚越氏は、読解を構成する個々のタスクを小さな部品に分け、VEDA AIと名付けたシステムとして組み立てています。読解の工程は、取り込む（ocr、text-correction）、語形を読む（pos-tagging、sentence-analysis）、意味を調べる（dictionary-search、corpus-search、reading-interaction）、翻訳・註釈を生成する（translation）の各コンポーネントに対応します。取り込みでは、画像からのOCRでも人の入力でも誤りが含まれうるため、自動で修正する工程を置きます。

意味を調べる工程は辞書に委ねます。仮にAIにすべて任せるとしても、モデル内部の知識に頼らず辞書を引いて確認します。サンスクリット語の辞書には1800年代にさかのぼるものもあり、100年以上の積み重ねの知識を取ってくることになります。

このシステムは一直線のパイプラインではなく行き来しながら翻訳へ至り、最終的に見えるのは翻訳ですが、途中の形態素解析や辞書検索の結果もそれぞれが出力です。辞書も批判的に読む必要があり、同義語の扱いや語義の取捨は文脈から決めなければなりません。各工程で人が誤りを修正して次へ渡すデータを改善し、その記録自体が将来の学習データになります。

言語ごとにモデルと資料を差し替える

読解の工程を部品に分けるこの枠組みは、ヴェーダ文献に限らず読解全般に応用できるはずだと塚越氏は考えています。ヴェーダ語ではOCRに専用のTrOCR-Vedic、形態素解析にByT5-Sanskrit、辞書検索にCDSLを用います。OCRは自らデータを作ってファインチューニングした専用モデルですが、形態素解析のモデルも辞書のデジタル化も既存の資料を利用しています。

日本語の古文に置き換えるなら、OCRは国立国会図書館のNDLOCR-Lite、形態素解析はMeCabとUniDic、辞書検索はJMdictという組み合わせになり、英語であればVLM、spaCy、WordNetです。辞書検索の選定は自分では判断がつかずGPTに聞きながら進めたため、専門家ならもっとよい辞書を知っているかもしれない、と塚越氏は述べました。各工程で最適なモデルを選べば同じ流れで扱えるため、最初の結果が粗くても、テキストを読みながらAIを育てていくプラットフォームになる、というのが目指す姿です。

デモ：一つのテキストを段階的に読む

講演では、一つのテキストを段階的に読むデモが示されました。テキストまたは画像の入力から簡易訳・註釈付き訳の比較までを一括で流すことも、人間が一つずつ承認・修正することもでき、この承認の操作はコーディングエージェントの利用者には馴染みがあるかもしれません。単語の分割や語形、辞書上の意味は一つずつ表示され、Digital Corpus of Sanskritで似たテキストを検索して一緒に見ながら読み進めることもできます。

ワークフローを支える個別の研究

BOOST課題は講演の前月に始まったばかりであるため、講演ではワークフローの各要素につながるこれまでの研究が紹介されました。各段階に一つずつモデルとデータを作ってきた蓄積です。これらを統合する研究では、OCRからアクセント復元、形態素解析、辞書・コーパス検索、翻訳までをCLI・API・GUIから実行できる形へ接続し、専門家は各段階を確認しながら、非専門家はエンドツーエンドで結果を確認できるようにします。

アクセントに対応したOCRは、ヴェーダ語にしか存在しないアクセントとその記法に対応させたモデルで、刊本の行画像からアクセント記号を保持したローマ字転写を直接生成しますが、誤認識が残る箇所もあります。アクセントの修正では、モデルの知識で欠落したアクセントの位置を系列変換として復元します。対訳コーパスでは学術的な訳を節・段落単位で整列して公開し、三つのサンヒター（マントラ集）間の転移可能性も評価しています。註釈付き翻訳の学習では、語義・文法・儀礼的背景を説明する文献学的註釈を外部知識として与え、周辺知識で翻訳の精度が上がるのかを調べています。

塚越氏はモデルだけでなく、OCR用・アクセント復元用・対訳用のデータセットもHugging Faceで公開しています。自分でモデルを作れなくても、今作ったモデルが古くなっても、誰かがそのデータセットで新しいモデルを学習してくれるかもしれず、実際に別の人が公開データセットでOCRのモデルを作っていたといいます。ヴェーダ語が読めない人でも形式さえ整っていれば誰でも学習できることが、公開のメリットになっていたと塚越氏は振り返りました。

註釈を生成する翻訳モデルという目標

BOOST課題の目標は、古典文献読解のための翻訳・註釈生成モデルの構築です。掲げているのは、ヴェーダ語の機械翻訳の精度向上、翻訳とともに註釈を生成して翻訳判断の説明可能性を高めること、専門家の評価・修正をモデル改善へ戻す共有プラットフォームの構築の三点です。個々のタスクの性能を上げることに加え、そもそもどういったタスクが必要なのかが中心的な課題になってきているといい、人間が読解をする上で何をしているのかを改めて考え直すことが、この課題の裏側にある問いだと塚越氏は語りました。

註釈の生成を重視するのは、古典研究における翻訳が単なる言語間の置換ではなく、テキストの背景や文化的文脈に基づく解釈の表明だからです。語釈、文法、儀礼・思想の背景、文献間の関係が訳に影響し、註釈は解釈の過程を読み手へ開示します。生成AIに必要なのは自然な訳だけでなく根拠のある訳だ、という位置づけです。

整備の対象は、アクセントを保持しUD CoNLL-Uに対応したヴェーダ語データ、原文・翻訳・註釈のデータ、一次文献・古代註釈・辞書・研究文献をRAGに接続する外部知識、そしてByT5-Sanskrit・オープンウェイトLLM・プロプライエタリLLMを比較するモデル選定です。評価にはBLEUやCOMETに加え、註釈の正確性・有用性・根拠性の専門家評価を用います。実験としては、訳してから翻訳判断を説明する順序、訳文と註釈を同時に生成する順序、先に語釈・文法・文献的根拠を整理して訳に反映する順序の三つを予定し、どの順序が翻訳の妥当性、註釈の根拠性、専門家の評価しやすさを高めるかを比べます。

評価・解釈共有プラットフォームと公開したい成果

共有プラットフォームは四つの機能で構想されています。原文表示ではヴェーダ語の本文と形態・構文・アクセントの情報を確認し、比較評価では複数モデルの翻訳・註釈を並べて選択・採点します。修正・履歴では専門家が註釈を書き換えて根拠資料と判断の履歴を残し、学習データ化では人の修正を将来の再学習やfew-shot用のデータに使います。原文表示についてはテキスト・画像対応ビューワを試作として公開しています。

公開したい成果には、各種のデータセットとモデル、RAG用外部知識の整備手順とメタデータ、専門家の評価済みデータと評価基準、他の古典語や専門翻訳へ移植するためのワークフローを挙げ、AIの出力を確認・修正して次のモデル改善へ還元できる環境を作ることを目標としています。

今後の方向性

現時点でできていないのは論文などの検索であり、今後は一次・二次文献の検索を加えて、どのテキスト・用例・語義に基づいて訳を生成したのかを辿れるシステムへ進めます。インド・ヨーロッパ語という同じ語族である以上、西洋にも似た話があるかもしれないとして、本シンポジウムの他の講演で取り上げられたHumanitextのようなシステムへの問い合わせなど、他システムとの接続も検討しています。モデルと資料を差し替えて他の古典文献へ広げていくことが、この取り組みの見取り図です。

講演情報

関連リンク

この記事は、講演記録を基に生成AIを利用して作成したユースケース記事です。