AI に作らせたものをデータとして扱うには、人がどこで関わるか、誤りが残る前提でどう使うか、AI が作ったことをどう記録しどう伝えるか、の三点を決めておく必要がある。以下は、DiHuCo ガイドラインシステムの記事生成ワークフローを具体例に、対象を問わない作法として整理する。何を作らせるかは対象ごとの各節が扱う。
AI が書き、AI が検査し、本人が確かめる工程
ガイドラインシステムでは、講演の文字起こしと講演資料を素材に、生成 AI が記事を書く。素材の準備では録音から文字起こしを作り、講演資料からテキストを抽出する。両者に齟齬があれば講演資料を優先する。書かれた記事は AI がレビューし、次に講演者本人が内容を確認し、そのうえで知識ベースに登録する [UC-034 §記事生成のワークフロー]。
素材の選び方は品質に影響する。講演資料だけから作る場合より、文字起こしを加えた方が品質は上がる。口頭の説明には話し手が何を強調しているかが表れており、記事の重点を取りやすくなるためである [UC-034 §記事生成のワークフロー]。
この工程は、AI が作ったものを AI が点検し、最後に内容を知る人が確かめる三段になっている。AI 同士の点検は人手を減らすが、人の確認の代わりにはならない。記事の内容に責任を持てるのは講演者であり、確認の段が最後に置かれているのはそのためである。
幻覚への対処
記事生成と AI レビューに共通する課題として、素材にない情報を AI が書き加えてしまう問題がある [UC-034 §記事生成のワークフロー]。対処の基本は、書かれた内容を素材と突き合わせられる形で出させることにある。ガイドライン本文の生成でも、記述は提供された記事だけを根拠とし、根拠を主張ごとに記事の節まで示す形式を取る。読者が節へ直接たどれるので、素材にない記述は根拠の欠如として見つかりやすくなる。
検査して、結果を工程に戻す
ガイドライン本文の生成(Agentic Publishing)では、人が指定した構造に沿って AI が知識ベースから記事を選び、成果物を組み立てる。生成結果は校閲の担当が、重複・食い違い・根拠の不足といった複数の観点で検査する。支援の担当が修正を提案し、人が裁定して差し戻すと、再ビルドや候補内の修正が行われる [UC-034 §Agentic Publishingとは何か]。
要点は、検査で見つかった問題点を出来上がった文章への手直しで終わらせず、編集レシピに反映して以後の生成に生かすことである。編集レシピには、章節構造や各節で書く内容・書かない内容を指定する構造、制作と校閲それぞれのエージェント指示、表記揺れに対して使うべき表記を定める用語ファイルが含まれる。出来上がった料理に手を加えるのではなくレシピを変えて作り直す、という考え方である [UC-034 §編集レシピとAI生成構造]。
この工程では、正本である構造を書き換えるのは人だけである [UC-034 §Agentic Publishingとは何か]。誤りを見つけたら、まず工程の設計を疑って直し、直した工程で作り直す。個々の誤りを手で直し続けるだけでは、同じ誤りが次の生成でまた出る。
人が確かめる箇所と、確かめられない箇所
人が確かめられる範囲には限りがある。作法として次の点を挙げる。
候補と確定を混ぜない。 AI が出した候補は、確定したデータとは別に未確定の推測として保持し、人が候補から選んで初めて確定した結果にする。テキストレポジトリの試験適用では、AI や辞書が出した候補を確定データとは別の表に置き、選んで初めて確定したリンクになる設計とした [UC-049 §テキストレポジトリのシステム構成, UC-049 §安政江戸地震史料への試験適用]。AI が提案したアノテーション候補は、人が目視でレビューしてから採否を決める [UC-049 §安政江戸地震史料への試験適用]。確定データに候補が紛れ込むと、後から誰も区別できなくなる。
誤りが残る前提で使う。 大量に処理できることは、誤りも大量に生みうる。AI の出力をそのまま結論とせず、解釈を支える手がかりとして扱い、何を学習し何を正解できるのかを考えながら使う [BP-005 §解釈の手がかりとしてのデータ]。AI の説明が冗長で理解が追いつかないときは、分かったつもりで採用せず、分かるまで聞き直す [UC-048 §限界と人間に残る責任]。
測れる部分と測れない部分を分ける。 誤りの出方を測る手段としては、あらかじめ人手で作った正解データと突き合わせる方法がある。人手による検証データがあったことが、AI による改善を成立させた理由の一つとして挙げられている [UC-049 §AIによる改善が機能した理由とループエンジニアリング]。逆に、正解を測る手段がない部分は、出力を信頼する根拠も弱い。数値と事例の詳細は節「AI エージェントの活用」を参照されたい。
モデルの更新で結果が変わる。 モデルが更新されると、同じ入力でも結果が変わりうる。そのため、作らせたときのモデル名と日時を記録しておく [UC-048 §限界と人間に残る責任]。
作ったのが AI であることを記録し、伝える
AI が作ったものは、後から読み直して検証できるよう、何を素材にどう作ったかを残す。記録の具体的な方法はいくつかある。
- 記事末尾に AI 利用を明記する。 講演記録を基に生成 AI を用いて作成した旨を、記事の末尾に書く [UC-034]。
- 生成の記録を残す。 どの素材から、どのプロンプトとモデルで、いつ作ったかを記事ごとに記録する [UC-034]。
- 判断を決定ログに残す。 決定した事項、採用しなかった案とその理由、生じた不具合を記録し、以後の作業で AI に最初に読ませる運用もある [UC-038 §研究チームとAIの協働]。
人が指定した構造と、AI が再構成した文章とは区別して扱う。ガイドラインシステムでは、正本である構造は人だけが書き換え、AI が書く本文はその構造と記事から作り直される [UC-034 §Agentic Publishingとは何か]。何を人が決め、何を AI が書いたかが、作りの上で分かれている。
AI の提案と人の判断の境目が見えにくくなるという懸念と、採否の理由を記録・検証する仕組みを求める声の整理は、節「AI 時代の研究方法」の「著者性と責任、評価と査読の揺らぎ」を参照されたい。AI が再構成した部分と人が指定した構造とで権利がどう異なるかは未決の問いであり、節「ライセンスの選び方と権利処理」を参照されたい。AI を使って作ったものを公開する場合の法や倫理は、節「AI と社会」で扱う。