AI に作らせたものを研究のデータとして扱うとき、問われるのは何を作らせたかよりも、作らせた結果をどう確かめ、どう記録し、どう伝えるかである。本節は対象を問わないその作法を述べる。具体例には、DiHuCo ガイドラインシステム(DGS)の記事生成ワークフローを用いる。
人が関わる箇所を工程に組み込む
DGS では、講演の文字起こしと講演資料を素材に、生成 AI(Claude)が記事を執筆する。そこから知識ベースへの登録まで、人と AI の関与は次のように組み合わされている [UC-034 §記事生成のワークフロー]。
- 素材を準備する。録音から文字起こしを作り、講演資料からテキストを抽出する。両者に齟齬があれば講演資料を優先する。
- AI が記事を生成する。
- 別の AI が、生成された記事をレビューする。
- 講演者本人が内容を確認する。
- 知識ベースに登録する。
AI のレビューを経ても、講演者本人の確認は省かれていない。AI 同士の検査は見落としを減らすが、講演で何を述べたかを最終的に判断できるのは講演者だからである。登録するかどうかの境界は、AI ではなく人の確認の後に置かれている。
素材の選び方も品質を左右する。講演資料だけから作る場合に比べ、文字起こしを加えたほうが記事の品質はずっと良くなる。口頭の説明には話し手が何を強調しているかが表れており、記事の重点をつかみやすくなるためである [UC-034 §記事生成のワークフロー]。人が関わる以前に、AI に渡す素材の設計がすでに結果の質を決めている。
誤りが残る前提で使う
生成と検査を AI が担っても、誤りは残る。DGS では、記事生成にもその AI レビューにも共通する課題として、素材にない情報を AI が書き加えてしまう問題(幻覚)が認識されている [UC-034 §記事生成のワークフロー]。そこで運用では、AI の出力を最終形とみなさず、後続の検査を前提に組み立てる。
検査の置き方は、記事の段階とガイドラインの段階で違う。記事は講演者本人が確認する。講演の素材と照らして正否を判断できるのが講演者だからである。ガイドラインでは、校閲係のエージェントが重複・食い違い・根拠の不足といった観点で生成結果を検査する。支援係が修正を提案し、人間課が裁定して差し戻すと、再ビルドや候補内修正が行われる。正本である構造を書き換えられるのは人だけである [UC-034 §Agentic Publishingとは何か]。AI に修正を提案させる一方、何を直すと決めるかは人に残してある。
AI が作ったものを AI で検証する設計は、他の研究でも試みられている。歴史的文書から LLM が生成した知識グラフの品質を、生成に使ったものとは別の LLM に評価させ、人手による評価との一致を測る研究がある。生成と評価に異なる系統のモデルを用いて、生成したモデルが自分の出力を甘く評価する偏りを避ける設計である。ただし評価に使う LLM にも系統的な誤判定のパターンが生じうることが、その研究では限界として挙げられている [Issues-004 §論点3：AIの出力の検証]。AI による検査は人の確認の代わりにはならず、検査の網を一枚増やすものと見るのが適切である。
問題を工程設計に戻す
誤りは、見つかるたびに出力を手で直して終わらせず、工程の側へ戻すのが DGS の方針である。ガイドライン編集部のやり方を、北本氏は料理にたとえている。出来上がった料理に手を加えるのではなく、レシピを変えて作り直すのだという。このレシピにあたる編集レシピには、章節構造や各節に書く内容・書かない内容を指定する構造、制作係と校閲係それぞれのエージェント指示、表記揺れに対して使うべき表記を定める用語ファイルが含まれる [UC-034 §編集レシピとAI生成構造]。
検査で見つかった問題点はこの編集レシピに反映し、以後の生成に活かす [UC-034 §Agentic Publishingとは何か]。具体的な効き方は、各節の指示に表れている。たとえば地図とは何かを述べる節に、GIS には触れないという範囲指定を置き、GIS は別の節に回す。範囲を指定すれば、節のあいだの重複や逸脱を生成の前に防げる。修正を一度きりの手直しで終わらせず、次の生成から繰り返さないための仕組みとして残す、という点がこの循環の要である。知識ベースが成長すれば、同じレシピで再生成することもできる。
この循環を、誤りを避けるための唯一の方法と見る必要はない。AI を使った研究では、効率が上がる反面、出力を得るプロンプトが複雑になり、エラーが起きたときの対応が難しくなったり、技術の進化が速く再現性を得にくくなったりするという声がある [Issues-002 §論点1：AIの使い方]。工程の設計は、そうした不確かさを個人の経験に頼らず、検査と記録の形で共有する手段である。
AI が作ったことを記録する
AI が作ったものをデータとして流通させるなら、AI が作ったことと、どう作ったかを、成果物から辿れるようにしておく必要がある。DGS が公開する記事には、その記録の一つの形が見られる。記事の末尾には、講演記録を基に生成 AI を利用して作成した記事であることを示す一文が置かれている。その後ろにメタデータとして、記事ファイル、生成日、生成に使ったプロンプトとモデル、素材ファイルが記録される。後日の改訂があれば、改訂の日付と要旨も版ごとに書き添えられる。たとえば別の記事では、講演者のコメントを反映した改訂の履歴が、版ごとに残されている [UC-035, UC-043]。誰が何を直したかが辿れるので、AI の生成物のうちどの部分が人の確認を経ているかを読者が推し量れる。
記録が求められる背景には、アンケートに寄せられた懸念がある。研究や業務の過程で、どこまでが AI の提案や分析で、どこからが人間の判断や選択なのかが見えにくくなるという声である。AI の出力をなぜ採用し、何を採用しなかったのかを記録・検証できる仕組みが必要だという回答もある [Issues-002 §論点3：人間が担う範囲の見極め]。
ガイドラインの版の管理も、同じ考えに立っている。作業版は常に更新され AI によって内容も書き換えられるので、引用には向かない。候補版は作業版を凍結した版、承認版はコミュニティの承認を得て更新されない版である。引用できるのは安定した承認版ということになる [UC-034 §ガイドラインの版と権利]。AI が作ったものは書き換わり続けるという性質を、版の区別によって読者に伝えている。
権利と著者の問い
AI が作ったものを誰のものとして公開するかは、DGS でもまだ決着していない。ガイドラインが参照する記事は、講演者と DiHuCo の共同著者として CC BY ライセンスで公開する。一方、記事を元に AI が再構成して執筆した部分には、著作権が生じないのではないかという問いが北本氏から示されている。構造は人間が指定したものなので、その編集部分には著作性があるとも考えられる。全体は CC BY-NC 相当で公開する方針だが、著者は誰か、権利はどこに宿るかは今後の議論に委ねられている [UC-034 §ガイドラインの版と権利]。法と倫理の枠組みは『AI と社会』で扱うので、ここでは、記録と開示の設計が権利の問いと切り離せないことを指摘するにとどめる。