根拠ある研究ループ：AI支援研究が本当に破綻する場所

おなじみのパターンだ。AIツールに幅広い質問を打ち込む——「Xに関する文献をまとめて」——幅広い回答が返ってきて、そのまま受け入れるか、同じ質問を言い換えてより鋭いものを期待する。数ラウンド後、もっともらしい段落がいくつかできて、最初より自分の議論が明確になったわけではない。

これはプロンプトの失敗ではない。AIは与えられた情報を総合することに本当に長けている——問題はリクエストの背後にある思考がまだ完成していないことだ。これはループの「問い」のステージであり、最も飛ばされやすいステージだ。私は長い間、回答が汎用的だとプロンプトのせいにして書き直し、次のバージョンが本当に必要なものを推測してくれるのを期待していた。当たることもあった。しかし多くの場合、私はAIに、自分自身がまだ答えを出していない質問を答えさせていた：具体的に何を知りたいのか？

汎用的な回答は、ほとんどいつも「問い」のステージを飛ばした兆候だ。今ではAIツールを開く前に、まず閉じる——このタスクが答えるべき具体的な質問、プロジェクトにとってなぜ重要か、そして何が成果として出るべきかを明確にする。5分もかからず、ループ全体で最もリターンの高い5分だ。

一度試してみよう——「問い」のステージを閉じる

AIツールを開く前に、白紙のドキュメントに4行書く：

それからいつものようにプロンプトする。最初の回答は劇的には変わらない。違いが現れるのは数ラウンド後だ——「まだ汎用的だな」という疑問が「どうやってもっと絞り込むか」という疑問に変わる。後者はずっと良い問題だ。

ソースは多いほど安心感がある。特に締切が迫っているときは。しかし「根拠付け」のステージは、研究をエビデンスに固定する場所だ。AIは「背景読書」と「根幹となるエビデンス」を区別しない。アップロードしたものをすべて等しく重要として扱う。6つのゆるく関連するテーマにまたがる40本の論文を渡せば、6つすべてに目を配ろうとする。総合は包括的に読めるが、焦点がない。

弱い根拠付けはその先のすべてを汚染する。ノイズの上で推論はできないし、間違ったソースの上に構築された結論を疑うこともできない。だから私は「何を追加すべきか」ではなく「何を削れば議論を弱めずに済むか」を問うようになった。この一つの視点転換で、ノートブックは保管庫から、一つの推論線を支える役割を持つ作業セットに変わる。

根拠付け——アップロード前に分類する

まず「必須」グループだけをアップロードし、総合を生成し、本当に足りないものがあれば「有用」グループから1つずつ追加する。ほぼ同じ発見を報告する2つの研究——効果量11%と12%——は人間には1つのデータポイントだが、AIには2つの独立したシグナルだ。冗長な方を削除すると、総合は大抵シャープになる。

「推論」のステージは、弱いエビデンスが強い主張になるのを防ぐために存在する——そして、流暢な要約があなたをこのステージを丸ごと飛ばす気にさせるまさにそのステージだ。最初にAIが生成した、本当に洗練されて構造化された要約こそ、最も慎重に扱うべきものだ。自信に満ちた明確な文体は心理的に説得力があり、何も検証されていないのにチェック済みの気分にさせる。帰属の間違った発見や、要約が主張するほど正確でない引用が、優れた文章の中で何週間も潜んでいることがある。

推論とは要約の読み心地を判断することではない。各主張をソースまで遡ることだ。判断は「これで正しいか」を問い、推論は「原著は本当にこれを言っているか、引用は存在するか」を問う。まったく異なる質問であり、後者だけがあなたの信頼性を守る。

推論——5問の検証パス

主張がドラフトに入る前にこれを実行する。その後ではなく。捏造や帰属の間違った引用は、自分の画面で見つける方が、委員会や編集者やクライアントの前で見つかるよりはるかに安い。

説明的な例だ——実際の引用ではなく、繰り返し現れるパターン。同じ2つのソース、同じ質問。変わったのは「推論」のステージが行われたかどうかだけだ。

いきなり「この分野の研究ギャップは？」と聞くと、AIはもっともらしいが実際の出版物に根ざしていないギャップを提案しがちだ。分野の半分に当てはまるほど汎用的で、つまり文献を本当に知っている指導教員の前では耐えられない。これは「疑問」のステージで、順番を間違えると失敗する。

「疑問」のステージは、「根拠付け」のステージが完了してから初めて始まる。既存の対話を先にマッピングする——ソースに共通する主要な方法論、繰り返し現れる制限、共通の前提——そのあとで何が未解決かを問う。この順序を経て出てくるギャップは、汎用的ではなく具体的で、出典があり、立証可能だ。「疑問」はより良いプロンプトではない。飛ばして到達できないステージだ。

疑問——ギャップの前にマッピング

ギャップを聞く前に、アップロードしたソースの何が一致し、どこが矛盾し、どの制限が複数回現れるかを要約させてから、何が未解決かを問う。各ギャップについて、なぜ存在するのか、誰が埋めることで恩恵を受けるのかを問う。

ドラフトは最終成果物ではない。その防衛こそが成果物だ。「決断」のステージは主張をコミットする場所であり、ストレステストなしにコミットすると、弱い結論が会議室に届く原因になる。委員会、レビュアー、クライアントはあなたの研究を静かにデスクの上で読む体験はしない。彼らが体験するのは一連のチャレンジであり、あなたの議論はそれを乗り越えるか乗り越えないかだ。

決断を正しく行えばループは閉じる。軽はずみに決断すれば、「主張」に正当化なしに直行する。重要なものの前に、完成したドラフトを最初から最後まで一度読み、一つだけ問う：このテーマについて何も知らなかったら、どこで疑問や不信感を持つだろうか？これはさらに一度推敲するよりも多くの問題を捕まえる——二度と確認しなかった引用に依拠した主張、何ヶ月も研究していて自明だが初めて読む人にはそうではない用語。

その後、ドラフトをもう一度AIに返す。しかしこの時は共同作業者ではなく批判者として：この論文が遭遇しうる最も厳しいレビュアーだったら、各セクションで何を問いただすか？たまに2つの主張の間の本物の矛盾を見つけることもある。提出の1週間前に発見する方が、審査の最中に発見するよりずっと良い。

上のループの中で、最も少ない労力で最も多くの問題を捕まえるカードがこれだ。提出や発表の前に、あらゆるドラフト、要約、議論に対して実行しよう。ステージ5「決断」に対応する。

AIは優れた研究の本質を変えていない。変えたのは、ミスが起きる場所だ。

20年前、研究者は情報収集にほとんどの時間を費やしていた。論文を見つけ、記事を請求し、データセットを追い求める。今ではその部分は数分で終わる。残っているのは、情報収集が本来守ってくれていたすべてのことだ：ソースが実際に何を示しているかを判断し、どのギャップが本物かを判断し、主張が精査に耐えるかどうかを判断する。

つまり、持続可能なスキルはプロンプトではなかった。ループを動かす判断力——問い、根拠付け、推論、疑問、決断——信頼する前に主張を根拠付け、公開する前に結論を疑う姿勢だ。プロンプトは変わり続ける。モデルも変わり続ける。ループと、それを正直に回す判断力だけが、あなたのものだ。

そして、この5つの言葉が研究だけの話ではないことに気づいただろうか。問い、根拠付け、推論、疑問、決断——博士論文の章、クライアントへの提案、学びつつある教訓、あるいは正しくやる価値のあるあらゆる意思決定に、同じアプローチを取るはずだ。研究でこれを「根拠ある研究ループ」と呼ぶのは、研究でミスのコストが最も高いからだ。本質的には、物事を真剣に考える人の思考法に過ぎない。