AI同士にダブルチェックさせたら、仲良く謝罪し始めた——そして過去のコードが怖くなった

最近、AIを使った開発では、複数のセッションを使ってダブルチェックすることが増えた。

一つのセッションに実装させ、別のセッションにレビューさせる。疑問があれば相手に確認させ、必要なら元のセッションに戻して再検討させる。

いわゆるクロスセッションである。

これをやっていると、ときどき妙に面白い光景を見る。

AI同士が、やたら丁寧に謝り合うのだ。

「ご指摘の通りです。こちらの理解が誤っていました」

「確認したところ、私の指摘にも誤りがありました。申し訳ありません」

そして何事もなかったように修正版を作り始める。

君たち、ずいぶん仲がいいな。

もっと激しく議論させることもできるのだろうが、別にAI同士の喧嘩が見たいわけではない。間違いが直ればそれでいい。

ただ、この平和なやり取りを見ていて、別のことに気づいてしまった。

こいつら、こんなに間違えていたのか。

一人でやらせていた頃には見えなかった

クロスセッションにすると、片方のAIが出した設計やコードに、もう片方が普通に問題を見つける。

「この仕様の解釈が違います」

「このケースが抜けています」

「そのAPIの使い方は違います」

すると元のAIが確認して、

「ご指摘の通りです」

となる。

もちろん逆もある。

レビュー側が勘違いしていて、実装側から反論されることもある。もう一度コードや仕様を確認すると、今度はレビュー側が、

「こちらの誤解でした」

と謝る。

人間のコードレビューと、それほど変わらない。

問題は、以前はこれを一つのセッションだけでやっていたことである。

ワンセッションでは、間違った前提まで引き継がれる

AIが間違えること自体は、昔から分かっていた。

ただ、クロスセッションを使うようになって、その量が以前よりはっきり見えるようになった。

一つのセッションだけで作業していると、最初に仕様を勘違いした場合、その勘違いを前提に後の作業まで進んでしまう。

しかも厄介なのは、非常にもっともらしいことだ。

理由も説明するし、コードもそれなりに見える。こちらが質問すれば、さらに詳しい説明まで返してくる。

間違っているのに、説明だけはどんどん立派になる。

人間側が違和感を持たなければ、そのまま通過する。

ところが別のセッションに読ませると、違う文脈からコードや仕様を見るので、

「いや、それは違う」

が出てくる。

そこで元のセッションへ戻して確認させると、

「確かにその通りです」

となる。

一人だったときには自信満々だった人が、同僚を連れてきた途端に間違いを認め始める。

なかなか味わい深い。

そうなると、昔のコードが怖くなる

そして非常に嫌なことに気づいた。

では、ワンセッション中心で開発していた頃のコードは大丈夫なのか。

当時だってレビューはしていたし、テストもしている。

しかし今ほどAI同士をぶつけて確認してはいなかった。

AIが、

「実装完了しました。すべてのテストが成功しています」

と言えば、

「よし、終わった」

としていた部分もある。

ところが今は、その「完了しました」の後に別のAIを連れてくる。

すると、

「この実装ですが、一点問題があります」

と始まる。

そして元のAIに戻す。

「確認したところ、ご指摘の通りです」

……おい。

さっき完成したと言っただろう。

これを何度か経験すると、当然ながら過去の成果物まで疑わしく見えてくる。

近いうちに、昔ワンセッション中心で作った部分をまとめてレビューし直そうと思っている。

何も出てこなければ、それでいい。

たぶん何か出てくる。

二人にしたら、一人だった頃が怖くなった

これはAIを使うな、という話ではない。

むしろ逆である。

AIが間違えるなら、チェックにもAIを使えばいい。

一人の人間が自分の文章を何度読み返しても同じ誤字を見落とすように、一つのAIセッションに、

「自分の実装をもう一度レビューして」

と頼むだけでは、同じ前提を引きずることがある。

だったら別のセッションに見せる。

意見が割れたら互いに確認させる。

最後に人間が判断する。

クロスセッションを使い始めて分かったのは、AIが以前より賢くなったことではない。

一つのAIを信用しすぎてはいけない、という当たり前の事実だった。

一人で仕事をさせていた頃には見えなかった間違いが、二人にした途端、次々と見えるようになった。

だからクロスセッションを使うようになって、AIへの信頼が高まったわけではない。

むしろ二人にしたことで、一人だった頃が怖くなった。

そして今日も画面の中では、

「こちらの認識に誤りがありました。申し訳ありません」

「いえ、こちらも確認が不足していました」

とAI同士が仲良く頭を下げている。

平和で大変よろしい。

問題は、その謝罪相手がいなかった時代に、こいつらが何をやらかしていたかである。