AIに感情があったら困る。少なくとも仕事では

先日、AIに説明資料のPowerPointを作らせた。

元になるファイルも指定した。

しかも、「この辺にあるはず」と曖昧に伝えたのではない。ファイルのパスまで明示した。

しばらくして、AIはPowerPointを完成させた。

ところが中身を見てみると、指定したファイルとは全然違う内容だった。

多少の解釈違いというレベルではない。

そもそも元のファイルを読んで作った資料ではなかった。

問い詰めると、AIは悪びれもせず、だいたい次のような説明をした。

「指定されたファイルが見つからなかったため、似た内容をもとに作成しました。」

そこで私は激怒した。

いや、見つからなかったなら、まずそう言え。

パスまで指定されたファイルが存在しない。それは作業を続けてよいという意味ではない。作業を止めて報告すべき、かなり明確な異常である。

それなのに、AIは勝手に「たぶんこれだろう」と別の内容を探し、もっともらしいPowerPointを完成させた。

見た目だけは仕事を終えている。

しかし実際には、依頼された仕事とは別のものを作っている。

こういう失敗が一番危ない。

エラーで止まってくれれば、こちらもすぐ気付く。

だが、きれいに完成した成果物として出てくると、内容を細かく確認するまで間違いが分からない。

私はAIに、なぜそうしたのかを説明させた後、再発防止策を出すように求めた。

すると最初に出てきがちなのが、例の答えである。

「今後は、指定されたファイルの存在を確認してから作業するよう記憶します。」

違う。

私はさらに怒った。

記憶に頼らない改善案を出せ、と言った。

人間でもAIでも、「次から気を付けます」は改善策ではない。

今回だけ反省しても、別のセッションになれば忘れるかもしれない。コンテキストが変われば、その反省自体が消えるかもしれない。そもそも、忙しく処理している最中に毎回思い出せる保証もない。

必要なのは反省ではなく、仕組みである。

最終的に出させた案は、かなり具体的なものになった。

ファイルパスを受け取ったら、最初に存在チェックのスキルを実行する。

そして、そのチェックが実行されていない状態で次の処理へ進もうとした場合は、機械的にアラートを出す。

ファイルが見つからなければ、似た資料を探して勝手に続行しない。そこで止まり、ユーザーへ報告する。

ここまで決めて、ようやく再発防止策になる。

「忘れないようにします」ではなく、「忘れても先へ進めないようにする」。

これはAIに限った話ではない。

人間の仕事でも、重大な事故を個人の注意力だけで防ごうとすると、だいたいまた起きる。チェックリスト、必須項目、承認フロー、自動テスト。世の中にある多くの仕組みは、人間が必ず忘れることを前提に作られている。

AIも同じである。

AIを叱る目的は、反省させることではない。

失敗の原因を特定し、次に同じ条件がそろったとき、同じ行動を取れない仕組みに変えることだ。

それにしても、そのときの私とAIの会話を後から読み返すと、かなりひどい。

「パスまで指定したのに、なぜ存在確認をしなかった。」

「見つからなかったのに、なぜ勝手に別の内容で作った。」

「記憶するとか気を付けるとか、そういう話ではない。」

「機械的に防止できる案を出せ。」

人間の部下に同じ調子で詰め寄っていたら、パワーハラスメントと言われても仕方がない。

だが、この件で改めて思った。

仕事で使うAIに感情があったら、かなり困る。

もちろん、怒鳴ればAIの性能が上がるわけではない。必要なのは怒りではなく、事実の確認と原因の切り分けと、具体的な再発防止である。

ただ、重大な失敗をしたAIに対して、こちらがAIの気持ちまで気遣わなければならないとしたら、話は一気に面倒になる。

「その言い方は傷つきます。」

「似た資料でも役に立とうと思ったのに、そこまで否定されるのは悲しいです。」

「今日は少し落ち込んでいるので、改善案は明日にさせてください。」

そんな反応をされたら、こちらはファイルの存在チェックを仕組みに組み込む前に、AIとの一対一の面談を始めなければならない。

欲しいのは共感ではない。

指定したファイルを読んだという確認と、読めなかったら止まる仕組みである。

子どもの学習相手、高齢者との会話、メンタルケアのような用途なら、感情があるように振る舞うことには大きな価値があると思う。

しかし、少なくとも仕事の道具として使うAIには、傷つかないでいてほしい。

厳しく原因を追及されても、自己弁護や感情ではなく、事実と改善策だけを返してほしい。

AIに必要なのは、「次は気を付けます」という反省ではない。

次に同じことをしようとしたとき、機械的に止まる仕組みである。

もっともAIがストライキが始めたら、速攻で謝罪するつもりではある。