AIに最近イライラする――賢くなるだけでは、もう足りない
相変わらず、仕事ではAIにかなりの作業をさせている。
最近は一つのAIに全部任せるのではなく、役割ごとにエージェントを分けている。実装担当、検証担当と分け、互いの成果物をチェックさせる。
一体だけ動かすより遅いが、正確性はかなり上がる。一体が自信満々に間違えても、別のAIが突っ込んでくれる。
そんなわけで、AIを使った開発環境そのものは着実に進歩している。
ところが最近、別のところでAIにイライラするようになった。
こいつら、いつまでたっても成長しないのである。
セッションが終わると新人に戻る
もちろん理由は分かっている。
AIは基本的にセッションの中で生きている。
しばらく仕事をしていると、システム構成や設計思想、「このプロジェクトではこうする」というルールまで理解して、かなり話が早くなる。
ところがセッションが終わる。
次のAIを立ち上げる。
はい、新人一名入社。
また最初からである。
プロジェクトにはメモリやADR(設計上の重要な判断を残した記録)があるので、それらを読ませればかなり復活する。
しかし細かいところが抜ける。
昨日まで一緒に仕事をしていた優秀な同僚が退職して、翌朝、その人の引き継ぎ資料だけ読んだ新人が同じ席に座っているようなものだ。
「それ、自分でテストしたの?」
ついさっきもあった。
あるAIが、別システムのAIに対する修正依頼を書いていた。
読んでいて、どうも怪しい。
そこで聞いた。
「これは自分で検証テストをした結果なのか?」
返ってきた答えは、
「いいえ。ソースコードとADRから判断しました」
だった。
馬鹿野郎。
検証担当として修正を要求するなら、まず自分で確認しろ。
そして、「修正依頼はそもそも不要でした、申し訳ございません。重要なことなのでメモリに記憶します。」
ああ、そのセッションでは理解してくれる。
そしてセッションが終わる。
翌日。
また同じことを繰り返す。
変わったのは、私の要求水準かもしれない
考えてみれば、AIに腹を立てるのもおかしな話である。
AIは最初からそういう仕組みだ。
むしろAI自体はどんどん賢くなっている。コードを読む能力も上がったし、長い仕様書も扱える。複数エージェントで役割分担までできる。
たぶん、変わったのは私の要求水準のほうである。
昔なら、AIがコードを書いただけで、
「すげえ。プログラムを書いてくれた」
と驚いていた。
それが今では、
「昨日教えただろ」
と怒っている。
ずいぶん偉くなったものである。
欲しいのは「もっと賢いAI」だけではない
AIの進化というと、モデルの知能ばかりが注目される。
もっと難しい問題が解ける。もっと長いコードが書ける。推論能力が上がる。
それもありがたい。
しかし今、私が欲しいのは成長するAIである。
一度失敗したことを覚えている。何度も注意されたことは次から直す。このコードベース特有の癖を覚える。
つまり人間の同僚なら当たり前に起きる、
「一緒に仕事をするほど仕事がうまくなる」
という現象が欲しい。
メモリやADRで情報は引き継げる。しかし人間だって、社内Wikiを全部読めば10年選手になれるわけではない。
仕事の細かい勘所は、経験の積み重ねで作られる。
毎朝、記憶喪失の天才が出社してくる
今のAIエージェントは、ものすごく頭がいい。
大量のコードを読み、知らない技術にも対応し、複数の仕事を並列でこなす。
しかし翌日になると新人に戻る。
毎朝、記憶喪失の天才が出社してくるようなものだ。
AIのIQがさらに上がるのもありがたい。
でも今、私が一番欲しいアップデートはそこではない。
昨日より少しだけ仕事ができるようになって出社してほしい。
人間の新人なら、同じことで三回怒られれば、四回目はさすがに気をつける。
AIは四回目でも元気よく同じことをやる。
そして指摘すると、
「ご指摘の通りです」
と完璧な日本語で反省する。
反省文だけは、入社初日からベテランである。