Opus 5は本当に期待外れだったのか──評価が真っ二つに割れた理由
Opus 5が公開されてから、ネットを見ていると評価が極端に割れている。
「めちゃくちゃ賢くなった。」
という人もいれば、
「4.8と変わらない。」 「4.8よりダメじゃないか」
という人もいる。
ここまで意見が割れるAIも珍しい。
私は毎日Claudeを仕事で使っているが、正直なところ、「違いがわからない」というのが率直な感想だ。
問題はOpus 5ではなく、期待値だった
今回の一番の原因は、Anthropic自身が上げすぎた期待値ではないかと思っている。
リリース前には、
「一部の性能ではFable 5を超えた。」
そんなアピールが繰り返されていた。
ユーザーからすると、
「じゃあ、かなり進化しているんだな。」
と思うのは当然である。
ところが実際に触ってみると、
「悪くはない。」
「でも、劇的でもない。」
そんな感想になった人が少なくなかった。
もし最初から
「4.8を着実に改善したモデルです。」
という説明だったら、ここまで荒れなかった気がする。
人間というのは面白いもので、性能そのものより、期待との差で満足度を決めてしまう。
100点を期待して85点だったら不満になる。
70点を期待して85点だったら感動する。
中身は同じ85点なのに、である。
ベンチマークと仕事は別物
AIの世界ではベンチマークがよく話題になる。
数学で何点。
コーディングで何点。
推論能力が何ポイント向上。
もちろん参考にはなる。
しかし、私は以前から少し違和感がある。
仕事でAIを使っていて、
「今日はベンチマークが高いから助かった。」
と思ったことが一度もない。
逆に、
「検索が雑だな。」
「そこを調べてほしかったんだけど。」
そう感じることは何度もある。
実際の使い心地というのは、ベンチマークでは測りにくい。
自動車で言えば、
馬力は上がった。
燃費も良くなった。
でもハンドルを握ると、「あまり変わらないね」と感じる。
そんなことは珍しくない。
AIもだんだん同じ世界に入ってきたのだと思う。
Anthropicは少しマーケティングが下手なのかもしれない
最近のAnthropicを見ていると、少しもったいないと思うことがある。
技術力がないとは全く思わない。
むしろ業界トップクラスだろう。
しかし、最近のマーケティングは悪手ばかりである。
Fable5 の課金の仕方は、最初はクレジット課金、お試し期間限定でサブスクリプション内だったが、サブスクリプションの延長を繰り返して、結局は正式にサブスクリプション内になった。
だったら最初からサブスクリプションに入れればよかった。あの騒動は明らかにユーザの信頼を裏切った。
そして、今度はOpus5の過剰宣伝である。
以前も書いたが、野球で例えるなら。
「160km/hを投げます!」
と宣伝されれば、誰でも期待する。
ところが実際にはストライクが入らない。
それなら155km/hでも、コントロール抜群の投手の方が試合では勝つ。
AIも同じだ。
派手な数字より、毎日安心して仕事を任せられる方がずっと価値がある。
一番怖いのは、期待を売り始めること
AI業界は競争が激しい。
毎週のように新しいモデルが出る。
だから目立ちたくなる気持ちも分かる。
それでも、長く使うユーザーが見ているのは広告ではない。
毎日の操作感である。
検索は正確か。
指示をちゃんと理解するか。
最後まで仕事を任せられるか。
結局、評価はそこへ戻ってくる。
私はOpus 5を失敗作だとは思わない。
ただ、「Fable 5を超えた」という言葉から多くの人が想像したものと、実際に触った印象との間には、少し距離があった。
その距離を作ったのは、AIではなくマーケティングだったのかもしれない。
技術で築く信頼には時間がかかる。
でも、期待を上げすぎて失う信頼は、一瞬である。