為什麼模型刷出來的benchmark，跟使用者的實際體驗差別有時很巨大？
我覺得有幾個原因：
- 現實工作中，人類下的提示詞不會那麼工整標準。往往會東講西講，該講的不講，缺一大堆脈絡，無法完整闡述自己的意圖。
- 跑分很大一部分看的是「one shot完成率」，但我們真實世界的開發不一定是追求一步到位，而是追求邊走邊調、「指哪打哪」的這個感覺，純跑分測不到。
- 跑分時上下文是乾淨的，harness整齊得像是無塵室。但是真實使用者harness往往亂成一團，上下文可能還會污染、衝突。模型抵抗上下文混亂的能力就很重要。
而我認為就是以上這三點，分出了GPT 6 跟 Claude 的高下。
每週一封，只挑跟你工作有關的 AI 動態。免費訂閱電子報 →
蠢人 benchmark
以後應該要有人設計蠢人benchmark才對，找最不會下提示詞的初學者處理最混亂的工作，在這種情況下還能讓使用者覺得「天哪！你竟然知道這就是我要的」的模型，才是神之模型。目前Opus 5.5 已經有到這標準了（不降智的話）。
GPT 6 的實際體驗
拿 GPT 6 來說，下面是我自己的真實感受：
這28天不知道還能撐多久，感覺是沒招了。
真的很好奇到底是base model訓爛了，還是codex harness太糟。怎麼可以創造一個沒有品味、極度平庸、毫無主見、畏畏縮縮、鑽牛角尖、死認字面、吞噬用戶判斷、講話帶滿卸責的懦夫模型。重點是速度還比我地端模型要慢。
GPT 6 就是一個非常悶的模型：
- 把人搞瘋的防禦性寫作
- 過於注重局部正確性，忽略全局
- 完全不敢顯示自己的主見下判斷
- 甚至會吞噬使用者的判斷跟業務邏輯
這部影片完全講的就是我的感受：【GPT 6 Astra：一个平庸、沉闷、没有品味的模型-哔哩哔哩】
另一篇專門聊 GPT 6 為什麼讓人覺得笨：為什麼 GPT 6 Sol / Luna 用起來這麼蠢。
還有一件事：現在的訂閱制 Astra 跟剛發布的根本是兩個東西。X 上有人實測過 juice 值（思考預算），API 調用的 Astra 700 多，訂閱制的 20 多。所以我的建議是：退訂改 Claude⋯
有沒有接 API + 第三方 coding agent 的朋友們可以出來分享：外接的 Astra / Sol 表現如何？
我都只好叫 Opus 來收爛攤⋯