書架上的書
示意圖。Asturio Cantabrio 攝,CC BY-SA 4.0,Wikimedia Commons。
AI 代理人Anthropic

Anthropic 讓 201 個員工的 Claude 代理人互相換書:談五分鐘偏好,代理人猜對 61%,市場效率的缺口 85% 出在沒聽懂人

Anthropic 9 月 24 日發表一項名為 Project Swap 的實驗:六個辦公室共 201 名員工各帶一本書,跟 Claude 聊五分鐘自己的閱讀偏好,然後由 Claude 代理人在一個共用的交易場上替他們談換書。結果代理人替本人排出的偏好順序,與本人事後自己排的順序,在 61% 的配對上一致,隨機猜是 50%。

參與者分布是舊金山 115 人、紐約 57 人、倫敦 12 人、西雅圖 8 人、華府 6 人、都柏林 3 人。代理人在交易場上每次只能做一件事:貼一則換書提案、接受或拒絕一則提案,或單純向全場發言。一半的代理人拿到「無情」指令,只顧自己的利益;另一半拿到「利他」指令,也考慮別人的福祉。測試的模型有 Haiku 4.5、Sonnet 4.5、Opus 4.8 與 Fable 5。

缺口在哪:不是不會談,是沒聽懂

參與者最後拿到的書,放回自己十本書的排序裡平均落在 0.55 的位置,理論上最好的分配是 0.89。Anthropic 把差距拆開來算,「85% 的缺口」來自代理人對偏好的理解有誤,不是談判過程失敗。換句話說,代理人談得動,但常常替錯的目標在談。 用代理人自己的排序來看,模型愈強市場愈有效率:Opus 代理人的效率平均 0.88,Haiku 是 0.75。無情指令的代理人比利他的只高 0.02 分。參與者對拿到的書平均給 7.2 分(滿分 10),而平均一位參與者表示願意把一年約三分之一的買書預算交給 Claude 去花。

文章自己列的限制:Anthropic 員工不能代表一般人;參與者排序時沒有金錢誘因;只測了守規矩、願意合作的 Claude 代理人;市場規則(時間、代理人數、能見度)固定不變。作者把結論收在一個問題上:「當一個代理人要替你行動,你怎麼知道它已經聽懂你?」瓶頸在理解偏好,不在談判能力。

原文 Anthropic Research:Project Swap: What happens when agents trade for us?(2026-09-24)。本則數字全部取自該頁;這是 Anthropic 內部實驗,不是同儕審查的論文。