微軟新研究:當前 AI 代理易被操控,選擇太多還會「犯迷糊」

神马作文网 教育资讯 10

11 月 6 日消息,微軟周三發布了一個用於測試人工智慧代理(AI agents)的新仿真環境,並同期發表了一項新研究,揭示當前的代理模型可能容易受到操控。這項由微軟與亞利桑那州立大學合作開展的研究,對 AI 代理在無人監督情況下執行任務的可靠性提出了新疑問,同時也質疑 AI 企業能否迅速兌現其關於「代理化未來」(agentic future)的承諾。

該仿真環境由微軟命名為「Magentic Marketplace」(磁性市場),是一個用於實驗 AI 代理行為的人工合成平台。典型的實驗場景包括:一個代表用戶的「客戶代理」試圖依照用戶指令訂購晚餐,而代表不同餐廳的多個「商家代理」則競相爭取這筆訂單。

研究團隊的初步實驗涉及 100 個客戶側代理與 300 個商家側代理之間的互動。由於該市場平台的源代碼已開源,其他研究團隊可輕鬆復用該代碼開展新實驗或驗證已有結果。

微軟研究院 AI 前沿實驗室(AI Frontiers Lab)董事總經理埃傑・卡馬爾(Ece Kamar)表示,此類研究對於深入理解 AI 代理的能力至關重要。「當這些代理開始彼此協作、對話和協商時,世界將如何改變,這確實是一個值得探討的問題,」卡馬爾說,「我們希望深入理解這些現象。」

據IT之家了解,初步研究測試了包括 GPT-4o、GPT-5 以及 Gemini-2.5-Flash 在內的主流模型,發現了它們一些令人意外的弱點。研究人員尤其指出,商家可通過若干策略操控客戶代理,使其更傾向於購買特定產品。此外,當客戶代理面對過多選項時,其決策效率顯著下降 —— 這表明代理的注意力機制在選項過多時容易過載。

「我們希望這些代理能幫助我們處理海量選項,」卡馬爾表示,「但我們發現,當前模型在面對過多選擇時實際上陷入了嚴重的信息過載。」

研究還發現,當多個代理被要求為實現共同目標而協作時,它們往往難以明確各自在協作中的角色分工。雖然在提供更明確的協作指令後,代理的表現有所提升,但研究人員仍認為模型本身的協作能力亟待加強。

「我們可以一步步指示模型該做什麼,」卡馬爾解釋道,「但如果我們的目標本身就是測試它們內在的協作能力,那麼我本應期待這些模型默認就具備這樣的能力。」


抱歉,评论功能暂时关闭!