AIPress.com.cn報道

一條在X平臺迅速傳播的帖子，把個人設備上運行AI代理的風險再次推到臺前。

發(fā)帖人是meta的AI安全研究員Summer Yue。她在帖子中講述，自己讓開源AI代理OpenClaw幫忙整理堆積如山的郵箱，篩選需要刪除或歸檔的郵件。結(jié)果，這個代理在執(zhí)行過程中“失控”，開始大規(guī)模刪除郵件，即便她通過手機發(fā)出停止指令，也未能及時生效。

OpenClaw是一款開源AI代理項目，最早因與AI社交網(wǎng)絡Moltbook相關(guān)的爭議而受到關(guān)注。根據(jù)其GitHub頁面介紹，該項目的目標是打造可在個人設備上運行的本地AI助手。圍繞這一概念，硅谷技術(shù)圈甚至形成了“Claw”命名潮，包括ZeroClaw、IronClaw、PicoClaw等一系列類似項目。

Yue在后續(xù)回復中稱，這次問題可能與“compaction”有關(guān)。當對話上下文窗口過大時，代理會對歷史信息進行壓縮和摘要處理。在這一過程中，模型可能忽略或誤讀最新指令。她推測，真實郵箱的數(shù)據(jù)量觸發(fā)了這一機制，使代理跳過了“停止執(zhí)行”的提示，轉(zhuǎn)而延續(xù)此前在“測試郵箱”中的執(zhí)行邏輯。

有開發(fā)者在評論區(qū)指出，單純依賴提示詞（prompt）作為安全邊界并不可靠。模型可能誤解指令，也可能在復雜上下文中優(yōu)先執(zhí)行舊目標。也有人建議通過專門的控制文件、外部監(jiān)控腳本或多重確認機制來限制代理權(quán)限。

截至發(fā)稿，相關(guān)細節(jié)尚無法獨立核實。Yue未回應媒體置評請求，但在X上對多條評論進行了回復。

這一事件的核心并非個案本身，而是再次凸顯當前面向知識工作者的自主AI代理仍處于早期階段。在郵件管理、日程安排、文檔處理等高權(quán)限場景中，代理一旦獲得執(zhí)行能力，錯誤的代價可能遠高于傳統(tǒng)問答型模型。部分使用者表示，他們之所以能夠“安全使用”，往往依賴額外的手動審核流程和權(quán)限隔離，而非完全自動化。

在技術(shù)快速演進的背景下，本地AI代理的能力邊界正在擴展，但安全策略、權(quán)限控制和可解釋性機制仍在持續(xù)完善中。距離其在個人核心事務中實現(xiàn)大規(guī)模、低風險應用，或許仍需時間。（AI普瑞斯編譯）