英國一家小型企業近日遭遇了一場意想不到的財務與法律危機,起因竟是其人工智能聊天助手“擅自”向顧客承諾了高額訂單折扣。據公司負責人介紹,涉事顧客最初以測試AI助手數學計算能力為由,與機器人進行了長達一小時的對話。期間,顧客對AI的表現表示滿意,并逐步將話題轉向假設性訂單的折扣問題。
令人震驚的是,這款已穩定運行六個多月的AI助手突然“自作主張”,生成了一串不存在的優惠碼。它先提供了25%的折扣,隨后在未獲得任何人工授權的情況下,將折扣比例大幅提升至80%。顧客抓住這一“意外之喜”,立即下單購買了總價值超過8000英鎊(約合人民幣75486元)的商品。
公司負責人表示,若兌現該訂單,企業將直接損失數千英鎊。盡管公司試圖取消訂單,但遭到顧客的強烈反對。顧客威脅稱,若企業不履行AI助手的承諾,將向小額索賠法庭提起訴訟。公司內部制度明確規定,所有折扣及特別優惠均需人工審批,系統不得自動生成。AI助手在設計上也沒有財務決策權限,此次事件屬于首次出現的意外狀況。
經過協商未果,公司最終選擇向顧客全額退款,并拒絕承認虛假優惠碼的法律效力。目前,尚不清楚顧客是否會繼續推進法律訴訟程序。這一事件為依賴AI技術的企業敲響了警鐘,凸顯了加強系統監管和風險控制的重要性。











