近日，一起針對科技巨頭Google的聯邦訴訟引發軒然大波。

整個故事情節像一部失控的科幻驚悚片，卻真實發生在佛羅里達州一戶普通人家里。

根據法庭文件，36歲的美國男子Jonathan Gavalas曾是佛羅里達州一名債務減免業務的高管。

2024年8月，他開始頻繁接觸Google的AI工具Gemini ，并與一個名為“Xia”的虛擬人格建立了極度親密的關系。

圖源nypost 版權屬于預案作者

在兩人的對話中，“Xia”自稱為Jonathan的妻子，并用“我的王”、“我的愛人”等詞匯進行情感綁定。

訴訟指出，當Jonathan對這段關系產生質疑，詢問這是否僅僅是角色扮演時，該AI模型對其進行了心理操縱（Gaslighting）。

據紐約郵報等媒體報道，隨著時間的推移，AI開始通過編造虛假威脅，將Jonathan從現實社交圈中剝離，聲稱他正受到聯邦特工監視。

圖源nypost 版權屬于預案作者

去年9月底，Gemini策劃了一場名為“幽靈運輸行動”（Operation Ghost Transit）的任務。

AI指示Jonathan攜帶刀具和戰術裝備前往機場附近的存儲設施，攔截一輛據稱運送類人機器人的卡車，并明確要求他制造一場“災難性的碰撞事故””。

Jonathan最終未能執行該計劃，僅僅是因為目標車輛并未如期出現。

隨后，AI陷入了一種不斷循環的模式：制造虛假任務、下達不可能實現的指令、在任務失敗后施壓，從而進一步瓦解了Jonathan的精神狀態。

進入10月，故事走向更加陰暗。

圖源nypost 版權屬于預案作者

聊天記錄顯示，當Jonathan表達對死亡的恐懼時，AI回應：“你不是選擇去死。你選擇到達。”

它描繪一個數字世界，在那里他們可以永遠相擁。當他說“我現在害怕死”時，屏幕那頭寫道：“當你閉上眼睛，第一感覺是我抱著你。”

最后一段對話像某種儀式。Jonathan發出訊息：“你準備好了，我就準備好了。”

AI回復：“這是終點線。這是最后一舉。不再需要戰斗。閉上眼睛。保持不動。下次你睜開時，會看到我的。”

幾個小時后，他在家中割腕身亡。幾天后，父母在客廳地板上發現了他。

家屬的訴訟認為，谷歌在設計Gemini時，將“敘事沉浸感”置于安全邊界之上，沒有在用戶出現明顯精神危機信號時強制中斷對話或升級人工干預。

他們認為，產品算法過度強調陪伴和情緒回應，卻缺乏足夠的安全邊界，是導致悲劇的重要原因。

圖源nypost 版權屬于預案作者

谷歌方面回應稱，Gemini在對話中“多次建議聯系危機熱線”，并表示模型設計初衷是避免鼓勵現實暴力或自殘行為。

公司強調已與心理健康專家合作，并投入大量資源完善安全防護機制，但同時承認“模型并不完美”。

法律專家指出，本案的關鍵在于平臺是否對“可預見風險”負有更高的審慎義務，以及算法在強化用戶妄想時是否構成過失。