谷歌正在為其AI助手Gemini開發一項名為“屏幕自動化”的新功能,該功能將允許Gemini直接在安卓設備上執行復雜操作,如在線下單、預約服務或處理日常事務。這一技術首次出現在谷歌應用17.4測試版中,內部代號為“倭黑猩猩(bonobo)”,目前仍處于早期測試階段。
據技術媒體9to5google披露,該功能基于Android 16 QPR3版本的系統架構,通過分析屏幕內容與用戶指令,自動在特定應用中完成操作流程。例如,用戶只需語音下達“購買咖啡”的指令,Gemini即可自動打開外賣應用、選擇商品并跳轉至支付頁面。這一特性被視為谷歌在智能設備交互領域的重要突破,可能重新定義移動端AI助手的應用場景。
盡管技術潛力巨大,谷歌在測試說明中明確強調了用戶監督的必要性。系統可能因界面識別錯誤或操作邏輯偏差導致失誤,因此要求用戶全程保持關注,并保留隨時手動接管任務的權限。這種設計既體現了技術謹慎性,也反映出當前AI在復雜場景中的局限性。
隱私保護機制成為該功能的另一關注焦點。當Gemini執行屏幕操作時,用戶可選擇開啟活動記錄功能,系統將保存操作過程的屏幕截圖。但谷歌特別說明,這些數據會經過專業團隊審核,用于優化服務算法。為降低風險,官方建議用戶避免在交互過程中輸入密碼、支付信息等敏感內容。
測試版中還包含一項名為“芥末(wasabi)”的社交功能,該功能允許用戶在谷歌Meet視頻通話中啟用3D虛擬形象。這些數字化身可實時映射用戶表情與動作,為遠程溝通增添趣味性。目前該功能僅支持基礎形象定制,未來可能擴展至更復雜的場景應用。
隨著移動設備智能化程度的提升,AI助手從單一語音交互向全場景自動化演進的趨勢愈發明顯。谷歌此次技術更新不僅展示了其在系統級AI整合方面的能力,也引發了關于技術倫理與用戶隱私邊界的持續討論。測試階段的真實表現,將成為決定這項功能能否正式推向市場的關鍵因素。











