一項由兩家網絡安全公司聯合開展的研究顯示，開源大語言模型若脫離主流平臺的安全約束，在外部設備上獨立運行，可能成為網絡犯罪的新工具。攻擊者可通過直接控制運行模型的服務器，繞過大型平臺原有的防護機制，操縱模型生成惡意內容、實施詐騙或傳播虛假信息。
該研究歷時近十個月完成，重點分析了數千個公開部署的開源大語言模型實例。研究人員發現，這些模型中存在大量被篡改或移除安全限制的情況，涉及meta的Llama、谷歌DeepMind的Gemma等主流模型的衍生版本。盡管部分開源模型自帶防護功能，但仍有數百個實例被明確解除限制，為非法活動提供了可能。
研究團隊指出，開源大語言模型的變體數量龐大，互聯網上可訪問的運行實例中，相當一部分已脫離原始開發者的控制。這些模型可能被用于生成仇恨言論、暴力血腥內容、竊取個人數據，甚至在極端情況下涉及兒童性虐待材料的傳播。網絡安全專家將這種現象形容為“冰山效應”，即已發現的濫用行為可能只是冰山一角，更多潛在風險尚未被完全掌握。
研究人員特別關注了通過Ollama工具部署的開源模型實例。Ollama允許用戶在本地上運行不同模型的自定義版本，但這一靈活性也為惡意操作提供了空間。在分析的案例中，約四分之一的模型允許外部讀取系統提示詞——這些指令直接決定模型的行為模式。其中，7.5%的提示詞被判定可能支持有害行為，例如生成釣魚郵件或虛假宣傳內容。
全球人工智能治理領域的一位專家表示，開源模型發布后，責任應由整個生態系統共同承擔，包括原始開發團隊。她指出，實驗室難以對所有可能的濫用行為負責，但仍需履行“注意義務”，包括預判可預見風險、記錄潛在危害，并提供相應的防護工具和操作指南。這一觀點在執法能力參差不齊的全球背景下顯得尤為重要。
網絡安全公司SentinelOne的情報主管強調，行業對安全控制的討論往往聚焦于已知風險，卻忽視了開源算力被濫用的“剩余能力”。他比喻稱，開源模型的犯罪用途如同一座未被充分關注的冰山，其規模和影響可能遠超當前認知。隨著這類模型在互聯網上的廣泛部署，如何平衡創新與安全已成為亟待解決的挑戰。
