當前，各大AI機器人根據用戶需求大量爬取網站數據，導致用戶直接訪問原始網站的意愿顯著降低。與此同時，網站反而因AI工具的頻繁抓取承受了巨大的流量消耗，原本的互利模式被徹底打破。
據Cloudflare和Business Insider的聯合調查，Cloudflare自2025年起開始系統性追蹤這一現象。該平臺通過統計大型科技公司爬蟲抓取網站的請求次數，以及這些平臺實際為網站輸送的訪問量，計算得出“抓取與回流比”指標。這一數據直觀反映了平臺從互聯網獲取價值與回饋價值的比例。例如，“100:1的比例”意味著平臺每抓取網站內容100次，僅為其帶來1次訪問。
在Cloudflare的統計中，Anthropic的表現尤為突出，其網站抓取量遠超為網站帶來的訪問量，成為“抓取與回流比”最差的公司之一。OpenAI的情況也類似，其指標同樣不理想，顯示這兩家平臺正從互聯網獲取大量價值，但回饋卻越來越少。
這一趨勢與Business Insider在2024年末的調查結果相互印證。當時的報道指出，Anthropic和OpenAI的爬蟲對部分網站的抓取頻率“高得驚人”，直接導致這些網站的流量激增，云計算成本大幅上升。一些網站甚至因無法承受成本壓力而被迫調整運營策略。
一位開發者透露，其客戶的云服務賬單在短短幾個月內因AI爬蟲的暴增而翻倍。這表明，AI公司不僅在減少對互聯網的內容回饋，還將更高的運營成本轉嫁給了網站所有者，進一步加劇了互聯網生態的不平衡。
