克雷西 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
用OpenClaw掛機(jī)，抓取網(wǎng)頁(yè)時(shí)頻頻翻車(chē)的煩人bug終于有解了。
一個(gè)名為Scrapling的數(shù)據(jù)采集神器，幾乎一夜之間就成了OpenClaw的“最強(qiáng)外掛”。
這玩意兒不僅能穿透各種防爬蟲(chóng)的網(wǎng)頁(yè)護(hù)盾，還能把網(wǎng)上雜亂的網(wǎng)頁(yè)源碼生扒下來(lái)，直接清洗成干凈的結(jié)構(gòu)化數(shù)據(jù)。
搖身一變成為龍蝦神器后，這個(gè)發(fā)布一年多的項(xiàng)目人氣直接大爆發(fā)，狂攬2.3萬(wàn)stars，一口氣沖上了GitHub單日趨勢(shì)榜第一名。
工具爆火之后，原作者也已經(jīng)明確放話(huà)，正在把Scrapling做成OpenClaw的Skill，期待值直接拉滿(mǎn)。
數(shù)據(jù)爬蟲(chóng)成了AI掛機(jī)神器
讓智能體上網(wǎng)抓數(shù)據(jù)，最煩的就是遇到那種動(dòng)不動(dòng)就跳出來(lái)讓你選圖片的真人驗(yàn)證，稍微不注意就會(huì)被關(guān)進(jìn)小黑屋。
Scrapling自帶的StealthyFetcher隱身獲取器專(zhuān)門(mén)就是來(lái)搞定這些惡心攔截的。
它能完美模擬最新版瀏覽器的指紋和操作行為，幫OpenClaw開(kāi)箱即用地繞過(guò)這些阻攔。
除了躲過(guò)攔截，還得應(yīng)付網(wǎng)站老板一拍腦袋就搞的改版換皮。
以前那些老舊的爬蟲(chóng)工具實(shí)在太死板了，它們通常死死扣住幾個(gè)固定的路徑，只要網(wǎng)頁(yè)排版稍微挪動(dòng)一丁點(diǎn)，原本好好的自動(dòng)化任務(wù)就會(huì)立刻罷工報(bào)錯(cuò)。
這種崩潰會(huì)直接導(dǎo)致AI任務(wù)流瞬間癱瘓，甚至本來(lái)看一下網(wǎng)頁(yè)就知道的信息，還得費(fèi)勁去研究怎么改代碼。
Scrapling最硬核的地方在于它擁有一套智能的自適應(yīng)算法。
即使網(wǎng)站為了防爬或者是為了換新視覺(jué)而徹底打亂了HTML結(jié)構(gòu)，它的解析器也能通過(guò)相似度比對(duì)自動(dòng)感知數(shù)據(jù)在哪，然后重新定位到正確的關(guān)鍵信息上。
有了這種不需要人工干預(yù)的智能追蹤能力，小龍蝦就能實(shí)現(xiàn)真正的24小時(shí)“穩(wěn)如老蝦”，再也不用擔(dān)心大半夜因?yàn)榫W(wǎng)站悄悄更新而讓掛機(jī)任務(wù)全線(xiàn)斷更了。
輕松上手，還能省錢(qián)
既然AI已經(jīng)能像回自己家拿東西一樣，順溜地繞過(guò)攔截并搞定網(wǎng)頁(yè)改版，那接下來(lái)的重點(diǎn)就是怎么更聰明地處理這些信息。
方法很簡(jiǎn)單，只要開(kāi)啟Scrapling內(nèi)置的MCP模式就可以了。
在數(shù)據(jù)喂給大模型之前，它會(huì)先精準(zhǔn)提取正文，把網(wǎng)頁(yè)里那些又長(zhǎng)又臭的廢話(huà)、亂七八糟的廣告和沒(méi)用的冗余代碼統(tǒng)統(tǒng)剔除掉。
因?yàn)槲菇oAI的內(nèi)容變精簡(jiǎn)了，API調(diào)用的Token費(fèi)用自然也就大幅降了下來(lái)，主打一個(gè)省錢(qián)又省心。
除了能幫咱們省錢(qián)，它對(duì)掛機(jī)環(huán)境的要求也極其親民。
這個(gè)框架內(nèi)存占用非常小，哪怕你手頭只有個(gè)吃灰多年的舊筆記本，或者是租個(gè)入門(mén)級(jí)服務(wù)器，它都能輕松跑起來(lái)。
而且它還專(zhuān)門(mén)設(shè)計(jì)了斷點(diǎn)記憶功能，這對(duì)于長(zhǎng)時(shí)間掛機(jī)任務(wù)來(lái)說(shuō)簡(jiǎn)直是救命稻草。
萬(wàn)一遇到偶爾斷網(wǎng)或者是突然斷電，爬取進(jìn)度也會(huì)被牢牢保存下來(lái)，等網(wǎng)絡(luò)或電源恢復(fù)了，它就能無(wú)縫接力繼續(xù)干活，完全不需要手動(dòng)去重啟任務(wù)。
而且這個(gè)插件不僅不挑機(jī)器，也不挑人，不必會(huì)用Python寫(xiě)代碼，它直接提供了一套開(kāi)箱即用的命令行工具。
只要照著教程在黑窗口里敲一行非常簡(jiǎn)單的短指令，就能立刻調(diào)用它的全部采集能力。
再加上作者本人表示正在把插件做成龍蝦的Skill，每個(gè)普通用戶(hù)都有希望能輕松給自己的OpenClaw武裝上一雙看透全網(wǎng)、精準(zhǔn)抓取數(shù)據(jù)的眼睛了。
