針對近期有不少人工智慧 技術業者利用爬蟲機器人 抓取各個網站內容,藉此用於訓練其大型自然語言模型,Cloudflare 稍早宣布推出一項簡單操作且免費的工具,讓網站經營者能快速杜絕內容被爬蟲機器人抓取,甚至影響網站整體存取效能的問題。
Cloudflare表示,此工具同時也會向免費方案用戶提供,並且能隨著時間推移、學習不同爬蟲機器人抓取資料模式進行更新,讓網站經營者能更容易且安心地阻止爬蟲機器人抓取其內容,並且用於人工智慧技術訓練。
依照Cloudflare統計資訊,由於不少抓取資料的爬蟲機器人可繞過傳統網頁存取條件設定,使得許多網站經營者必須採取更嚴格過濾方式阻擋爬蟲機器人,結果導致影響更多正常網頁造訪操作,連帶影響其整體流量表現,甚至造成在網路搜尋引擎 排名結果。
而在統計資訊中,字節跳動旗下爬蟲機器人Bytespider存取使用Cloudflare服務網站的佔比達40%,而OpenAI 旗下爬蟲機器人GPTBot則佔30%,其餘存取佔比較明顯的爬蟲機器人還包含亞馬遜旗下Amazonbot,以及Claude AI旗下ClaudeBot,約佔整體存取量的一半左右。
不過,即便提供相關工具阻止爬蟲機器人大量存取網站資料,Cloudflare表示仍有不少人工智慧技術業者透過規避方式繞過檢測,使其爬蟲機器人仍可大量存取網站資料。
例如,先前便傳出Perplexity AI繞過網站存取規則,在未經許可情況下存取網站內容,而若以嚴格過濾方式限制此類存取行為,可能會造成多數網站實際存取流量受影響,因此Cloudflare預期會透過更進一步的機器學習方式識別存取行為是否正常,或是進一步阻止爬蟲機器人惡意存取資料情況。
《原文刊登於合作媒體mashdigi,聯合新聞網獲授權轉載。》
訂閱《科技玩家》YouTube頻道!
💡 追新聞》》在Google News按下追蹤,科技玩家好文不漏接!
📢 爛主機「硬要升級Windows 11」!微軟急貼警告曝後果
📢 LINE免費貼圖8款!「鯊魚先生」自訂訊息爽用半年 這款「小孩愛吃」哏圖多
📢 喜傑獅「網站被駭」後真的抽免費雙人機票!網酸「會跳票嗎」官方回應了
📢 跳槽蘋果理由+1!庫克掛保證 蘋果Apple Intelligence「沒考慮收費」
📢 果粉超愛「關iPhone APP保持順暢省電」!專家搖頭:手機電池壽命更慘
📢 跳槽蘋果理由+1!庫克掛保證 蘋果Apple Intelligence「沒考慮收費」