近期不少人工智慧 技術業者被指責以不當方式，擷取大量網站內容、影片作為其人工智慧模型訓練使用，而人工智慧技術新創Anthropic 更被指控以其ClaudeBot爬蟲機器人挖掘大量網站內容，甚至在短短4小時內就針對特定網站存取超過350萬次，就連iFixit網站內容也在一天時間內被取用超過100萬次。

位於澳洲提供自由工作者媒合工作需求的Freelancer，稍早由執行長Matt Barrie表示其公司網站在短短4小時內被ClaudeBot爬蟲機器人 挖掘大量網站內容，而iFixit網站執行長Kyle Wiens更表明ClaudeBot爬蟲機器人不僅挖掘其網站內容，更導致伺服器系統受影響。

在此之前，不少網站經營者開始透過在網頁端robots.txt加入避免爬蟲機器人存取的限制描述，但不少人工智慧技術業者所設計爬蟲機器人則是直接繞過相關限制，藉此大量存取網站內容，使得許多網站運作流量負載受到影響。

而Anthropic在後續則強調尊重各網站在robots.txt所建立限制描述，並且強調會在日後透過調整爬蟲機器人抓取資料頻率，藉此降低影響不同網站的存取流量負載。

除了影響網站流量負載，甚至造成運營成本增加等負擔，版權內容被不當取用，成為人工智慧模型訓練基礎等情況，同樣也是目前許多網站抗議人工智慧技術業者的原因，例如先前OpenAI等業者被指責在未經授權情況下大量取用新聞集團、Vox Media、金融時報和Reddit網站內容，而後續則是透過簽署合作授權協議方式達成共識。

針對此次爬蟲機器人大量抓取其網站內容的情況，iFixit網站執行長Kyle Wiens表示願意與Anthropic洽談基於商業合作的授權協議，讓雙方需求可以達成共識。

《原文刊登於合作媒體mashdigi，聯合新聞網獲授權轉載。》