Anthropic遭指控以其爬蟲機器人挖掘大量網站內容 更造成網站存取流量負載受影響

聯合新聞網 楊又肇

近期不少人工智慧技術業者被指責以不當方式,擷取大量網站內容、影片作為其人工智慧模型訓練使用,而人工智慧技術新創Anthropic更被指控以其ClaudeBot爬蟲機器人挖掘大量網站內容,甚至在短短4小時內就針對特定網站存取超過350萬次,就連iFixit網站內容也在一天時間內被取用超過100萬次。

位於澳洲提供自由工作者媒合工作需求的Freelancer,稍早由執行長Matt Barrie表示其公司網站在短短4小時內被ClaudeBot爬蟲機器人挖掘大量網站內容,而iFixit網站執行長Kyle Wiens更表明ClaudeBot爬蟲機器人不僅挖掘其網站內容,更導致伺服器系統受影響。

在此之前,不少網站經營者開始透過在網頁端robots.txt加入避免爬蟲機器人存取的限制描述,但不少人工智慧技術業者所設計爬蟲機器人則是直接繞過相關限制,藉此大量存取網站內容,使得許多網站運作流量負載受到影響。

而Anthropic在後續則強調尊重各網站在robots.txt所建立限制描述,並且強調會在日後透過調整爬蟲機器人抓取資料頻率,藉此降低影響不同網站的存取流量負載。

除了影響網站流量負載,甚至造成運營成本增加等負擔,版權內容被不當取用,成為人工智慧模型訓練基礎等情況,同樣也是目前許多網站抗議人工智慧技術業者的原因,例如先前OpenAI等業者被指責在未經授權情況下大量取用新聞集團、Vox Media、金融時報和Reddit網站內容,而後續則是透過簽署合作授權協議方式達成共識。

針對此次爬蟲機器人大量抓取其網站內容的情況,iFixit網站執行長Kyle Wiens表示願意與Anthropic洽談基於商業合作的授權協議,讓雙方需求可以達成共識。

《原文刊登於合作媒體mashdigi,聯合新聞網獲授權轉載。》

楊又肇

曾任聯合新聞網 (udn.com)數位頻道記者,目前為自由寫手與Mas...

Anthropic 人工智慧 機器人

推薦文章

留言