Anthropic遭指控以其爬蟲機器人挖掘大量網站內容 更造成網站存取流量負載受影響
近期不少人工智慧技術業者被指責以不當方式,擷取大量網站內容、影片作為其人工智慧模型訓練使用,而人工智慧技術新創Anthropic更被指控以其ClaudeBot爬蟲機器人挖掘大量網站內容,甚至在短短4小時內就針對特定網站存取超過350萬次,就連iFixit網站內容也在一天時間內被取用超過100萬次。

位於澳洲提供自由工作者媒合工作需求的Freelancer,稍早由執行長Matt Barrie表示其公司網站在短短4小時內被ClaudeBot爬蟲機器人挖掘大量網站內容,而iFixit網站執行長Kyle Wiens更表明ClaudeBot爬蟲機器人不僅挖掘其網站內容,更導致伺服器系統受影響。
在此之前,不少網站經營者開始透過在網頁端robots.txt加入避免爬蟲機器人存取的限制描述,但不少人工智慧技術業者所設計爬蟲機器人則是直接繞過相關限制,藉此大量存取網站內容,使得許多網站運作流量負載受到影響。
而Anthropic在後續則強調尊重各網站在robots.txt所建立限制描述,並且強調會在日後透過調整爬蟲機器人抓取資料頻率,藉此降低影響不同網站的存取流量負載。
除了影響網站流量負載,甚至造成運營成本增加等負擔,版權內容被不當取用,成為人工智慧模型訓練基礎等情況,同樣也是目前許多網站抗議人工智慧技術業者的原因,例如先前OpenAI等業者被指責在未經授權情況下大量取用新聞集團、Vox Media、金融時報和Reddit網站內容,而後續則是透過簽署合作授權協議方式達成共識。
針對此次爬蟲機器人大量抓取其網站內容的情況,iFixit網站執行長Kyle Wiens表示願意與Anthropic洽談基於商業合作的授權協議,讓雙方需求可以達成共識。
《原文刊登於合作媒體mashdigi,聯合新聞網獲授權轉載。》
訂閱《科技玩家》YouTube頻道!
💡 追新聞》》在Google News按下追蹤,科技玩家好文不漏接!
📢甩開悠遊卡?北捷10月開放多元支付閘門 1招真能用iPhone快速模式嗶進站
📢 手機壞掉不能換SIM卡?NCC疑新規定「90天2次」 他傻眼曝倒霉時間軸
📢 Switch 2完整拆解!Joy-Con 2控制器仍會遇上飄移問題
📢 TORRAS COOLiFY Cyber、COOLiFY 2S AI頸掛空調開箱!實測戶外超涼 還能解落枕
📢 他逛光華商場驚覺變無聊又被盤!過來人羞曝「朝聖攻略」:好吃又好玩
📢 iPhone 17改名iPhone 2025?他搖頭揭背後「藏大招」 賺錢金頭腦原理曝
留言