OpenAI推GPTBot的網頁爬蟲技術 以更透明方式蒐集人工智慧訓練可用公開資料

為了解決從公開網頁環境擷取資料涉及隱私及著作權爭議，OpenAI宣布推出名為GPTBot的網頁爬蟲技術，將以更透明方式蒐集人工智慧訓練時所需資料。

OpenAI表示，GPTBot將以完整字串及代幣方式闡明其爬蟲機器人身分，同時其所抓取公開網頁資料僅用於改良未來人工智慧模型，並且剔除抓取需要付費使用內容。

不過，如果網頁經營維護者不希望被GPTBot擷取內容的話，例如網頁可能存放大量涉及個人隱私等內容，僅需在網頁架構中的robots.txt檔案加入「GPTBot」描述，或是自訂GPTBot可抓取內容，甚至OpenAI也提供直接透過限制IP存取範圍方式禁止GPTBot抓取網頁資料的方式，讓網頁經營維護者能避免內容被GPTBot抓取。

過去就有不少網頁透過設定，讓各家搜尋引擎無法透過爬蟲方式擷取網頁資料，而在人工智慧技術持續成長趨勢之下，越來越多人工智慧訓練仰賴大量公開資料進行學習，因此也加深許多網頁經營者擔心內容被用於人工智慧訓練，進而產生有價資料受影響，或是影響隱私安全等問題，因此要求人工智慧技術提供者必須以合理方式取用網頁資料。

《原文刊登於合作媒體mashdigi，聯合新聞網獲授權轉載。》