OpenAI推GPTBot的網頁爬蟲技術 以更透明方式蒐集人工智慧訓練可用公開資料

聯合新聞網 楊又肇

為了解決從公開網頁環境擷取資料涉及隱私及著作權爭議,OpenAI宣布推出名為GPTBot的網頁爬蟲技術,將以更透明方式蒐集人工智慧訓練時所需資料。

OpenAI表示,GPTBot將以完整字串及代幣方式闡明其爬蟲機器人身分,同時其所抓取公開網頁資料僅用於改良未來人工智慧模型,並且剔除抓取需要付費使用內容。

不過,如果網頁經營維護者不希望被GPTBot擷取內容的話,例如網頁可能存放大量涉及個人隱私等內容,僅需在網頁架構中的robots.txt檔案加入「GPTBot」描述,或是自訂GPTBot可抓取內容,甚至OpenAI也提供直接透過限制IP存取範圍方式禁止GPTBot抓取網頁資料的方式,讓網頁經營維護者能避免內容被GPTBot抓取。

過去就有不少網頁透過設定,讓各家搜尋引擎無法透過爬蟲方式擷取網頁資料,而在人工智慧技術持續成長趨勢之下,越來越多人工智慧訓練仰賴大量公開資料進行學習,因此也加深許多網頁經營者擔心內容被用於人工智慧訓練,進而產生有價資料受影響,或是影響隱私安全等問題,因此要求人工智慧技術提供者必須以合理方式取用網頁資料。

《原文刊登於合作媒體mashdigi,聯合新聞網獲授權轉載。》

楊又肇

曾任聯合新聞網 (udn.com)數位頻道記者,目前為自由寫手與Mas...

OpenAI GPTBot ChatGPT 人工智慧 隱私 模型

推薦文章

留言