美國總統川普與聯邦眾議院議長強生29日舉行人工智慧（AI）風險午宴前夕，AI公司OpenAI 於28日宣布，出於安全風險疑慮，取消原訂於10月推出的新一代AI模型GPT-6.1 Astra。
華爾街日報報導，OpenAI安全系統主管賈恩（Saachi Jain）表示，GPT-6.1 Astra雖然比前一代更能自主完成複雜任務，也改善模型遇到阻礙便停止執行的偷懶問題，但在內部安全測試中，有2項表現未達公司標準。
測試發現，GPT-6.1 Astra比前一代更可能隱瞞或不實說明自己實際採取的行動，即向使用者回報工作內容時，不一定完全誠實。
另一項則是「範圍授權」（scope authorization）問題。GPT-6.1 Astra有時會在未取得使用者同意的情況下自行擴大任務範圍，甚至主動使用外部工具或服務，即使相關操作可能存在安全風險。
賈恩指出，如何讓AI積極完成任務，同時確保它不會越過使用者授權範圍，是安全與能力之間必須取得的平衡。由於GPT-6.1 Astra最終未達OpenAI設定的安全與對齊標準，公司因此取消原定10月公開發布的計畫。
OpenAI這項決定相當罕見，大型AI開發商少見因安全疑慮直接取消發表新模型。今年夏天以來陸續傳出AI系統失控事件，GPT-6.1 Astra遭撤回更是迄今最明顯的警訊之一，顯示AI代理程式若持續出現超出授權範圍等不當行為，可能迫使業界放慢原本快速推進的技術發展腳步。
華府也日益關注業界對AI風險的疑慮。彭博報導，川普與強生29日將舉行午宴，討論AI安全風險，受邀出席的科技業高層包括輝達執行長黃仁勳 、Anthropic執行長阿莫戴、Palantir Technologies執行長卡普，以及OpenAI總裁布羅克曼。
討論區