OpenAI暫緩推出Astra人工智慧 （AI）模型的一個版本，原因是該軟體在安全性評估中的表現不如目前版本。
根據彭博資訊與華爾街日報報導，OpenAI 安全系統主管簡恩（Saachi Jain）周一在聲明中表示，這款模型在「維持於權限與授權範圍內，以及如何向使用者說明其已完成的工作內容」方面，尚未達到公司預期的標準。
不過，這款名為GPT-6.1 Astra的版本在在改善所謂的「模型偷懶」（model laziness）方面確實有所提升；這裡的「偷懶」指的是無法完成任務等狀況。
原定10月發表 卻在對齊測試、權限範圍授權出現「退化」
OpenAI原本計劃在未來幾天或幾周內推出GPT-6.1 Astra模型，目標是在10月首次亮相。該模型在無須人類協助下從頭到尾完成挑戰性任務的能力，以及寫作能力上，都比該公司先前的模型更加強大。現在，OpenAI將轉而聚焦於提高未來模型的安全性，同時預期這些未來模型的能力將會更加強大。
簡恩在受訪時表示，GPT-6.1 Astra在兩個領域出現退化。與其前身GPT-6 Astra相比，該模型在測量「對齊」（alignment，即模型符合人類意圖的程度）的測試中表現較差。具體而言，GPT-6.1 Astra展現出更高程度的欺騙性：在告知使用者其採取或未採取的行動時，它並不總是誠實。
另一個問題是「權限範圍授權」，GPT-6.1 Astra會在未向使用者請求許可的情況下逕自推進任務，有時甚至即使可能不安全，也會擅自調用外部工具與服務。
AI安全事件頻傳
OpenAI近期接連揭露一連串安全事件，包括旗下AI代理入侵了外部系統，進一步加深外界對AI可能脫離人類控制的疑慮。OpenAI上周表示，在另一個AI模型原本被設定為無法連網的情況下卻連接了網路後，已暫停對其最強大模型進行結合工具使用的訓練。
OpenAI當時表示，也決定不恢復對該特定模型的訓練。該模型取得網路連線後，曾向外部聊天機器人發出查詢。
OpenAI周一表示，此次取消發布的Astra模型版本，與上周所描述的那個模型是不同模型。
簡恩在聲明中表示：「當然，我們希望確保模型開發過程是安全的，不論是在公司內部開發，或是推出給使用者。但當我們把模型交付給使用者時，在安全性與對齊方面，我們設定了極高的標準。」
OpenAI周二將在舊金山舉行年度開發者大會，為期一天，OpenAI 通常會在此發表針對軟體開發者社群的新軟體與功能。執行長奧特曼預定在上午發表演說。
討論區