包含微軟 、Google 、Meta、OpenAI 、亞馬遜、Anthropic在內業者去年合組「前沿模型論壇」，藉此推動更安全、負責的人工智慧 發展之後，稍早更由Google與亞馬遜、Anthropic、Cisco、IBM、Intel、微軟、NVIDIA、OpenAI、PayPal、Wiz、Chainguard、GenLab、Cohere在內業者合組人工智慧安全聯盟「CoSAI」，藉此改善人工智慧潛在風險問題。

「CoSAI」建立在Google去年提出的人工智慧安全框架「SAIF」的基礎之上，並且以開源、標準化框架與工具協助開發者建立更安全的人工智慧，同時避免人工智慧模型被盜用、濫用，甚至包含以惡意資料影響模型訓練準確性，或是以惡意指令輸入 (Prompt injection)影響模型輸出結果。

在初期運作中，「CoSAI」將制訂人工智慧系統軟體供應鏈的安全規範，並且從基礎上確保人工智慧系統是以安全可靠的軟體、資料建立，並且能更快及早發現問題，另外也設置保障措施識別、應對隨時出現的人工智慧安全威脅。

同時，「CoSAI」也將透過規範定義如何開發一款人工智慧系統，並且確保其可被安全使用，另外也計畫透過評估系統讓開發者能判斷人工智慧系統是否足夠安全。而「CoSAI」也將透過專案管理委員會協助推進、管理專案發展，另外也將由學界與業者人工智慧專家合組技術指導委員會協助監督。

《原文刊登於合作媒體mashdigi，聯合新聞網獲授權轉載。》