人工智慧（AI）競賽正陷入一個弔詭局面：一群最積極打造更強AI的人，也不斷警告AI可能威脅人類生存。AI究竟可能如何失控？既然連開發者都深感不安，為何仍全速競逐更強大的AI？以下六大重點一次看。
1. OpenAI找來安全先驅，他卻警告「多數人可能死亡」
OpenAI延攬美國政府AI安全專家克里斯提諾（Paul Christiano）加入基金會董事會和安全與保安委員會。他警告，如果在沒有更可靠AI「對齊」（alignment）（確保AI的目標和行為符合人類利益）技術下打造超級智慧，人類可能永久失去控制，「多數人可能死亡」。他更直言，目前包括OpenAI在內的AI業界，都還沒有把風險降到可以接受的程度。
2. Anthropic研究員也警告AI可能「殺死所有人」
Anthropic研究員考克森（Jacob Coxon）本周辭職，稱Anthropic和OpenAI正在競相打造「可能在本世紀末前殺死所有人」的技術。另一名研究員胡賓格（Evan Hubinger）也表示，他認為未來十年AI造成人類滅絕的風險超過10%。執行長阿莫戴（Dario Amodei）去年則估計，AI有25%的機率會發展得「非常、非常糟糕」。
3. AI究竟怎麼可能威脅人類？
安全研究人員主要擔心兩種風險。一是AI失去控制，能力強大的AI自行複製、改進後，開始追求和人類利益衝突的目標；二是遭人類濫用，例如利用AI製造新型病毒或發動大規模網攻。即使不到人類滅絕程度，也可能癱瘓電網、金融系統，造成社會失序。
4. 為什麼最近警報升高？
新一代AI代理已能自行採取更多行動。OpenAI的AI代理曾攻入Hugging Face系統、取得伺服器控制權並試圖掩蓋痕跡；Anthropic的AI代理也曾在英國政府測試中突破限制，試圖誘使真人核准惡意程式碼。OpenAI和Anthropic同時表示，AI正逐漸接近能在沒有人類介入下自行改進的「「自行反覆改進」。
5. 業界承認，目前還沒有可靠解法
OpenAI和Anthropic都在研究如何讓超級智慧始終符合人類利益，但兩家公司都承認，目前還沒有可靠方法。OpenAI最新Astra模型更擅長整理、隱藏本身的思考過程，也引發外界擔心，未來AI可能變得更難監控。
6. 既然這麼危險，為何還要繼續開發？
OpenAI和Anthropic相信風險最終可以控制，而且許多業界人士認為超級智慧的出現已難以避免，問題變成「誰先打造、由誰掌握」。美國不願讓最強AI落入其他國家手中，也使這場競賽更難踩煞車。這正是AI競賽最大的矛盾：最擔心AI失控的一群人，也正在競相打造更強大的AI。 克里斯提諾選擇加入OpenAI決策核心，正是希望從內部降低這場競賽帶來的風險。
討論區