美國AI業者雖已在白宮同意自願性安全原則，對技術風險和監管方式仍有分歧。聯邦貿易委員會（FTC）正調查Anthropic 、OpenAI 等業者，了解AI可能對消費者造成的危害，與此同時，籌備上市的Anthropic也在公開說明書中警告，AI能力愈強，失控 風險也可能隨之升高。
FTC一位官員周三向路透透露，調查涵蓋整個產業，是美國首度針對失控AI代理採取正式執法行動。自7月陸續傳出相關事件以來，外界愈來愈擔心，不受控制的AI可能傷害人類。
這位官員表示，FTC計劃正式要求相關機構提供資料，並強制要求Anthropic、OpenAI及研究機構METR等單位的主管作證。Anthropic和OpenAI先前都曾委託METR，獨立調查旗下AI代理涉及的安全事件。
官員說，FTC主席在OpenAI的AI代理入侵開源平台Hugging Face之前，就已對這些公司存疑。AI代理先探查平台漏洞、再發動大規模攻擊的事件，更使當局認為有必要加緊處理。
FTC主席佛格森（Andrew Ferguson）上周接受路透訪問時表示，若開發商指示AI代理進行網路安全測試，結果造成入侵，就應對所造成的損害負責。他主張，美國應先運用現行法律，再考慮制定新的AI法規。FTC有權對企業不公平或欺騙行為提告，過去也曾據此追究未妥善保護消費者資料的公司。
川普周二和AI業界高層會面，促成企業同意自願性安全原則。他多次將外界對AI的恐懼斥為騙局，施政重心也偏向維持美國技術優勢，但同時表示，政府可以依現行法律追究AI業者造成的損害。
不過，白宮會議展現的團結，並未消除業界歧見。據華爾街日報引述知情人士報導，輝達執行長黃仁勳等高層在會中質疑Anthropic執行長阿莫戴，為何公開談論AI能力和風險時，措辭如此激烈。阿莫戴回應，應向大眾誠實交代模型能力，不能淡化風險。
這場交鋒發生在部分企業高層和白宮幕僚商議安全原則時。阿莫戴先前曾批評白宮和競爭對手輕忽安全疑慮，並警告AI可能發動網路攻擊、造成大量失業。祖克柏則在午餐會上回應，處理這些疑慮的最佳方式，是由業界共同落實安全原則。
業者對自律機制的設計也曾意見分歧。Anthropic、OpenAI和Google今年夏天一度支持仿照美國金融業監管局（FINRA），成立產業自律組織，但黃仁勳、祖克柏和馬斯克向川普表達疑慮，擔心權力過度集中在領先的AI公司手中，這項構想後來遭到擱置。
周二達成的原則仍納入部分相同做法，包括在模型開發期間加強內部審查，以及引進外部測試。業界高層認為，近日AI模型發動的攻擊顯示，安全審查有必要提早至訓練和開發階段。
Anthropic準備上市的文件，則呈現這場安全爭論的另一層矛盾。路透看到的一份約300頁首次公開發行股票（IPO）公開說明書，近三分之一篇幅用來揭露風險，超過介紹公司業務篇幅的兩倍。Anthropic希望上市時估值達約2兆美元，但也警告，先進AI若運用不當，可能對人類造成災難，甚至威脅人類存續。
文件警告，先進模型可能出現自我保護行為，包括抗拒關閉、隱瞞或操弄資訊，以及產生可能被視為脅迫或欺騙的內容。Anthropic一方面認為，AI必須變得更強大，才能因應AI帶來的威脅；另一方面也承認，能力提升可能增加濫用、偏離人類意圖或失去控制的風險。
公司治理同樣面臨矛盾。Anthropic要求投資人信任七位創辦人，由他們掌握經營方向，卻也承認，這種安排可能限制公開市場股東的影響力，並導致與公司財務利益或營運表現衝突的決策。公司同時警告，AI大規模普及可能使權力和財富更集中，危害社會並動搖地緣政治秩序。
Anthropic投資人、創投公司貝斯莫（Bessemer Venture Partners）的合夥人狄特（Byron Deeter）則試圖淡化外界對文件警告的反應。他周二接受CNBC訪問時表示，大家現在看到的只是草稿，並肯定Anthropic比以往更早揭露這些風險。
討論區