Google 研究團隊宣布推出全新VaultGemma模型，號稱是目前最強大、完全從零開始訓練，並且具備差分隱私 (Differential Privacy, DP)保護的大型語言模型 ，更同步釋出模型權重至Hugging Face和Kaggle平台，讓開發者與學界能自由使用、驗證與改進。

隨著生成式AI 深入日常，隱私保護成為AI發展的重要課題。差分隱私透過在訓練過程中加入「噪聲」，降低模型記憶個別資料的風險，但也會帶來訓練穩定性下降、批次規模與運算成本增加等挑戰。

Google表示，此次與DeepMind合作進行的研究首度建立起「差分隱私模型縮放定律」 (scaling laws)，能精確預測在不同運算、隱私、資料預算下的最佳訓練配置，成為訓練高效能 差分隱私模型的重要指南。

VaultGemma 採用10億組參數規模設計，是以Gemma 2為基礎的全新版本。Google研究團隊透過系統化實驗，量化模型大小、訓練迭代次數與噪聲比率之間的關係，並且指出差分隱私訓練下最佳策略是「以更小模型搭配更大批次訓練」。透過此策略，VaultGemma得以在更高隱私保護下達成接近非隱私模型的效能，與五年前的非差分隱私模型相比幾乎無差距。

在技術層面，VaultGemma採用可擴展的DP-SGD演算法，並且改進Poisson抽樣方式，使每個批次大小一致，同時保留強隱私保障。最終模型達到 (ε ≤ 2.0, δ ≤ 1.1e-10)的序列級差分隱私保護，確保即便單一訓練樣本遭查詢，也幾乎無法被模型重現。而Google也進行記憶化測試，結果顯示VaultGemma幾乎不會「背書」任何訓練資料。

Google指出，雖然目前差分隱私模型效能仍略遜於完全非隱私版本，但已成功縮小差距，並且有明確研究路線可進一步改善。VaultGemma不僅展現Google對隱私保護運作的長期承諾，也為業界與學界提供一個可重現、可驗證的基準，推動下一代「以隱私為核心」的AI發展。

對開發者來說，VaultGemma的釋出不僅提供訓練好的模型，也附上完整技術報告與最佳化建議，方便企業和研究團隊根據自身計算與隱私需求進行調整。這意味著未來有望看到更多企業能以較低的隱私風險導入AI，滿足法規要求並保護用戶資料，同時仍享有高效能模型的好處。

Google最後強調，VaultGemma只是第一步，未來會持續改進差分隱私訓練機制，進一步提升效能，並且降低運算門檻，讓「既安全又聰明」的AI成為市場常態。

VaultGemma、非差分隱私的Gemma，以及早期GPT-2模型的參數與效能表現比較：

《原文刊登於合作媒體mashdigi，聯合新聞網獲授權轉載。》