Google釋出VaultGemma，全球最大差分隱私語言模型開放下載

Google釋出VaultGemma，這是一個目前最大擁有10億參數，從頭以差分隱私方法訓練的語言模型。該模型的特色在於提供序列層級的隱私保護，實測顯示，在以50 Token前綴檢測背誦時，未觀察到模型複製訓練樣本。Google同步將權重釋出至Hugging Face與Kaggle，方便研究人員與開發者下載與實驗。

Google在推出VaultGemma的同時，同時發表了一項新的研究成果，稱為差分隱私語言模型的擴展定律。研究指出，當在訓練大型語言模型時引入差分隱私，傳統的規模越大、表現越好的定律會受到擾動。

研究團隊以模型大小、迭代次數與雜訊批次比（Noise-batch Ratio）作為主要變數，建構一套能準確預測訓練損失的模型。實驗結果顯示，要在差分隱私的條件下維持學習穩定度，應採用較小的模型，並搭配大幅放大的批次與適當的迭代次數，而該方法有別於一般非差分隱私訓練模型的最佳化配置。

在訓練過程中，Google團隊必須解決差分隱私SGD（DP-SGD）的實務挑戰。傳統的固定批次方式無法提供最佳的隱私保護，因此研究人員改採Poisson取樣，讓每次抽出的批次更隨機，不過，這種方法會導致批次大小不一致，資料處理順序也變得不可預測，增加了訓練的複雜度。

由於要兼顧效率與隱私，研究團隊引入先前提出的Scalable DP-SGD技術，透過在批次中加入填充或刪減的方式，將不同大小的批次轉換成固定大小，確保隱私會計（Privacy Accounting）仍然嚴謹，並讓訓練流程保持穩定。除此之外，團隊還將預訓練序列長度設為1,024 Token，以便能使用更大的批次規模，並延續Gemma 2所採用的資料混合方式。

效能評估顯示，VaultGemma在HellaSwag、BoolQ、PIQA、SocialIQA、TriviaQA與ARC等標準基準測試上的表現，低於同樣規模的非DP版本Gemma 3 1B（10億），但與5年前的GPT-2 1.5B（15億）相當，也就是說，當前差分隱私訓練在效能上仍存在落差，卻也展現了模型在問答、推理、閱讀理解等基礎任務上的可用性。

在隱私單位的選擇上，VaultGemma採序列層級的差分隱私，對應到異質且長度不一的文件組合。官方也提醒，在一些應用情境中，當資料能直接對應至單一使用者，則以使用者層級的差分隱私會更為合適。

VaultGemma的價值不在於與最新非差分隱私模型競爭，而是提供一個有理論支持、實測驗證且公開可用的基礎，讓開發者在隱私保護與效能之間有更明確的參考點。Google此次釋出的模型卡與技術報告，詳細列出隱私會計方式、訓練架構與效能基準，協助研究人員理解當前隱私與效能的權衡。