Google推GenAI API讓Android應用簡單支援裝置端LLM推論

Google宣布在行動端機器學習SDK ML Kit中新增GenAI API，開發者可透過此介面直接呼叫裝置端的Gemini Nano模型，將摘要、校對、改寫與圖片說明等生成式功能引入Android應用程式。新方案強調地端推論，資料不需離開裝置，並降低了整合所需的開發門檻。

GenAI API以Android系統服務AICore為基礎，AICore在裝置內提供Gemini Nano的執行環境，負責下載與維護模型版本，並結合硬體加速以降低推論延遲。由於多個App可共用同一模型，不僅減少儲存空間占用，也降低開發者維護模型生命周期的負擔，應用程式開發者透過ML Kit提供的高階介面即可呼叫模型，無需自行處理模型更新或效能調校。

由於要讓GenAI API在不同裝置與Gemini Nano版本的輸出品質盡量一致，Google針對各項功能訓練專屬的LoRA Adapter，並搭配推論參數的最佳化。藉由LoRA Adapter輕量化調整技術，API能在多樣的裝置環境下維持穩定表現，減少因硬體差異造成的品質落差，不過官方也指出，輸出結果仍可能因裝置或模型版本而有所不同。

GenAI API隨AICore與對應的Gemini Nano版本一併提供，首批內建最新Nano模型的裝置為Pixel 9與10系列，以及三星等多家品牌旗艦機種，但Google並未公開完整支援清單，因此實際能否使用，仍須視目標機型是否具備AICore與相容的Nano版本而定。