Google Cloud
大語言模型最大問題之一是幻覺,而解決AI幻覺的方法之一是grounding。Google上周宣布Cloud AI平臺Vertex AI新增包括以Google搜尋、第三方資料、混合搜尋的grounding功能,以減少AI幻覺。
Google Cloud Vertex AI 4月發表Agent Builder時,包含擷取增強生成(retrieval augmented generation,RAG)可以Google搜尋為Gemini輸出結果grounding的能力,現在又再新增數項grounding功能供用戶選擇,包括以Google搜尋grounding的能力新增動態擷取(dynamic retrieval)、以高傳真模式grounding、以第三方資料集grounding,以及擴大向量搜尋(vector search),實現關鍵字和向量混合搜尋功能。
首先,以Google搜尋為Gemini模型grounding時,Gemini會進行Google搜尋,利用相關搜尋結果,如事實來生成輸出,藉此達成grounding。Grounding是指提供LLM真實世界的例子或相關資料,使之與模型的抽象知識整合,達到貼近真實、減少幻覺的目的,進而提升LLM產出結果的品質。
Google說,以這方法減少幻覺最大優點是簡單,但問題是使用Google搜尋grounding會增加運算成本,再者Gemini訓練夠紮實,不需每次查詢都grounding。因此,第二項方法中,Google將為Vertex AI加入動態擷取,讓Gemini動態選擇是否要動用Google搜尋,也可只使用模型既有知識,藉此平衡成本效益和回應品質。這功能很快會上線。
RAG-based代理程式生成結果是整合模型內在知識和企業資料提供的情境(context),這在大多數應用場景是可行的,但有嚴格法規的產業,如金融服務業、健康和保險業卻要求模型根據給定的情境來生成回應。為此,在第三項功能中,Google Cloud已開始實驗Grounded Generation API的高傳真模式(high-fidelity mode)grounding。這功能使用經微調的Gemini 1.5 Flash模型,支援重要企業應用場景,像是為多篇文件摘錄重點或對一組財務資料擷取資料。減少資料幻覺,啟用高傳真模式時,答案中的句子都會附有來源,提供資料可信度,此外也會提供grounding的信心分數。
第三,從下一季開始,Vertex AI將提供以專門領域第三方資料grounding的功能。這可讓企業為生成式AI代理程式整合外部資料,以推升生成結果的真實性。Google Cloud正在和權威的資料供應商,像是評級公司穆迪(Moody's)、MSCI(摩根士丹利資本編製的股價指數)、企業資料來源Zoominfo、Thomson Reuters等合作,將其資料整合到本項服務中。
最後,針對具有內嵌(embedding)的應用場景,像是推薦系統、廣告發送與RAG語義搜尋等,Vertex AI擴充向量搜尋(vector search)以支援混合搜尋(hybrid search)。內嵌是指將詞語句子、圖片等複雜資料轉化為固定維度的數值向量的技術,以捕捉語義關係並用於自然語言處理任務。
透過支援混合搜尋,Vertex AI可結合向量搜尋及關鍵字搜尋技巧,以提供相關及精準回應。現在該功能已進入公測。此外,Google也補充,Vertex AI最新的文字內嵌模型(text-embedding-004及text-multilingual-embedding-002)生成品質更超過前幾版。
熱門新聞
2024-11-12
2024-11-10
2024-11-10
2024-11-11
2024-11-13
2024-11-11