從一場AI頂級學術盛會窺見生成式IR如何崛起

輸入一句「我要一件適合5月邁阿密戶外婚禮的禮服且要是流行色、2天送達」，瀏覽器馬上跳出摘要小卡，不只列出邁阿密5月天氣的重點，還有適合該天氣的服裝材質和一件件達標的禮服產品縮圖與連結，一次滿足你的提問。

這是Google在今年5月I/O技術大會上揭露的生成式搜尋體驗，還預告不久後將落地普及。微軟則更進一步，將今年初已運用於瀏覽器的生成式搜尋，擴大到多項平臺服務中，用更直接的方式提供搜尋資訊給使用者。

生成式IR改變導流模式，也可加深消費旅程

這些科技巨頭押寶的生成式搜尋，背後關鍵技術就是生成式AI和資訊檢索（IR），也稱為生成式IR。它不只改變人們搜尋資訊的樣貌，還可能改變搜尋生態的導流模式。

因為，生成式搜尋直接提供摘要資訊和參考連結，更容易幫助使用者找到所需資料，對搜尋目標網站的導流效果也更好。也就是說，相關性高的網站更容易獲得曝光和流量，獲利也可提高。但同樣地，這種搜尋模式，也大幅降低使用者一一從搜尋結果中找答案的機會，等於減少某些網站的曝光度和點擊機會。

尤其，一些免費提供內容的網站，多半靠內嵌的廣告、置入性產品、聯盟行銷連結、免費增值服務、授權等元件來獲利，在生成式搜尋模式的影響下，這些網站若相關性不高，流量和獲利機會就會減少。

正因如此，生成式搜尋未來可期的是，更多元的商業模式將會出現，來因應導流衝擊。

不只瀏覽器搜尋，生成式IR還能支援使用者制定更好的決策。舉例來說，在購物、電商和零售領域，生成式IR不只能用來搜尋，還能比對並摘要相似的產品，提供消費者更細緻的產品選擇體驗，深化整體消費旅程。

生成式AI改變發展70年的舊範式

回過頭來，有能力引發搜尋變革的生成式IR，是從一系列的技術突破演變而來。早在1950年代，IR就已出現，當時二戰後，大量文件解禁，圖書管理員開始編寫電腦程式，來加速書籍和文獻搜尋工作。

這項技術在網際網路出現後，也套用了進來。不論是1990年代的AltaVista搜尋引擎，還是現在的Google搜尋，都根據使用者輸入的關鍵字，跳出十幾條藍色連結，使用者仍需要一一掃過、找出最佳答案。

但隨著自然語言處理（NLP）技術進展，生成式IR概念開始浮現：一種可直接將答案給使用者的搜尋模式。

2013年，詞嵌入（Word embedding）技術有了飛躍式進展，word2vec工具將文字處理問題簡化為向量運算問題，大幅提高多項NLP任務精準度。再來，預訓練語言模型開始出現，2018年的BERT再次拉高多種NLP任務表現，資訊檢索也不例外。後來，專家們發現，這種預訓練語言模型不只儲存語言知識，還儲備基礎知識。

於是，IR圈開始思考，能否將這種大型語言模型（LLM）用做單一知識庫，來完成資訊檢索工作。此後，便有了封閉型生成式IR和開放型生成式IR的領域研究，差別在於，封閉型系統不借助任何外部工具，只以LLM為單一知識來源，來回答使用者問題。開放型生成式問答系統則能外接多種工具，如網路搜尋器、計算機等，來生成答案給使用者。

由於封閉型系統難以大規模擴展、納入數千億文件，因此，開放型生成式IR成為研究主流，也是科技巨頭重點押寶的領域。至此，生成式AI成功走進發展70餘年的資訊檢索學科。

還有不少難題要精進

生成式IR以生成式模型為核心，模型面臨的問題，必然是生成式IR得解決的問題。比如，如何確保模型產出的答案，忠於模型參考的資料來源？如何提高模型的歸因（Attribute）能力，也就是模型產出的回答有憑有據，能與資料來源相匹配？

目前已有不少專家提出解方，像是定義模型忠實度、打造一系列基準測試來衡量模型歸因能力，甚至還有歸因工具，來協助模型講話有憑有據。

不過，還有專家發現，許多人想復刻ChatGPT這類高效能模型，卻用大量ChatGPT等生成式模型產出的對話資料，來訓練新模型。這導致了嚴重的模型崩塌（Model collapse）問題，亦即隨著時間推移，接收生成的錯誤資訊的新模型，將對現實產生錯誤認知，且這問題無法避免，也不可逆。最好的方法是，先人工分辨機器產生的內容，來確保訓練資料不使用大量AI生成資料。

然而，光靠人類分辨機器vs.人類產出的內容，仍有挑戰。坊間因此出現不少工具，如DetectGPT，來協助人類區分兩者內容。

生成式IR勢在必行，傳統IR仍重要

正如同本文破題場景，搜尋引擎龍頭積極擁抱生成式IR，這種生成式搜尋將成為必然，為什麼？

首先，生成式IR可解決IR界一直想改善的搜尋難度，也就是降低非金錢的搜尋成本（Delphic costs），比如搜尋的時間成本、認知成本和互動成本等。而且，用生成式IR產出的摘要資訊，可結合多個不同資料來源內容，提供更整合式的搜尋結果。

而且，關於模型歸因能力和忠實度等問題，目前也正大幅進展中，比如已有專家開發歸因工具、歸因基準測試等，來逐步確保模型不會一本正經亂說話。再來，生成式IR系統的狀態記憶能力也會越來越好，來記住使用者與系統過往的互動，也就是說，問答能夠延續下去，從單輪對話進步到多輪對話，提供更一致的搜尋體驗。

最後，傳統IR仍有其價值，因為，索引、詞彙和語義檢索等仍是IR不可或缺的模組。而且，傳統IR還有很多新議題能探討，比如排名，是否能根據檢索的詮釋資料（Metadata），來提供除相關性以外，另一種更多元的搜尋結果？這些都是傳統IR能持續探索的潛在應用領域。

生成式IR正是今年頂級學術盛會ACM SIGIR最熱門的話題之一。SIGIR年會是全球13個頂級AI會議之一，也是資訊檢索領域公認最重要的學術會議。開辦46年來，首次在臺舉辦，由臺大AI中心擔任主辦方。

今年大會收到1,700多篇不同形式的投稿，最終接受465篇，主題涵蓋各種IR相關領域，如搜尋、排序、評估、自然語言處理（NLP）、推薦系統、內容分析、FATE（公平透明倫理、可解釋性）等。而IR技術，正是電商、企業常用推薦技術背後的基礎。也因此，大會不只吸引學術研究專家，業界研究團隊也用第一線經驗，分享技術研發應用成果，包括科技巨頭、跨國企業，甚至是摩根大通集團都有數篇論文發表。

主辦方還在大會開幕式上揭露，搜尋推薦和機器學習這2個主題，是今年投稿論文的前兩名，分別占了近6成、5成，AI顯然成為IR技術發展的重要技術。特別的是，主辦方統計了熱門關鍵字，生成式AI也上榜，更是今年主題演講的重點。

這包括Google DeepMind 、微軟研究院的重量級科學家開場分享的生成式檢索、Copilot搜尋等AI新典範浪潮下的研究進展。其中，Google DeepMind傑出研究科學家Marc Najork詳解生成式IR的技術發展和趨勢，他鑽研IR、推薦和排名數十年，在Google研究院帶領過70人團隊、打造各種IR應用，現在專心研究生成式AI。因為，比起傳統IR提供參考答案連結給使用者判斷，他更喜歡用生成式語言模型分析資訊、摘要成有用答案，直接呈現給使用者。

Marc Najork從第一線研究者視角，剖析生成式AI對傳統IR的衝擊與潛在應用，雖然這些觀點無法代表Google產品發展方向，但卻是這位AI技術老將對IR技術的長年觀察，更揭露了生成式IR的過去，現在和未來可能的發展。

 相關報導