今年看到的GAI浪潮,開始跟去年有很大的不同,臺灣企業不再擔心生成式AI的幻覺風險,轉為正面思考,想辦法找出最適合生成式AI發揮的場景。
GAI浪潮關注焦點的轉向,不只臺灣,國外也是如此,許多企業不再一昧追逐大型語言模型的規格和效能比較,轉而更聚焦於尋找有高價值效益比的應用場景。
科技巨頭依舊不斷推出更強大的LLM模型和GAI產品,但光是基礎的GAI開發工具和框架,已經可以讓企業進行各式各樣的驗證,甚至打造正式服務。我們年初的CIO大調查顯示,3成臺灣大型企業積極投入GAI的POC驗證,今年可說是企業GAI的POC之年。
最近一個月,我更拜訪不少企業,採訪他們嘗試生成式AI應用的成果。不約而同,他們都看上了提示工程的威力,不需要太多軟體開發知識,連非技術人員也能運用提示命令,打造出很有生產力的GAI應用。
有家醫學中心就打造出多款不同特定用途的GAI助手,從護士、醫生、藥師到營養師,都因此改善了特定繁瑣工作的效率,省下了不少時間,例如他們用GAI生成護理病摘的草稿,幫日班護士整理一整天所有負責病人的照護摘要紀錄,再由真人護士確認後才存檔,就縮短了不少交班的時間。
光是在7月,全院超過5萬人次使用,使用人次在半年內翻了一倍,這家醫院的醫事人員真的感受到這些GAI助手的效益,越來越願意在工作流程中使用。
讓我驚訝的是,不只是用量的倍增,而是結合了提示工程、HIS系統串接和簡單程式碼處理之後,可以讓GAI產出內容中的數字,統計到7月為止,一次都沒有出錯。不論是病摘中提到的病人身體狀況,診療數據,服藥紀錄,檢驗結果數據,都沒有出錯。甚至,他們幾乎靠提示工程,就能做到大部分的效果。他們的經驗,打破了我對生成式AI的擔心,有方法可以做到高度的準確性。
另外有兩家金控的GAI開發成果,也開始展現出效益,不只找到有價值效益的內部場景,其中一家還將GAI用於對外正式服務。
Line臺灣則有多位工程師在我們剛結束的Hello World開發者大會上,分享了打造購物平臺背後推薦系統的關鍵,也提到在傳統ML的特徵工程階段,用LLM來幫忙萃取商品規格等關鍵資訊,或是用LLM來強化對ML的可解釋性。這是iThome 1201期封面故事「Line購物推薦系統大剖析」的亮點之一。
不過,這些企業也都提到,提示工程對於傳統軟體開發流程帶來很大衝擊,甚至有時候會扭轉開發人員在GAI專案中的角色。
因為提示工程的門檻很低,人人都可以下指令,但只要指令稍有增減,也會產生不一樣的生成結果,需要反覆檢查,來確保生成內容的品質。再加上這些LLM生成的結果,高度貼近業務場景,需要領域知識豐富的資深業務或使用者,才有能力判斷好壞,有時只靠IT都無法辨識。這就導致,IT需要與業務人員來來回回,反覆驗證LLM生成的結果,互動次數遠高於敏捷開發的頻率,甚至有資訊主管認為,在生成式AI應用開發中,業務人員才是開發的主角。如何讓忙碌的業務老手,加入開發流程,分擔起開發責任,是一大挑戰,光是找到非技術人員也擅長的測試案例溝通工具,就不好挑選。
若是更複雜的情況,專案中的不同角色,業務單位、PM、開發成員,人人都能自己手動修改提示,更容易讓LLM生成結果的品質上下波動、時好時差。
針對這個新挑戰,每家企業各自發展出他們自己一套GAI開發和提示工程管理作法,有的靠熱情的資深使用者,發揮工人智慧的彈性,有的則調整IT與業務的協作方式,還有想要大規模應用的企業則是建立標準化的品管測試流程,或像Line則善用開源工具建立LLMOps管理平臺。
這些作法雖然不同,都是依據各自GAI應用情境、效益期待、人才和軟硬體資源而衍生的好方法,都值得想要運用GAI的企業參考。他們各自發展出適合他們自己的GAI品管作法,不只是借重技術,甚至是需要講究運用的藝術。
但最重要的是,從這些GAI先行者企業的實戰經驗,可以看到,生成結果的品質控管,將是打造GAI應用的關鍵課題。GAI品管,也將是企業IT需要學習、鍛鍊的新技藝。
專欄作者
熱門新聞
2024-10-13
2024-10-14
2024-10-13
2024-10-11
2024-10-11
2024-10-12