國科會
去年2月,國科會宣示將結合臺灣在地文化推出本地的LLM模型,並集結國內產學研資源推動可信任AI對話引擎(TAIDE)計畫,今天(5/3)國科會展示TAIDE計畫最新進展,除了4月中已釋出基於Llama 2的TAIDE商用化模型,計畫團隊更跟上最新技術發展,4月底剛釋出基於Llama 3的TAIDE測試版,未來將透過更多產學研合作開發應用,希望讓TAIDE能深入更多產業應用。
去年6月TAIDE計畫首次展現成果,以Meta開源的LLM模型Llama為基礎,蒐集大量的繁體中文資料,加上國網中心的超級電腦算力助攻,打造符合臺灣在地文化的對話引擎模型TAIDE,初期具備70億參數,可作摘要、翻譯、寫信、寫文章等功能,TAIDE計畫負責人陽明交大應數系教授李育杰並宣示,TAIDE模型接下來將朝更大參數規模及可商用化發展。
距離初次成果不到一年,今年4月中釋出基於Llama 2,可商用的TAIDE LX-7B,另外還有學研用版本、具有130億參數的TAIDE LX-13B,國科會強調目前TAIDE模型在摘要、寫信、寫文章、英翻中、中翻英等都具不錯的表現,並且具備多輪對話、阻絕不恰當回應的能力。
國科會主委吳政忠指出,過去一年結合研究團隊、資料團隊,以及國網中心提供的算力,結合產學研打造出符合臺灣文化的本地生成式AI引擎,今年4月中釋出TAIDE LX-7B,並且通過產學研的努力,驗證開發各種TAIDE應用,展現模型的可用性及多樣性。TAIDE團隊經過一年的演練,Meta於4月中釋出Llama 3,團隊僅花費4天就快速更新版本,相當不容易。
政府可望於年底提出AI基本法
吳政忠表示,TAIDE計畫一開始就希望結合產業、學術研究,如同造車一樣,TAIDE如同車輛的基本引擎,各行各業可以使用這個引擎設計開發自己車款。自生成式AI出現後,不只是科技產業應用,也會在各產業百工百業應用。生成式AI所帶來的影響,政府雖已針對公務使用提出指引,但只有這樣還是不夠,除了生產作業效率的提昇,還需顧及倫理及安全,今年底可望制定AI基本法。
TAIDE計畫負責人李育杰表示,TAIDE計畫推動之初即希望不只是研究,也要讓產業加入,並期望帶動臺灣產業AI化,去年適逢Meta釋出可商用化的Llama2,讓TAIDE得以打造可商用的版本。不只是企業,為了讓全民都能使用TAIDE,團隊將TAIDE 7B模型作壓縮處理,現在模型已可在手機、筆電、平板電腦、桌機上執行。
李育杰表示,今年4月15日團隊在Hugging Face釋出TAIDE LX-7B,隨後4月19日Meta釋出Llama 3,為了打造可信任的AI模型,得益於團隊過去一年練功打下的基礎,團隊僅花4天就完成Llama 3-TAIDE-LX-8B-Chat-Alpha 1測試版模型,並且已在4月29日在Hugging Face釋出。經過測試比較,這個基於Llama 3的TAIDE 8B模型,其效能表要比基於Llama 2,具有130億參數的TAIDE模型更好,甚至可比美採用Llama 2的TAIDE 70B模型。
過去一年多的開發 李育杰也分享TAIDE計畫開發的一些心得,過去一年多,由於開源LLM發展相當快速,他笑稱團隊真的是一直跟著趨勢跑,使用的開源LLM,從一開始採用的BLOOM,隨後使用Llama 1、Llama 2,中間出現Mistral,團隊也有採用Mistral,後來Llama 3出現。
大型語言模型需要大量的運算資源,在算力方面,團隊雖有國網中心72片H100 GPU算力支援打造TAIDE,但AI模型需要仰賴大量算力,李育杰指出,國外的新創團隊甚至有1,500片H100,而Llama 3團隊則使用24,000片的H100,顯示在國際算力的競爭,臺灣的TAIDE國家隊可獲得的資源相當有限,需要更聰明的方式推動本地LLM發展。
未來,TAIDE將持續增加模型的多樣化,並且蒐集各領域的正體中文資料,持續加強模型的繁體中文表達能力,使其更具有臺灣特色。其次是,追蹤新的生成式AI發展,將最新的技術融入到模型的訓練中。
帶動TAIDE對話引擎的應用多樣性
在開發TAIDE模型的同時,過去一年多,與產學研合作開發相關的應用,今天也在現場展示產學研的TAIDE應用開發成果。
例如陽明交大展示了以ChatGPT和TAIDE開發的台客語對話平臺(下圖),能以語音的方式對著電腦說話,電腦即可以華台客英語,以聽說讀寫翻譯或是回覆對話。另外,陽明交大也展示以TAIDE對話引擎開發的多語言翻譯功能,可翻譯英、日、印尼、越南語。
高雄大學則是展示Kuwa GenAI OS(下圖),為本土開發的開源碼生成式AI應用平臺,搭載TAIDE模型,強調可讓個人或企業在地端執行TAIDE生成式AI應用服務。
中興大學則是以農業知識庫開發神農TAIDE,使用者可以發問,例如稻伏發生的原因,系統會從知識庫中快速過濾、摘要,提出發生稻伏的可能原因。另外,臺南大學則是將TAIDE應用在台英語的對話機器人,讓中小學生可透過機器人學習台語。
另外,工研院電光所也運用TAIDE,結合Advanced RAG技術,針對鋼鐵的產業知識提供智慧化的問答檢索,例如詢問高爐或電弧爐相關的產業知識:
資服業者也開始運用TAIDE,例如叡揚展示企業知識庫,透過語句查詢,快速檢索、摘要可能的資訊,另外,也針對公務人員使用的公文系統,透過生成式AI輔助公務人員生成公文(下圖)。
熱門新聞
2024-12-03
2024-11-20
2024-11-29