聯發科推生成式AI服務平臺和450億參數繁中大語言模型BreeXe，繁中表現贏過GPT-3.5

聯發科技今（4月9日）正式推出生成式AI服務平臺MediaTek DaVinci和繁中大型語言模型MediaTek Research BreeXe，其中，DaVinci平臺除了有API庫、擴充外掛庫、AI模型庫等之外，今年還新添智慧助理架構和4大商店，供使用者打造客製化的智能助理。而BreeXe以Mistral 8x7B模型為基礎，以大量繁中資料訓練而成，具450億個參數，在繁中基準測試（TMMLU+、MT Bench TW）的表現超越GPT-3.5。

生成式AI服務平臺正式上架，能客製專屬助理還有4大商店可選擇

進一步來說，MediaTek DaVinci（簡稱聯發科技達哥）是以聯發科技自家生成式AI服務框架為基礎開發而成，聯發科技副處長楊建州解釋，他們在思考達哥的設計時，考量了一個大問題：「如何增加同仁的生產力。」他表示，聯發科技的主要產品是手機，因此思考如何增加生產力時，就從手機產品線找答案。他們認為，要提高企業生產力，得要有完整的開放式平臺，就像是手機的作業系統一樣，再來是安全性、簡單易用，此外還得具備能上架共享應用（App）的商店，且App要能容易開發、兼容開放標準。

因此，他們打造出達哥1.0，內含可跟OA環境、軟體開發環境、IC設計環境互動的API庫，以及提示優化引擎、擴充外掛庫、模型庫和分析引擎等重要元件。其中，外掛庫可用來擴充生成式AI模型知識、減少AI幻覺，模型庫則包含常見的大型語言模型（LLM），如Google Gemini、GPT-3.5/4V、Whisper、Claude 3和AWS Bedrock服務等，甚至聯發科技自己最新打造的模型BreeXe也會納入其中。

「你可以把達哥想像為具備各種工具的瑞士刀，不只有生成式AI大語言模型，還可以調用不同工具，來與公司系統或知識庫結合，甚至能上網搜尋。」楊建州指出，達哥還具備支援RAG的搜尋引擎。

達哥1.0在去年完成，而今年聯發科技優化該平臺，新添智慧助理架構（如下圖），能讓每位職員不必寫任何程式碼，就能打造自己的智能秘書，這就是達哥2.0。而且，這個版本的達哥還具備4個主要商店，包括AI模型、擴充外掛、提示範本、知識庫（DVCs）等，使用者可用來打造適合自己的智慧助理。

同時，達哥也新添許多功能（如下圖），包括DocChat、VideoChat、WebChat和Plugins。前三個就像是智慧助理，比如，DocChat可用來分析競爭對手、履歷表媒合、技術文件摘要，VideoChat則能自動生成會議記錄、產出YouTube影片摘要、TED影片摘要等，WebChat能用於技術趨勢分析、市場趨勢收集、產業新聞集錦等。而Plugins新功能，可提供企業知識檢索、RPA自動化等。

另一方面，聯發科技協理葉家順指出，聯發科技自己已深度運用達哥，整個集團的滲透率達到96%，滿意度也達到4.4分（滿分5分）。他進一步表示，達哥在聯發科技內部的應用場景相當豐富，就軟體開發來說，可用來分析需求規格、生成技術文件，在編寫程式部分，還能協助寫程式、協助除錯和Code review等工作，另外還能幫助開發者自動生成測項、自動生成測試案例等。不只如此，對聯發科技不同部門來說，生成式AI的應用情境也很廣泛，比如能協助人資篩選履歷和自動配對，能協助財務自動辨識發票，來加速報銷流程，或是根據外部資料，自動撰寫信用報告。（如下圖）

他也表示，達哥也發展成可供外部企業導入的生成式AI服務平臺，目前已有數十家高科技、金融、電信、法律、製造、銷售、服務、系統整合和雲端服務等產業的企業使用，另也有教育機構、新創等加入MediaTek Davinci生態系。

揭露最新繁中大型語言模型BreeXe

與此同時，聯發科技創新基地負責人許大山揭露最新的繁中大模型BreeXe，具450億參數，中文知識水準超越GPT-3.5。他表示，這款模型以Mistral 8x7B開源模型為基礎，用大量繁體中文資料訓練而成。但有別於Mistral 8x7B模型只能處理4,000字，BreeXe可處理長達4萬字。再來，他們也準備開源臺灣-RAG的訓練資料。

這不是聯發科技第一次發表自然語言處理相關技術。在2022年6月，他們就全面押寶生成式AI，啟動繁中大語言模型計畫，並在2023年3月開源首個繁中LLM：BLOOM-zh 1B和3B版本，同時發表相關論文。去年10月，他們還推出了臺灣知識評測集TW Trivia、TMMLU，今年2月則發布用1TB資料預訓練的繁中LLM：Breeze 7B並開源，今天則是發表首個超越GPT-3.5的繁中模型BreeXe。接下來，他們要朝打造繁中GPT-4的方向前進。

聯發科技資深技術經理陳宜昌也在現場展示BreeXe能力，包括BreeXe採用擴充詞表技術，其生成答案的速度快1倍、成本也下降一半，未來可望供企業於地端部署，降低成本。再來，他也展示RAG情境，透過提供一系列履歷PDF檔案，並請BreeXe提供表格式摘要，並推薦最佳人選（如下圖）。此外，就算輸入3萬多萬字的小王子全書內容並提問，BreeXe也能正確給出答案。