GitHub
雲端AI及資料分析平臺新創業者Databricks上周宣布開源AI模型Dolly,宣稱比當紅的ChatGPT底層模型更容易訓練,成本也更低。
Databricks以Apache Spark技術為基礎,提供雲端資料湖邊小屋(data lakehouse)及機器學習分析服務。該公司本周將其生成性AI模型Dolly後開源,提供更多企業、開發商客製化,以改進其產品。
Databricks表示,雖然史丹佛大學的Alpaca模型團隊是利用大型模型訓練出指令跟從的行為,但他們發現,使用架構較老、較小的開源模型,若以小批高品質的資料訓練微調也會有同樣效果。Dolly是以Eleuther AI 2年前的模型為基礎,在單一機器上透過類似ChatGPT的指令訓練30分鐘而成,再以Alpaca模型的資料加以訓練微調,即可發揮其指令跟從的能力,像是腦力激盪、文字生成及開放性的問答等。相較之下,ChatGPT GPT-3高達1750億個參數。
Databricks表示,這顯示像ChatGPT這類模型的強大能力,關鍵是在指令跟從的訓練資料,而非更大或更好的底層模型。
Meta 今年2月釋出8萬 GPU時的LLaMA(音近「駱馬」)模型,3月史丹佛大學則以LLaMA發展Alpaca模型(即羊駝),以5萬道問答訓練出ChatGPT等級的擬人互動性。由於Databricks最新模型以Alpaca為基礎,Databricks團隊因而以第一隻複製羊桃莉(Dolly)為之命名。
Databricks表示,Dolly是該公司LLM宣布的第一步,旨在讓更多組織都能用得到過去只有大型企業才負擔得起的AI模型,未來幾周內他們還會有其他宣布。
不過Databricks也提醒,和其他生成性AI一樣,Dolly是開發早期的計畫,可能會出現事實錯誤、偏見、冒犯性回應、毒性及AI幻覺問題,使用者需自行判斷。
這是ChatGPT最新競爭者。Google支持的Anthropic開發出Claude、史丹佛大學上周則將Alpaca開源。
熱門新聞
2024-11-12
2024-11-10
2024-11-13
2024-11-10
2024-11-11
2024-11-11
2024-11-12