Stability AI推出自家程式碼生成模型StableCode

以文生圖模型Stable Diffusion聞名的人工智慧公司Stability AI，現在要進軍程式碼開發市場，釋出該公司第一個用於程式開發的大型語言模型StableCode，該模型除了可以協助開發者完成日常工作，同時也能幫助開發者學習程式開發。

StableCode模型的訓練總共分為三個階段，最初Stability AI使用來自BigCode專案的stack-dataset v1.2資料集，對基礎模型進行多語言訓練，接著針對熱門程式語言，諸如Python、Go、Java、Javascript、C、markdown和C++進行特化訓練，總共使用了5,600億個Token訓練模型。基礎模型建立完成後，官方進一步針對特定用途調校指令模型，以解決複雜的程式開發任務，在基礎模型上訓練了約12萬個Alpaca格式的程式碼指令和回應資料對。

StableCode模型的特色在於，能夠理解和處理長篇幅上下文，也就是模型在做決策時，能夠更廣泛地考慮前後相鄰的資料，也就是具有一次處理更多程式碼Token的能力，進而提供更精確有用的建議，官方提到，StableCode一次可以處理的程式碼Token數量，約是32,000到64,000間，用戶能夠一次處理的檔案量，約是5份一般大小的Python檔案。

Stability AI將StableCode與其他類似大小的模型相比，在HumanEval基準pass@1，模型回傳的第一個答案正確性，StableCode勝過replit-coder，但是略輸BigCode的Starcoder，而比較pass@10，也就是模型所生成的前10個答案中，是否包含正確答案的指標，StableCode則是勝過Starcoder和replit-coder。