AWS
AWS昨(23)日發表AI平臺Amazon Bedrock最新服務Custom Model Import預覽版,可讓企業用戶將模型上傳Bedrock微調並為特定應用客製化。
Amazon Bedrock提供如Mistral或Llama等基礎模型,供企業選擇以打造生成式AI應用,有些用戶會為特定使用場景微調或客製化模型。另一些企業則是自建基礎架構,使用Mistral或Llama等模型客製化並開發AI應用。之前,企業用戶必須在Bedrock以外的其他環境上進行客製化。問題是,這類環境的部署需要一定能力,而對Bedrock用戶而言,這還會使開發人員必須在不同模型環境間切換,造成經驗的不連續。
最新公布工具可解決客製化環境的部署問題。首先是Custom Model Import,訴求讓用戶將客製化模型匯入Bedrock,一方面保留客製化成果,另一方面又能在安全的雲端平臺上使用模型。匯入Bedrock後,用戶就能透過Bedrock的API呼叫,以隨需(on-demand)方式存取模型,並為基礎、客製化及匯入的模型建立一致化經驗。最新工具支援Mistral、Llama及Flan T5等。
另一方面,針對Bedrock上想客製化模型的用戶,AWS昨日也宣布預覽一項新功能。新功能讓用戶從Amazon SageMaker機器學習平臺及Amazon S3以Hugging Face safetensors格式匯入自訂權重以客製化模型,之後就能以隨需方式存取模型。本功能支援Meta Llama 2、Llama 3及Mistral。
這樣一來用戶可以使用Bedrock上為寫程式特化的Code Llama模型,或是以自有資料微調模型後,再將模型匯入Bedrock。二項新功能目前都僅在美國測試。美國用戶可透過Bedrock控制臺主頁開始匯入模型或權重。
熱門新聞
2024-12-03
2024-11-29
2024-12-02
2024-12-02
2024-12-03