AWS
「以生成式AI再創新」,在AWS年度用戶大會re:Invent 2023的重頭戲-由執行長獨挑大樑的主題演講上,AWS執行長Adam Selipsky開宗明義,AWS不只是因應時下熱門的生成式AI熱潮,更藉由生成式AI迎接新一波再創新的機會。
一如往常,Selipsky在二個半小時的演講中,一口氣發表大量新產品服務,而其中幾乎全數與生成式AI有關,不僅涵蓋生成式AI架構的三個層級—基礎設施、工具與應用程式,還包括首度揭曉、專為企業組織所設計的商務型AI聊天機器人Amazon Q,可望成為其在生成式AI領域的新戰略利器。
Selipsky首先宣布的是Amazon S3 Express One Zone,它是AWS目前效能最強、延遲最低的S3物件儲存方案,效能足以應付每分鐘數百萬次的存取,延遲時間則不到10微秒,主要是因應如金融分析、詐欺偵測、機器學習訓練模型與即時推播廣告等應用對於高速存取的需求,而存取的計費竟然比S3標準版便宜一半。據先期使用者Pinterest的經驗,其寫入速度快了10倍,而總體成本減少4成。
AWS自家研發的晶片Graviton,則預計於明年正式推出第四代產品,Selipsky表示,Graviton4將會是AWS旗下效能最強且能源效率最好的運算晶片,其效能將比前一代Graviton3快30%,資料庫應用效能快40%,在大型Java應用程式的效能提升則更顯著,可達45%的提升,而採用Graviton4的EC2實體R8g已可提供預覽。
在上述兩項產品宣布後,發表會旋即揭開生成式AI重頭戲。Selipsky首先邀請Nvidia執行長黃仁勳上臺,宣布雙方擴大多項策略合作。第一項是Nvidia將提供針對生成式AI運算需求所設計的GH200 Grace Hopper Superchip運算卡,讓AWS成為第一個採用的雲端運算供應商。
AWS將會以一個EC2執行個體的型式提供整套GH200 NVL32的運算力,GH200 NVL32整套系統是以NVlink連結技術串接32片GH200 Grace Hopper Superchip運算卡,整套系統亦包含NVswitch,可配置最大20TB共享記憶體,運算力可說是超級電腦等級,對於需要仰賴巨量運算資源的生成式AI模型訓練有很大的助益。
上述的EC2執行個體亦立基於AWS的第三代EFA連結技術與Nitro的虛擬化技術,因而每張Superchip運算卡擁有高速低延遲的400Gbps網路傳輸速度,執行個體的串接數量可多達上千個,提供在網路服務上建立巨大的AI運算叢集。
AWS與Nvidia的擴大合作,還包括Nvidia將首度提供其專為生成式AI運算所設計的Nvidia DGX超級電腦等級運算雲,予以第三方雲端服務供應商,由AWS提供雲端託管服務。Nvidia DGX亦立基於GH200 NVL32,可支援超過1兆參數的生成式AI與大型語言模型的訓練。此外,雙方也藉由Project Ceiba的合作,建置一套超過16,384個Nvidia GH200超級晶片,運算速度達65 Exaflops等級的AI超級電腦,作為Nvidia研發全新生成式AI之用。
在生成式AI架構的基礎設施層,Selipsky宣布AWS自家設計的新一代AI訓練晶片Trainium 2將於明年推出,效能比前一代提升4倍,可應付參數量千億至兆級的基礎模型訓練需求。
在生成式AI架構的工具層,AWS最大的利器就是Bedrock平臺,而Bedrock的一大優勢就是支援多種大型語言模型,從AI21、Amazon Titan、Anthropic、Cohere、Llama2到stability.ai。Selipsky說,AWS深信沒有任何一個大型語言模型可以主宰一切,因為各個模型在不同的應用面上皆有其獨到之處。
Bedrock的另一個優勢,則是客製化能力。Selipsky指出,AWS的生成式AI技術的研發,打從第一天開始就是以企業需求為出發點,考量到不同型態的企業生成式AI應用需要運用不同的模型,再者各別企業的產業型態、業務流程與企業知識皆有不同,企業需要有客製化模型的彈性,才能將企業知識融入模型,創造各別競爭優勢,同時也由於企業知識具有機敏性,必須將資訊安全與資料隱私設計在內,確保商業機密在模型訓練過程中不會外洩。
在模型客製化方面,AWS新推出三款服務,包括Cohere、Llma2與Titan三種模型的微調(Fine tuning)、Retrieval Augmented Generation (RAG) with Knowledge Bases及Titan模型的持續預訓練。
對於企業擔憂生成式AI本質上存在不可控的可能性,AWS也新推出Guardrails for Amazon Bedrock,提供過濾有害內容的功能,確保模型輸出的內容符合企業的負責任AI(Responsible AI)政策,而針對基礎模型輸出的個資內容予以事先編輯,以防個資外洩的功能,也在未來規畫藍圖中。
在生成式AI架構最上層的應用層方面,Selipsky則是相當興奮地宣布AWS首款AI聊天機器人Amazon Q的問世。面對市面上已有眾多AI聊天機器人搶占市場先機,為何AWS還要推出另一款聊天機器人?Selipsky表示,Amazon Q是專為企業組織設計的商務型AI聊天機器人,與其他聊天機器人最大的不同是考量企業應用的情境、資訊安全、資料隱私與依職責控管存取權限等需求。
Selipsky提出Amazon Q可望協助企業的四大面向,包括協助軟體開發人員撰寫程式碼、協助同仁提升日常工作效率、讓同仁便於獲得商業智慧的協助,以及提升更好的顧客服務。在程式碼方面,AWS新推出Amazon Q Code Transformation,透過生成式AI技術協助程式碼改寫升級與強化程式碼安全,Selipsky指出,這項新服務可讓1千個Java應用程式的改寫工作,在2天內就完成,若在過往由開發人員改寫,往往需耗時數月甚至數年。此外,Amazon Q的訓練資料涵蓋17年的AWS產品與服務資料,使用AWS的軟體開發人員或架構師可用聊天問答介面,立即取得AWS所有的技術資訊。
除了協助軟體開發人員,Amazon Q也可以幫助資料庫管理人員,Amazon Redshift Serverless資料倉儲服務整合了Amazon Q,使用者可用自然語言提出資料查詢需求,由Amazon Q自動生成SQL資料庫查詢指令,協助提升ETL等工作的效率。
Amazon Q亦可望成為企業內的專家助手,可連結超過40種企業常用服務的資訊源,如S3、Salesforce、Google Drive、Microsoft 365、ServiceNow、Gmail、Slack、Atlassian與Zendesk等,涵蓋一般辦公室文書通信、業務行銷、軟體開發與IT管理等平臺,同時依據詢問者的存取權限來提供其被授權的內容。此外,Amazon Q也會整合至Amazon Quicksight、Amazon Connect等商業智慧與客戶服務平臺。
AWS資料與人工智慧資深副總裁Swami Sivasubramanian則指出開發生成式AI應用必備的四個要素,包括要有基礎模型、可讓模型運行的私有安全運算環境、易於使用的生成式AI開發工具,以及機器學習專用運算架構。他亦強調資料是生成式AI的重要關鍵,資料會決定企業生成式AI的差異性,而資料的儲存、處理、分析、治理,本來就是企業用戶使用AWS雲端服務的重要應用之一。
Sivasubramanian也發表多項生成式AI服務,包括Amazon Titan新增影像生成功能,不僅可以生成高畫質的圖像,使用者甚至可用自然語言下達指令,在保持影像背景下讓圖片中的主角鏡像翻轉,而Titan Image Generator生成的圖片都會加上隱形浮水印,以利識別AI生成,避免淪為假訊息之用。此外,Titan也新增轉換多模態向量(Multimodal Embeddings)的能力,同時支援文字、圖片、影像與音訊。而為了因應負責任AI的需求,Bedrock也提供模型評估功能,讓用戶先以預載的資料與檢測方法評估模型的適用性與風險,另外,AWS Clean Rooms ML,則可讓企業不需提供訓練資料也能與合作夥伴共享模型。
在資料庫與資料分析服務方面,也因應生成式AI而全面提升向量儲存與搜尋功能,新推出的Amazon Neptune analytics藉由內建圖形(Graph)演算法提升向量搜尋速度,幾秒鐘內可分析百億個連結。多款資料庫服務也增加向量儲存與搜尋能力,Amazon OpenSearch Serverless vector engine可以儲存與搜尋向量資料,Amazon DocumentDB、Amazon DynamoDB、Amazon MemoryDB for Redis也都可以儲存與搜尋向量。此外,支援Zero-ETL的資料庫服務也增多了,包括Amazon Aurora PostgreSQL、Amazon DynamoDB與Amazon RDS for MySQL皆可直接整合,不需額外透過ETL,而Amazon OpenSearch Service亦可直接與S3整合。
自去年11月30日ChatGPT推出後,生成式AI頓時蔚為風潮,短短一年內就成為兵家必爭之地。雖然AWS在這波生成式AI浪潮中沒有搶到引領風潮的先機,但綜觀Selipsky宣布的多款生成式AI新服務,包括在生成式AI架構最底層的基礎設施層,以Nvidia晶片與AWS自家晶片提供雲端服務中最強大的生成式AI運算力;在中間層的工具層方面,以Bedrock為主力支援多種模型,並擴展生成式AI相關功能;在最上層的應用層,祭出Amazon Q聊天機器人貫通企業應用場景,而且在每個環節都將資訊安全、隱私保護、負責任AI與合規考量進去,讓企業不因上述顧慮而畏懼生成式AI,再加上諸多強化資料整合、提升向量資料庫能力等等,很明顯地,AWS將以其擁有眾多雲端企業用戶的優勢,透過持續再創新搶占仍是處女地的生成式AI企業商用市場。
熱門新聞
2024-11-10
2024-11-10
2024-11-10
2024-11-11
2024-11-08
2024-11-08
2024-11-10