【re:Invent 2023】AWS如何以生成式AI再創新

「以生成式AI再創新」，在AWS年度用戶大會re:Invent 2023的重頭戲－由執行長獨挑大樑的主題演講上，AWS執行長Adam Selipsky開宗明義，AWS不只是因應時下熱門的生成式AI熱潮，更藉由生成式AI迎接新一波再創新的機會。

一如往常，Selipsky在二個半小時的演講中，一口氣發表大量新產品服務，而其中幾乎全數與生成式AI有關，不僅涵蓋生成式AI架構的三個層級—基礎設施、工具與應用程式，還包括首度揭曉、專為企業組織所設計的商務型AI聊天機器人Amazon Q，可望成為其在生成式AI領域的新戰略利器。

Selipsky首先宣布的是Amazon S3 Express One Zone，它是AWS目前效能最強、延遲最低的S3物件儲存方案，效能足以應付每分鐘數百萬次的存取，延遲時間則不到10微秒，主要是因應如金融分析、詐欺偵測、機器學習訓練模型與即時推播廣告等應用對於高速存取的需求，而存取的計費竟然比S3標準版便宜一半。據先期使用者Pinterest的經驗，其寫入速度快了10倍，而總體成本減少4成。

AWS自家研發的晶片Graviton，則預計於明年正式推出第四代產品，Selipsky表示，Graviton4將會是AWS旗下效能最強且能源效率最好的運算晶片，其效能將比前一代Graviton3快30%，資料庫應用效能快40%，在大型Java應用程式的效能提升則更顯著，可達45%的提升，而採用Graviton4的EC2實體R8g已可提供預覽。

在上述兩項產品宣布後，發表會旋即揭開生成式AI重頭戲。Selipsky首先邀請Nvidia執行長黃仁勳上臺，宣布雙方擴大多項策略合作。第一項是Nvidia將提供針對生成式AI運算需求所設計的GH200 Grace Hopper Superchip運算卡，讓AWS成為第一個採用的雲端運算供應商。

AWS將會以一個EC2執行個體的型式提供整套GH200 NVL32的運算力，GH200 NVL32整套系統是以NVlink連結技術串接32片GH200 Grace Hopper Superchip運算卡，整套系統亦包含NVswitch，可配置最大20TB共享記憶體，運算力可說是超級電腦等級，對於需要仰賴巨量運算資源的生成式AI模型訓練有很大的助益。

上述的EC2執行個體亦立基於AWS的第三代EFA連結技術與Nitro的虛擬化技術，因而每張Superchip運算卡擁有高速低延遲的400Gbps網路傳輸速度，執行個體的串接數量可多達上千個，提供在網路服務上建立巨大的AI運算叢集。

AWS與Nvidia的擴大合作，還包括Nvidia將首度提供其專為生成式AI運算所設計的Nvidia DGX超級電腦等級運算雲，予以第三方雲端服務供應商，由AWS提供雲端託管服務。Nvidia DGX亦立基於GH200 NVL32，可支援超過1兆參數的生成式AI與大型語言模型的訓練。此外，雙方也藉由Project Ceiba的合作，建置一套超過16,384個Nvidia GH200超級晶片，運算速度達65 Exaflops等級的AI超級電腦，作為Nvidia研發全新生成式AI之用。

在生成式AI架構的基礎設施層，Selipsky宣布AWS自家設計的新一代AI訓練晶片Trainium 2將於明年推出，效能比前一代提升4倍，可應付參數量千億至兆級的基礎模型訓練需求。

在生成式AI架構的工具層，AWS最大的利器就是Bedrock平臺，而Bedrock的一大優勢就是支援多種大型語言模型，從AI21、Amazon Titan、Anthropic、Cohere、Llama2到stability.ai。Selipsky說，AWS深信沒有任何一個大型語言模型可以主宰一切，因為各個模型在不同的應用面上皆有其獨到之處。

Bedrock的另一個優勢，則是客製化能力。Selipsky指出，AWS的生成式AI技術的研發，打從第一天開始就是以企業需求為出發點，考量到不同型態的企業生成式AI應用需要運用不同的模型，再者各別企業的產業型態、業務流程與企業知識皆有不同，企業需要有客製化模型的彈性，才能將企業知識融入模型，創造各別競爭優勢，同時也由於企業知識具有機敏性，必須將資訊安全與資料隱私設計在內，確保商業機密在模型訓練過程中不會外洩。

在模型客製化方面，AWS新推出三款服務，包括Cohere、Llma2與Titan三種模型的微調（Fine tuning）、Retrieval Augmented Generation (RAG) with Knowledge Bases及Titan模型的持續預訓練。

對於企業擔憂生成式AI本質上存在不可控的可能性，AWS也新推出Guardrails for Amazon Bedrock，提供過濾有害內容的功能，確保模型輸出的內容符合企業的負責任AI（Responsible AI）政策，而針對基礎模型輸出的個資內容予以事先編輯，以防個資外洩的功能，也在未來規畫藍圖中。

在生成式AI架構最上層的應用層方面，Selipsky則是相當興奮地宣布AWS首款AI聊天機器人Amazon Q的問世。面對市面上已有眾多AI聊天機器人搶占市場先機，為何AWS還要推出另一款聊天機器人？Selipsky表示，Amazon Q是專為企業組織設計的商務型AI聊天機器人，與其他聊天機器人最大的不同是考量企業應用的情境、資訊安全、資料隱私與依職責控管存取權限等需求。

Selipsky提出Amazon Q可望協助企業的四大面向，包括協助軟體開發人員撰寫程式碼、協助同仁提升日常工作效率、讓同仁便於獲得商業智慧的協助，以及提升更好的顧客服務。在程式碼方面，AWS新推出Amazon Q Code Transformation，透過生成式AI技術協助程式碼改寫升級與強化程式碼安全，Selipsky指出，這項新服務可讓1千個Java應用程式的改寫工作，在2天內就完成，若在過往由開發人員改寫，往往需耗時數月甚至數年。此外，Amazon Q的訓練資料涵蓋17年的AWS產品與服務資料，使用AWS的軟體開發人員或架構師可用聊天問答介面，立即取得AWS所有的技術資訊。

除了協助軟體開發人員，Amazon Q也可以幫助資料庫管理人員，Amazon Redshift Serverless資料倉儲服務整合了Amazon Q，使用者可用自然語言提出資料查詢需求，由Amazon Q自動生成SQL資料庫查詢指令，協助提升ETL等工作的效率。

Amazon Q亦可望成為企業內的專家助手，可連結超過40種企業常用服務的資訊源，如S3、Salesforce、Google Drive、Microsoft 365、ServiceNow、Gmail、Slack、Atlassian與Zendesk等，涵蓋一般辦公室文書通信、業務行銷、軟體開發與IT管理等平臺，同時依據詢問者的存取權限來提供其被授權的內容。此外，Amazon Q也會整合至Amazon Quicksight、Amazon Connect等商業智慧與客戶服務平臺。

AWS資料與人工智慧資深副總裁Swami Sivasubramanian則指出開發生成式AI應用必備的四個要素，包括要有基礎模型、可讓模型運行的私有安全運算環境、易於使用的生成式AI開發工具，以及機器學習專用運算架構。他亦強調資料是生成式AI的重要關鍵，資料會決定企業生成式AI的差異性，而資料的儲存、處理、分析、治理，本來就是企業用戶使用AWS雲端服務的重要應用之一。

Sivasubramanian也發表多項生成式AI服務，包括Amazon Titan新增影像生成功能，不僅可以生成高畫質的圖像，使用者甚至可用自然語言下達指令，在保持影像背景下讓圖片中的主角鏡像翻轉，而Titan Image Generator生成的圖片都會加上隱形浮水印，以利識別AI生成，避免淪為假訊息之用。此外，Titan也新增轉換多模態向量（Multimodal Embeddings）的能力，同時支援文字、圖片、影像與音訊。而為了因應負責任AI的需求，Bedrock也提供模型評估功能，讓用戶先以預載的資料與檢測方法評估模型的適用性與風險，另外，AWS Clean Rooms ML，則可讓企業不需提供訓練資料也能與合作夥伴共享模型。

在資料庫與資料分析服務方面，也因應生成式AI而全面提升向量儲存與搜尋功能，新推出的Amazon Neptune analytics藉由內建圖形（Graph）演算法提升向量搜尋速度，幾秒鐘內可分析百億個連結。多款資料庫服務也增加向量儲存與搜尋能力，Amazon OpenSearch Serverless vector engine可以儲存與搜尋向量資料，Amazon DocumentDB、Amazon DynamoDB、Amazon MemoryDB for Redis也都可以儲存與搜尋向量。此外，支援Zero-ETL的資料庫服務也增多了，包括Amazon Aurora PostgreSQL、Amazon DynamoDB與Amazon RDS for MySQL皆可直接整合，不需額外透過ETL，而Amazon OpenSearch Service亦可直接與S3整合。

自去年11月30日ChatGPT推出後，生成式AI頓時蔚為風潮，短短一年內就成為兵家必爭之地。雖然AWS在這波生成式AI浪潮中沒有搶到引領風潮的先機，但綜觀Selipsky宣布的多款生成式AI新服務，包括在生成式AI架構最底層的基礎設施層，以Nvidia晶片與AWS自家晶片提供雲端服務中最強大的生成式AI運算力；在中間層的工具層方面，以Bedrock為主力支援多種模型，並擴展生成式AI相關功能；在最上層的應用層，祭出Amazon Q聊天機器人貫通企業應用場景，而且在每個環節都將資訊安全、隱私保護、負責任AI與合規考量進去，讓企業不因上述顧慮而畏懼生成式AI，再加上諸多強化資料整合、提升向量資料庫能力等等，很明顯地，AWS將以其擁有眾多雲端企業用戶的優勢，透過持續再創新搶占仍是處女地的生成式AI企業商用市場。