AWS如何布局2024 AI新戰略

緊接著在微軟Ignite大會之後，AWS也在11月底的年度大會re:Invent中，揭露了更完整的GAI（Generative AI，生成式AI）戰略。

AWS執行長Adam Selipsky認為：「GAI是AI的下一階段，會徹底改變我們與AP互動的方式。」但是，AWS對於GAI未來願景的想法，就和微軟有很大的不同。「不會有一家公司，能打造出滿足所有人的模型。」

提出三層式GAI技術架構，以支援企業選擇、快速切換和組合不同模型

Adam Selipsky解釋，GAI應用現在仍處於非常早期的階段，大家都想要快速學習和實驗，而GAI技術的進化也很快。針對不同應用情境，不同的資料集，不同的模型的表現各有不同，各有不同的擅長，所以，不會有一家公司，能打造出滿足所有人的模型，企業也需要有能力適應各種不同的模型選擇。

AWS這個與競爭對手微軟的願景差異，也讓AWS在一年前展開了不一樣的GAI戰略布局。Adam Selipsky指出：「企業會需要可以選擇，可以快速切換和組合不同的模型。」AWS希望透過最簡單的API呼叫，讓企業運用更多種GAI模型。

AWS的GAI技術架構可以分為三個層級，訓練和推論需要的基礎設施、打造基礎模型和LLM的工具，以及要能善用各種基礎模型的應用。「最上層的應用，最好能做到使用者不需要任何專業知識，就能運用GAI的好處。」Adam Selipsky表示。

AWS的GAI技術架構可以分為三個層級，訓練和推論需要的基礎設施、打造基礎模型和LLM的工具，以及要能善用各種基礎模型的應用。最上層的應用層，AWS想做到，使用者不需要任何專業知識，就能運用GAI的好處。（圖片來源／AWS）

GAI基礎設施是AWS的強項之一，早在2010年，AWS是第一家將GPU帶進雲的業者，開始提供GPU算力的實例，現在甚至可以提供單一叢集2萬顆GPU，相當於超級電腦等級的算力。

AWS也有自己打造的模型專用訓練晶片和推論晶片，AWS早在2013年發展第一張Nitro網路加速卡，就開始使用自己設計的Arm架構Graviton處理器。2019年底也推出了使用自家設計的推論晶片Inferentia的執行實例。在2021年時，AWS進一步推出了AI訓練加速晶片Trainium的實例。在2023年4月，AWS先發布了推論加速晶片第二代，到了11月更發布了第二代模型訓練晶片Trainium2，比前一代快4倍，可因應千億至兆級參數等級的基礎模型訓練需求，將於2024年正式推出相關實例。

如同其他公雲一樣，AWS也擴大與Nvidia的合作，如在EC2執行個體提供整套GH200 NVL32的算力，另外AWS也開始託管由Nvidia專為GAI運算所設計的Nvidia DGX超級電腦等級運算雲。

在AWS的GAI技術架構第二層的工具層中，AWS原本已有一款針對不同AI應用的開發工具Sagemaker，超過1千家企業採用，可以用來訓練10億到千億規模的各種AI模型。到了去年4月，AWS進一步發表了GAI專用開發工具Bedrock平臺預覽版，可以支援多種大型語言模型，包括了AI21、Amazon Titan、Anthropic、Cohere、Llama2到stability.ai等。這些模型中也包括了Amazo自己訓練的模型家族Titan，提供了不同用途的LLM模型，像是文字摘要用，文字編輯用或嵌入式模型。

Bedrock的特色是快速開發，也容易擴大規模，可以使用不同企業等級的模型，來搭配企業自己的資料，也提供了安全控管和隱私機制。AWS很快就在去年9月推出正式版Bedrock，到了11月底，超過1萬家企業採用。例如NASDAQ用來設計一個可以自動調查可疑交易的自動流程，來強化金融犯罪的防範能力。

不只可以任選模型，Bedrock的另一個特色是客製化能力。「只有使用自己的資料，才會創造出獨特的模型能力。」Adam Selipsky表示，Bedrock的目標是支援你用自己資料，來客製化各種AI應用的需求。

在11月年度大會時，Bedrock新增了3類客製化功能，一是新增了Cohere、Llama2與Titan三種模型的微調（Fine tuning），其次是企業目前熱門的RAG模式服務Retrieval Augmented Generation (RAG) with Knowledge Bases，還有提供了Titan模型的持續預訓練，企業可以不斷輸入新資料來優化Titan。

AWS更在2023年底正式推出了Amazon Bedrock的代理人（Agent）功能，可以跨不同系統或資料源，來執行多步驟的任務，這個GAI代理人就像是一隻可以代表使用者來執行任務的GAI應用。

Bedrock的Agent功能是在去年中揭露，不到半年就變成正式功能。企業選好想用的模型，提供一些基礎的指示，再設定用哪些Lambda函數來存取不同的功能API，並且選擇有哪些可用的資料源，就可以快速產生一個GAI代理人。

當有外部使用者對這隻GAI代理人程式提出一個任務請求後，GAI模型會分析這個請求，建立一系列的執行步驟，並且自動判斷需要取得哪些資料，然後規畫什麼時候該呼叫哪些API來存取資料，再建立一份針對該項請求的執行計畫後，就會開始執行，按步驟執行，搜集相關資料來完成任務。

透過Bedrock的代理人功能來打造GAI應用，完全不用寫程式，不需要輸入許多模型提示指令，也不用手動連結不同資料源。「Bedrock希望讓模型的選擇、客製化和整合都變成更簡單。」Adam Selipsky表示。

除了相關資料安全和資安法遵機制之外，AWS在大會上推出了Guardrails for Amazon Bedrock模型護欄機制，可以套用企業的可解釋性AI政策，來過濾有害內容，企業可以針對所有GAI開發過程，建立一致的模型保護政策，更關鍵的是，企業可以將同一套護欄政策，透過Bedrock套用到任何模型和代理人上，包括企業自己的模型。不同於其他業者透過規則設定或關鍵字來建立過濾條件，Bedrock提供了一個配置精靈，讓企業IT人員直接用一段話（自然語言）描述想要控管或避免呈現的內容，再由LLM模型產生用來把關的護欄政策，這個做法可能無法第一時間精準產生所有的過濾規則，但是卻可以涵蓋到定義模糊或很難定義的過濾範圍。 AWS預計未來將新增模型對話中的個資（PII）馬賽克功能，來避免外洩。

應用層是AWS GAI技術架構的最上層，AWS策略是，無縫整合AI助理，讓GAI可以對每一個人的工作有幫助，而不用管底層用了什麼模型或技術。Amazon先在2022年就推出了一款輔助開發的GAI助手CodeWhisperer，可以自動生成15種語言的程式碼，尤其是AWS環境用的程式碼，到了2023年下半，開始提供客製化能力，GAI可以讀取企業內部SDK、自製API來生成更符合企業習慣的程式碼。

AWS瞄準企業內部GAI應用，推出商務型AI助手

在年度大會上，Adam Selipsky宣布了AWS商務型聊天機器人Amazon Q。Amazon Q用了AWS過去17年來的各種知識、文件來訓練，採用了另外的LLM模型（非Titan）來訓練。Amazon Q還分為兩種，一種是AWS專家型AI助手，可以提供各種AWS使用問題的解答。另一種則是企業內部專家型AI助手，可以讀取企業內部資料，依據詢問者的權限回答問題。

AWS專家型的Amazon Q目前提供了四大類功能，可以解答AWS服務的使用問題和提供最佳實務的建議，其次是可以整合到開發人員的IDE中，依據專案脈絡來生成程式碼，第三則是可以轉換程式碼來進行AP升級，最後是可以生成Amazon相關資料平臺產品的SQL語法。

在程式碼輔助上，Amazon Q可以完成一項新功能的多步驟開發任務，開發人員輸入一句提示後，Amazon Ｑ會讀取整個專案程式碼，來產生這個功能的草案版本，再讓開發者透過對話互動進行修改程式碼再發布。另外，Amazon Q Code Transformation可以將Java應用程式，從第8和11版升級到17版，還會檢查程式碼的相依性，來更新套件和框架，並且取代不再支援的棄用程式碼。下一步，AWS計畫推出能將Windows .NET應用，轉換成Linux應用的程式碼轉換功能。

而另一類企業內部專家型的Amazon Q則用來存取企業自己的資料，可以支援超過40種資料來源，像是S3、Salesforce、M365、 Google硬碟、ServiceNow、Gmail、Slack、Atlassian或Zendesk等。當使用者提問後，Amazon Q會先理解所提問的問題，自動產生一系列的提示給LLM，來存取各種資料，組合成這個問題的答案，但是會整合企業既有的存取權限，只傳回詢問者有權限取得的內容。

企業內部專家型Amazon Q支援超過40種資料來源。當使用者提問後，Amazon Q先理解問題，自動產生一系列提示給LLM，來存取各種資料，組合成這個問題的答案，也會整合企業權限，只傳回詢問者有權取得的內容。（圖片來源／AWS）

另外，AWS也開始打造特定用途的Amazon Q，先推出了客服中心專用版，類似企業內部專家的作法，但是更聚焦在存取企業CRM相關的系統和資料，並且幾乎即時產生顧客回覆內容給客服人員參考，還會附上原始資料的參考連結，來加快新手客服上手的速度。

圖片來源／AWS

 相關報導