從機器學習、深度學習,到生成式AI、代理型AI,人工智慧已成為當代企業IT應用的顯學,當所有人都在追逐軟體與AI模型的發展,以及硬體運算能力之餘,對於網路、儲存系統等IT基礎架構的效能、效率要求,也跟著水漲船高。

單就網路環境而言,Nvidia這幾年以來,陸續推出NVLink、NVLink Switch System,以及Spectrum-X乙太網路平臺、Quantum-X800 InfiniBand網路平臺,而近期崛起、由多家IT廠商組成的超乙太網路聯盟(UEC),訂定的1.0版規格今年6月正式定案,區分為連接外部環境的前端網路,以及連結AI叢集內部多個節點的後端網路。

而在儲存系統的搭配上,仍是以Nvidia經營的市場生態系最為知名,處於相對顯著的位置,他們這幾年以來,持續號召多家企業級儲存系統廠商,參與他們主導的DGX SuperPOD對於儲存產品的認證,以及DGX BasePOD針對儲存產品的認證,截至目前未止,包含DDN、Dell、IBM、NetApp、VAST Data、WEKA等廠商,都加入這個合作計畫,共同拉抬Nvidia整櫃型AI基礎架構解決方案DGX System市場聲勢,協力推廣AI應用設備預先搭配儲存系統的快速建置方案。

2024年6月,Nvidia發表名為Nvidia Cloud Partner(NCP)的參考架構,目的是提供組建高效能、高擴充性與安全的資料中心,可處理生成式AI與大型語言模型的工作負載,這項計畫也號召通過DGX SuperPOD認證的儲存廠商加入,後續Nvidia也發展出NCP儲存認證。

而在今年3月GTC大會期間,Nvidia針對儲存系統產品發表新的AI基礎架構參考設計,稱為Nvidia AI Data Platform,廠商可依此為代理型AI應用系統與工具的需求,量身打造適合的資料平臺,並且運用特製的AI查詢代理人機制,加速AI推理(reasoning)的工作負載。Nvidia點名10家廠商都將支援這個平臺,當中有許多都是與Nvidia密切合作的,包含DDN、Dell、Hitachi Vantara、HPE、IBM、NetApp、Nutanix、Pure Storage、VAST Data,以及WEKA。

基本上,Nvidia AI Data Platform提供的這些AI代理,是基於Nvidia AI Enterprise軟體平臺而成,當中囊括以NIM微服務形式打包、具備推理能力的Nvidia Llama Nemotron模型,以及新的Nvidia AI-Q Blueprint藍圖,能以近乎即時的速度從處理的資料當中,產生洞察分析。而在底層基礎架構的部分,AI代理可借助Nvidia的GPU、DPU、網路等技術,以及開放原始碼的推論程式庫Nvidia Dynamo,提供最佳化效能。

以AI-Q Blueprint為例,提供AI代理系統的推理,以及連接企業資料的能力。首先,都以Nvidia GPU處理時,Nvidia聲稱AI-Q Blueprint用Nvidia NeMo Retriever微服務,資料提取速度可因此暴增15倍;而透過AI-Q Blueprint組建而成的AI查詢代理,能在執行推論(inference)作業之際,同時連接資料,提供更精準、具有前後文脈絡感知的回應內容。而且,這樣的AI查詢代理能快速存取大規模的資料、處理各式資料,涵蓋不同來源的結構化資料、半結構化資料、非結構化資料,如文字、PDF檔、圖片、視訊。

除了以Nvidia為首的AI(GPU)儲存廠商陣營,我們今年3月製作GPU直連物件儲存的技術專題,提到MinIO、Cloudian、DDN投入;近期我們也注意到出現越來越多新創儲存系統廠商正在發展KV Cache技術或解決方案,於是,本期iThome電腦報週刊的封面故事也以此為題,在所有市場調查機構都尚未提出相關分析報告之前,搶先於此時初步整理這類型產品的市場現況,並且探討最新應用。目前,我們總共列出6家廠商(WEKA、焱融科技、VAST Data、PEAK:AIO、Pliops、GridGain),以及開放原始碼軟體(Nvidia Dynamo、llm-d)的解決方案。

基於上述趨於多元的AI儲存系統發展路線,可望帶動新一波企業儲存系統產品的轉型,我們期盼能有更多廠商投入,Dell、IBM、HPE、NetApp、Pure Storage等大廠也必須加緊腳步,透過積極研發或併購合適的廠商,及早擴大相關布局,以免錯失商機。

專欄作者

熱門新聞

Advertisement