【從核心架構到應用服務的革新】平行檔案系統架構最新演進

雖然AI風潮帶來平行檔案系統盛行的契機，但也帶來新的挑戰，為了因應AI應用環境在效能、擴展能力、部署與管理彈性等方面的需求，促使平行檔案系統的架構在過去幾年以來，持續出現一系列重要的新變革。

自2020年以後，較重要的平行檔案系統架構創新，首先是VAST Data，首創分離運算與儲存節點的「解構與共享一切」（disaggregated shared everything，DASE）架構。稍後是Hammerspace，提出分離metadata與資料存取的平行NFS（parallel NFS）存取架構。

接著在2023到2024年，又有DDN Infinia與Quantum Myriad引進的key/value底層儲存架構，取代基於區塊（block）的傳統檔案系統底層架構。

時間進入2025年後，近幾個月來，平行檔案系統領域又出現兩項重要的產品架構變革，包括VAST Data的AI作業系統，以及WEKA的NeuralMesh微服務網格架構儲存平臺，各自在AI應用服務的管理，以及部署形態方面，提供了新的框架。

 VAST Data的AI OS 

VAST Data在今年5月發表的AI作業系統（AI OS），其實不是平行檔案系統本身或儲存架構方面的變革，而是應用範疇的擴展。這套AI OS雖然被命名為作業系統，但並非Windows．Linux這類用於硬體管理與基本服務的基礎作業系統，而是結合資料儲存、資料庫與代理式（Agentic）AI應用的統一作業平臺。

我們可以將AI OS分為基礎服務，以及AI應用等兩大層級。

AI OS基礎服務最底層，是VAST Data的DASE平行檔案系統儲存平臺，為AI OS提供稱作VAST DataStore的儲存庫，再結合用於資料索引與metadata服務的VAST DataBase資料庫，以及用於跨邊緣到雲端等環境，將運算與儲存資源統合在單一命名空間下的VAST DataSpace，共同構成AI OS的基礎服務層。

至於AI OS應用層，由容器化程式VAST DataEngine的調度執行，以及訊息傳遞工具為基礎，含AgentEngine與InsightEngine等工具。前者是AI代理程式軟體（AI Agent）的管理，以及執行環境，用於各式AI Agent連結、部署、管理與資料的存取；後者用於追蹤與檢視代理程式運作的嵌入式微服務。

AI OS應用層的最上層，是VAST Data的一系列開源AI代理程式，該公司宣稱預定每個月發布1套AI代理程式，將涵蓋聊天機器人、資料工程、合規性監管、數位媒體編輯、生命科學研究等領域。

也就是說，VAST Data企圖透過AI OS，打造出基於其平行檔案系統平臺而成的代理式AI統一應用環境。

 WEKA的NeuralMesh儲存架構 

審視WEKA今年6月推出的NeuralMesh，其實，可將其看做他們原有WekaFS平行檔案系統的「微服務化」進階發展版本。

NeuralMesh與WekaFS採用相同基本架構，包括：stripe搭配parity的平行分散存取與保護架構，分散式的metadata管理架構，以及基於「故障域（Failure Domain）」架構的自動修復、自動擴展和快速重建功能，差別是以基於容器的微服務架構，來運行所有儲存服務。

每1臺WEKA儲存節點都運行著1或多個微服務，每個微服務各自處理特定的功能，例如資料存取、metadata、稽核、通訊協定或管理功能，這些微服務透過API 相互通信，構成跨多臺WEKA儲存節點的分散式微服務架構，不同的功能可以視需要而獨立擴展，WEKA宣稱藉此提供遠高於傳統儲存架構，跨裸機、雲端與混合架構部署的靈活性，EB容量等級的擴展能力，還有適合多租戶環境的資源隔離能力。

此外，NeuralMesh還引進跨故障域的分散式stripe架構，大規模平行重建，以及視風險高低優先重建資料的智慧型還原等功能，提高抵禦故障的韌性。

從核心到應用架構的革新

VAST的Data AI OS與WEKA的NeuralMesh，各自代表平行檔案系統在不同面向的架構變革。

NeuralMesh代表核心架構的新嘗試，過去便已有儲存平臺在核心架構，引進一部分容器化與微服務化的元件，WEKA自身的WekaFS便是其中之一，不過，像NeuralMesh這樣全面微服務化，卻是首例，藉由微服務化，可將系統部署、擴展的靈活性，提高到新層次。

VAST Data的AI OS野心更大，顯示該公司不滿足於僅扮演AI儲存平臺供應商角色，而試圖以其儲存平臺為基礎，打造出AI代理應用的通用操作平臺，不過，這並非單靠該公司的努力就能夠實現，還同時需要其他廠商與用戶的配合採用。

不久之前（8月中旬）傳出第1個成果：韓國的SK電信（SK Telecom）在其Petasus AI雲端平臺的GPUaaS服務，引進VAST Data的DASE儲存設備與AI OS平臺，算是一個好的開始。

 VAST Data的AI OS 

AI OS是VAST Data以其儲存平臺為基礎，打造的AI代理操作平臺，由VAST Data的DASE儲存設備構成的DataStore單元、結合DataSpace單一命名空間服務，資料庫、Agent引擎，以及各式各樣AI代理程式而成。圖片來源／VAST Data

 WEKA的NeuralMesh微服務儲存平臺 

NeuralMesh是WEKA原有WekaFS平行檔案儲存系統，微服務化的發展版本，每一臺儲存節點，都運行1或多個各自負責不同功能的微服務，並透過API彼此互連，不同微服務可獨立擴展，藉此提供極為靈活的部署架構。圖片來源／WEKA