世界領先開放原始碼軟體解決方案供應商 Red Hat 日前宣布與日本電信電話公司(NTT)、NVIDIA 與富士通(Fujitsu)合作,作為創新全光和無線網路(Innovative Optical and Wireless Network,IOWN)計劃的一部份,共同開發出一套增強與擴大即時人工智慧(AI)邊緣數據分析潛力的解決方案。該解決方案採用 IOWN 全球論壇開發的技術,並建置在 Red Hat OpenShift(基於 Kubernetes 的業界領先混合雲應用程式平台)基礎上,因此其在真實可行性與實際案例方面獲得 IOWN 全球論壇的概念驗證(PoC)[1][2]一致認可。

Red Hat 技術長暨全球工程資深副總裁以及 IOWN 全球論壇董事 Chris Wright 表示,「在過去的幾年裡,我們身為 IOWN 全球論壇的一分子,致力於為開源驅動的 AI 創新奠定基礎,並提供了有利於我們為將來做出更明智選擇的技術。這是一項重要且令人振奮的工作,同時這些結果有助於證明我們能夠為全球企業建立永續及創新的 AI 解決方案。透過 Red Hat OpenShift,我們得以協助 NTT 不受限制地實現大規模 AI 即時資料分析。」

隨著 AI、感測技術與網路創新不斷加速,尤其是資料來源幾乎每天都在擴張的情況下,使用 AI 分析來評估與分診(triage)從網路邊緣輸入的資料將變得至關重要。然而,大規模地以 AI 進行分析既緩慢又複雜,且可能因引入新的 AI 模型與額外硬體而導致更高的維修成本與軟體維護費用。隨著偏遠地點的邊緣運算功能逐漸崛起,AI 分析可設置於更靠近感測器的位置,進而減少延遲並提高頻寬。

該解決方案包含 IOWN 全光網路(All-Photonics Network,APN)以及 IOWN 以資料為中心之基礎設施(Data-Centric Infrastructure,DCI)的資料管道(data pipeline)加速技術。NTT 的 AI 加速資料管道採用 APN 之遠端直接記憶體存取功能(Remote Direct Memory Access,RDMA),在邊緣高效收集並處理大量感測器資料。Red Hat OpenShift 的容器調度技術[3]提供了更大的靈活性,能夠在跨地理分佈之遠端資料中心的加速資料管道內操作工作負載。NTT 與 Red Hat 已成功證明該解決方案在邊緣保持即時 AI 分析低延遲的同時,能夠有效降低能耗。

NTT 資深執行副總裁暨 IOWN 全球論壇主席 Katsuhiko Kawazoe 表示:「為實現永續社會,NTT 集團與合作夥伴攜手加速 IOWN 的發展。IOWN 概念驗證是 AI 邁向綠色運算的重要一步,支援 AI 的集體智慧(collective intelligence)。我們正在透過將光電融合(Photonics-Electronics Convergence)技術應用於運算基礎架構,進一步提升 IOWN 的能源效率。我們目標以 IOWN 實現淨零碳排的永續未來。」

概念驗證評估了即時 AI 分析平台[4],以日本的橫須賀市作為感測器安裝基地、武藏野市作為遠端資料中心,兩地則藉由 APN 連接;結果指出,即使搭載大量攝影機,整合感測器資料進行 AI 分析所需的延遲時間依然較傳統 AI 推論工作負載少了 60%。此外,IOWN 的概念驗證測試顯示,每個在邊緣的攝影機進行 AI 分析所需的能耗與傳統技術相比,可以降低 40%。此即時 AI 分析平台允許 GPU 擴充以容納更多攝影機,而不讓 CPU 成為瓶頸。根據試算,搭載 1,000 個攝影機,預計能進一步降低 60% 的能耗。此解決方案的概念驗證亮點如下:

  • NTT 提供的 AI 推論加速資料管道可運用遠端直接記憶體存取功能,在 APN 直接從當地位置獲取大規模感測器資料,並傳送到遠端資料中心加速器的記憶體中,進而降低傳統網路中協定處理的額外負擔。接著在加速器內完成 AI 推論的資料處理,以較少 CPU 控制的額外負擔,提高 AI 推論的能耗效率。

  • Red Hat OpenShift 支援的大規模 AI 資料即時分析可以協助 Kubernetes 營運商[5]簡化以硬體為基礎之加速器(例如 GPU、DPU 等)的複雜性,從而提升靈活性,並且更易於在分散的環境(包括遠端資料中心)進行部署。

  • 此概念驗證採用 NVIDIA A100 Tensor Core GPUNVIDIA ConnectX-6 NIC 進行 AI 推論。

富士通資深副總裁與企業系統商業設備主管 Kenichi Sakai 表示:「藉由我們的伺服器技術,包含支援分解式運算的 PRIMERGY CDI,我們持續致力於實現永續且更智慧的社會。此次概念驗證結果顯示,在 2026 年實踐 IOWN 商業化的可行性已經提高,且 IOWN 具有 AI 應用的潛力。富士通透過 PRIMERGY CDI 的可組合性實現更高效能和能源效率,並持續為 IOWN 運算基礎架構的實踐做出貢獻。」

NVIDIA 電信部門資深副總裁 Ronnie Vasishta 表示:「AI 推論的需求正不斷成長,而電信邊緣扮演著關鍵角色。NVIDIA 與 NTT、IOWN 長期合作,將 APN 網路與加速資料處理管道和 AI 結合,展現低延遲且節能的電腦視覺和影像處理技術。」

該解決方案有助於為 AI 賦能的智慧技術奠定基礎,進而協助企業持續地擴大規模。透過此解決方案,企業可受益於:

  • 減少因收集大量資料所產生的營運費用;

  • 強化能在都會區及偏遠資料中心之間共享以加速 AI 分析的資料收集;

  • 使用當地既有及潛在的再生能源之能力,例如太陽能或風力;

  • 以攝影機作為感測裝置提升區域管理安全性 

額外資源

Red Hat 聯絡資訊 

關於 Red Hat

Red Hat 是企業開放原始碼軟體解決方案的全球領導廠商,透過社群推動的方式,提供可靠、高效能的 Linux、混合雲、容器與 Kubernetes 技術。Red Hat 幫助客戶整合新舊 IT 應用服務、開發雲端原生應用、在業界領先的作業系統上進行標準化,並自動保護與管理複雜的作業環境。Red Hat 提供獲獎的支援、訓練與諮詢服務,是深受眾多財星五百大企業信賴的顧問公司。作為雲端服務供應商、系統整合商、應用程式開發商、客戶與開放原始碼社群的策略夥伴,Red Hat 能幫助企業為數位時代做好準備。


[1]創新全光和無線網路全球論壇:https://iowngf.org/

[2]概念驗證參考資料:區域管理安全實例參考實施模型,2022 8 月。

https://iowngf.org/wp-content/uploads/formidable/21/IOWN-GF-RD-RIM_for_AM-S_UC_PoC_Reference_1.0.pdf

[3]這項示範以 Red Hat OpenShift 4.13 進行容器調度。

[4]此概念驗證採用搭載 NVIDIA A100 Tensor Core GPUNVIDIA ConnectX-6 NIC 的富士通 PRIMERGY RX2540 M7,在邊緣/郊區資料中心進行 AI 推論。該概念驗證還利用 NVIDIA資料管道加速庫,例如 NVIDIA RivermaxnvJPEGCV-CUDA 以及統一通訊的 XFramework

熱門新聞

Advertisement