【Nvidia邊緣運算平臺已明確橫跨多種產業應用】在EGX平臺的配置上,Nvidia除了定義了底層的硬體運算平臺,上層的軟體堆疊架構,針對不同產業應用,也提供了多種應用程式框架與軟體開發套件,像是電信業、智慧城市、醫療照護、智慧製造、雲端遊戲。(攝影/李宗翰)

在今年舉行的世界行動通訊大會洛杉磯站(MWC Los Angeles),Nvidia力推他們發展的EGX邊緣運算超級電腦平臺,支援AI、5G、IoT應用場景,並宣布多家企業採用EGX,像是零售業有沃爾瑪(Wallmart),製造業有BMW、寶僑(P&G)、三星電子、富士康,電信業有東日本電信電話(NTT East),而在公部門的部分,有舊金山和拉斯維加斯採用。

而Nvidia在這個邊緣運算平臺的組成上,除了運用他們持續發展的高性能GPU,以及與OEM硬體廠商、系統軟體廠商合作,推出經過認證的EGX伺服器,更特別的是,Nvidia也根據5G、智慧城市、延伸實境(XR)等領域,推出了專屬的應用程式框架與軟體開發套件(SDK),它們分別是Aerial、Metropolis,以及CloudXR。

這幾款開發軟體的命名,相當直覺。例如,Aerial讓人聯想到迪士尼動畫電影小美人魚Ariel,而5G網路應用就跟溝通有關;Metropolis就是大都市,Nvidia在這個物聯網應用框架當中,涵蓋了城市管理、商品零售、生產製造等場景;CloudXR能讓使用者透過低延遲的5G網路、視訊串流技術,以及位於雲端或資料中心的伺服器,而能建立與提供高品質的擴增實境(AR),以及虛擬實境(VR)體驗。

Nvidia Aerial的技術架構

針對軟體定義5G無線存取網路的應用,Nvidia提供名為Aerial的軟體開發套件,當中包含了cuVNF和cuBB等兩套軟體開發套件,從圖中的組成架構來看,綠色部分是Nvidia提供的技術,而cuVNF和cuBB(cuPHY、cuMAC Scheduler)均屬於應用程式層級的軟體,藍色的部份是Intel提供的技術,紫色則是Mellanox的技術。攝影/李宗翰

電信業:建構軟體定義式5G網路,提供支援GPU加速的方案

電信基礎設施的兩種運算架構比較

目前電信業在建置IT基礎架構時,通常會採用標準商用化的硬體設備(COTS)(左上圖),運算架構大多是CPU搭配FPGA硬體加速器,但在延展性上會受到限制,例如,在CPU連至記憶體,以及FPGA時,會受限於I/O頻寬。

相較之下,Nvidia認為,支援大規模平行運算的GPU(右下圖),更能適應4G、5G網路的前向誤差更正(Forward Error Correction,FEC)處理,可支援線上的5G實體層處理速度,以及軟體定義的加速方式。攝影/李宗翰

在電信業者發展5G網路的過程中,由於延遲更低、頻寬更大、連接的設備更多,在網路切割(Network Slicing)的作業上,勢必要做到更精細、更能動態處理的程度,因此,虛擬化無線接取網路(vRAN)的作法也開始受到重視,而這當中也需要搭配硬體加速技術,以便降低成本、改善效率。

相較於現行使用CPU搭配FPGA來加速vRAN的方式,很可能會受限於記憶體存取的部分,而無法擴展執行規模,Nvidia認為,若能改用擅長大量平行處理的GPU,可以提供最大的處理容量,以及最好的耗電效率,能做到「線上(In-line)」的5G訊號實體處理,並且透過他們首創的軟體定義式基頻單元(Software Defined BBU),以軟體搭配GPU加速的作法,支援5G網路擴展規模的需求。

若電信業有意採用上述軟體定義5G RAN的架構,可在EGX平臺這類搭配Nvidia GPU的伺服器上,使用Aerial裡面的兩個軟體開發套件:cuBB(CUDA Baseband)、cuVNF(CUDA Virtual Network Function),它們皆屬於應用程式層級的元件,而在這個層級之下,則有硬體(CPU、GPU、NIC)、作業系統核心(GPU驅動程式、記憶體存取模組、網路卡驅動程式)、程式庫(CUDA、GPUDirect RDMA、DPDK)。

值得注意的是,由於Nvidia Aerial支援EGX平臺的緣故,這意味著它可相容於現行的企業級Kubernetes基礎架構。

這兩套SDK各自提供了哪些功能?cuBB針對的部份,在於以GPU加速5G訊號處理的流程,可將所有網路通訊實體層的作業(L1 5G Phy),在GPU內建的高效能記憶體當中處理,而得以大幅提升網路吞吐能力與傳輸效率。

對於5G網路實體層的訊號處理工作,cuBB提供卸載到CPU和GPU的流程,在中央單元(Central Unit,CU),以及分散式單元(Distributed Unit,DU)的處理上,可運用CPU和GPU來加快執行速度。從GPU的角度而言,可透過cuBB當中包含的另一套cuPHY SDK,處理複雜的無線射頻訊號上傳與下載流程。

除此之外,cuBB也提供了cu_MACScheduler的軟體開發套件,它和cuPHY同屬虛擬化網路功能(VNF)的層級。

至於cuVNF,負責調校網路的輸出入與封包處理,能將5G網路的封包經由支援GPUDirect的網路卡,像是Mellanox CX-5系列和CX-6系列,直接送至GPU記憶體。這套軟體開發套件當中,也包含了多種功能,像是支援GPU I/O的資料層開發套件(Data Plane Development Kit,DPDK)、通用公共射頻介面(evolved Common Public Radio Interfacee,CPRI)。

地方政府、零售業:因應交通、零售應用需求,提供AI軟體框架

Nvidia Metropolis的架構

Nvidia提供的Metropolis,是專攻智慧視訊影像分析(Intelligent Video Analytics)的應用程式框架,能用於智慧城市相關的多種領域,像是零售分析、公共運輸、生產製造、倉儲後勤,而在EGX平臺當中,我們可以透過Metropolis來管理與彙整感測器與攝影機擷取的資料,執行資料即時分析、使用智慧型索引與儲存、套用規則引擎,以及使用視覺化處理工具包。攝影/李宗翰

在不同產業的應用上,Nvidia先前針對製造業和醫療產業,分別推出了Isacc和Clara,而此次MWC Los Angeles大會期間,他們也正式跨足電信業,提供上述的Aerial,並且在智慧城市相關的公共與商業使用需求當中,提供Metropolis的物聯網應用程式框架,並在大會展區示範在EGX平臺執行的使用場景。

以城市管理的交通運輸而言,Nvidia找來Esri公司,展示他們運用了Metropolis、DeepStream SDK,以及HPE的EGX伺服器,偵測與警示行人與交通異狀。

EGX的智慧交通應用

以人工智慧來改善道路交通的管理,是建置智慧城市時的重點項目,以提供地理資訊系統產品聞名的Esri公司,在Nvidia展區示範AI輔助的交通監控系統,可同時處理多個路口的視訊畫面,若發生意外的車輛行駛異狀,系統將會偵測出來。該公司在這裡的情境展示,所應用的軟硬體環境,主要有Nvidia的Metropolis框架、Red Hat的系統軟體、HPE的伺服器與Nvidia T4推論加速卡。攝影/李宗翰

用於商品零售的部份,AiFi示範了無人商店這類智慧零售的應用,線上系統的購物車項目內容,可以根據消費者自貨架取出商品或放回的動作,而有所變化,當中採用了Metropolis的軟體框架,而硬體運算設備則有Supermicro的EGX伺服器、Nvidia單板電腦Jetson Nano。目前這套自動結帳解決方案,已有實際用戶,例如,家樂福、Ahold、Zobka、Valora等4家業者,皆開始導入。

在AI幫忙的消費者自助服務類型當中,Nvidia也展出合作廠商碼隆科技(Malong)的解決方案RetailAI。這套系統本身設置了攝影機與磅秤,可同時辨識生鮮蔬果的外觀(裝進塑膠袋也能辨識)與秤重,待消費者確認無誤後,即可印出標價貼紙,供其黏貼到商品本體或置入的透明塑膠袋上。在軟硬體架構上,他們也採用了Metropolis軟體,以及Dell EMC的EGX伺服器。

特別的是,碼隆科技也在現場展區播放AI自助收銀示範影片,也可看出此類系統具有防弊作用。例如,若消費者在結帳設備的自行處理掃描商品條碼時,故意用其他條碼標籤置於想要購買的商品條碼之前,企圖讓收銀系統誤認這是該商品的條碼,由於商家結合商品外觀辨識的機制,能讓系統在核對消費者購買的商品項目時,多了一項判斷依據,而跳出異常警示畫面,並在當下暫停結帳程序,提示消費者找現場人員處理。

另一家展示相關應用的AnyVision,則是透過Metropolis軟體與聯想的EGX伺服器,分析顧客在賣場的行為活動,像是進出流量(Footfalls、來客性別、滿意度),以及經常佇足的熱區。

EGX的智慧零售應用

關於無人商店的建置,是當前零售業最關注的創新應用,Nvidia找來美國新創公司AiFi在MWC Los Angeles大會,現場展出他們的自動商店平臺Autonomous Store platform,背後搭配的邊緣運算平臺,包含了Nvidia的Metropolis應用程式框架、Jetson Nano單板電腦,以及T4推論加速卡(搭配的伺服器廠牌是Supermicro)。攝影/李宗翰

關於智慧零售的應用,Nvidia創辦人暨執行長黃仁勳也在MWC Los Angeles期間舉辦的主題演講過程當中,也特別介紹並展示Metropolis的應用,同時,也提及多型態人工智慧(Multi-modal)的軟體開發套件Jarvis──他透過兩段影片示範Jarvis應用場景,首先是一對男女在車上討論天氣和餐廳,Jarvis根據他們的對話做出各種適當的反應,另一段影片則是在商店現場,根據顧客口中說出的問題與指引的手勢,以輸出語音內容來回答商品的相關資訊,協助購買店內陳設的各種產品。

製造業:觀看延伸實境不需專屬設備,能以各種裝置呈現高畫質內容

EGX可支援延伸實境

檢視3D產品設計圖稿的內容,屬於製造業的應用範圍,Nvidia在MWC Los Angeles大會期間,以智慧型手機與5G寬頻無線網路的技術,展現他們即將推出的延伸實境應用,透過CloudXR軟體開發套件所設計的用戶端應用程式,一般使用者只需透過手機與頭戴式顯示裝置,就能隨時隨地檢視遠處資料中心虛擬機器執行的3D內容,大大降低這類應用的用戶端環境門檻。攝影/李宗翰

黃仁勳在演講的最後,還展示Nvidia最新推出的CloudXR軟體開發套件,能讓擴增實境和虛擬實境體驗,藉由5G網路與各種連網裝置呈現。

這項解決方案架構在Nvidia的GPU技術、CloudXR SDK,企業可開發與提供AR與VR體驗,而且,這些內容的呈現,都是基於OpenVR軟硬體通用介面的應用程式而成的,同時,用戶端不需要高效能工作站或個人電腦,也能透過智慧型手機享受豐富的延伸實境體驗。

目前,這套SDK是由幾個部分所構成。首先,是執行在伺服器的驅動程式;第二,是易於使用的個人端裝置程式庫,能在Android與Windows連網設備上,支援大量OpenVR應用程式的VR與AR內容串流;第三,則是針對行動裝置環境的軟體開發套件,能讓開發人員以簡單的方式,以串流傳輸的方式,從雲端取得經渲染處理的數位內容。

在這樣的架構下,企業可以將內部的資料中心當中,利用Cloud XR與5G網路,透過串流方式來呈現延伸實境的應用。而對於電信業者、軟體開發商、設備製造商而言,也能將延伸實境體驗,傳遞到更多用戶與地點。

此外,Cloud XR還能用於許多場合,例如,設計師呈現繪製完成的3D模型、救災演練情境模擬,而且能讓更多設備支援延伸實境應用,像是Windows電腦、Android裝置、平板電腦、VR頭戴式裝置、AR眼鏡。


Advertisement

更多 iThome相關內容