關於虛擬實境(VR),乃至於擴增實境(AR)、混合實境(MR)等數位內容,統稱為XR,同樣是近期相當受到關注的熱門技術,但在商業應用領域,尤其是專業繪圖處理的發展上,仍有許多挑戰要克服。

例如,在影像渲染處理的效能上,VR需同時支援更高的解析度(3024 x1680)與幀率(90 fps),以及更低的動態捕捉與顯示延遲(低於20毫秒)。

而為了達到這樣的要求,在設計相關產品內容時,負責這些工作人員戴上的虛擬實境頭盔,可能就必須以有線的方式連接到個人電腦或工作站,稱為接線頭戴式裝置(Tethered Headsets),這種解決方案可提供高效能,但成本高、行動性較差(必須在固定空間使用)。

除此之外,市面上,還有整合多種功能的獨立設備,雖然擁有較好的行動性、成本較低,然而,由於運算能力、記憶體、影像解析度不足,效能與使用體驗並不理想。

對此,GPU大廠Nvidia希望兼顧高品質影像處理,以及不受空間拘束的要求,而開始發展一種基於主從式架構而成的解決方案,名為CloudXR。

         

在這套架構當中,企業可透過遠端伺服器執行的XR應用程式,將VR、AR、MR等數位內容,經由乙太網路,以及5G、Wi-Fi等無線網路,傳輸到個人端設備,像是VR頭盔、智慧眼鏡等頭戴式顯示裝置(Head-mounted displays,HMDs),以及智慧型手機、平板電腦、筆電。

這當中會牽涉多種軟硬體技術的搭配,Nvidia將會提供專業繪圖處理器RTX系列GPU、vGPU軟體的虛擬工作站驅動程式RTX Virtual Workstation(RTX vWS,前身是Quadro Virtual Data Center Workstation,Quardro vDWS),以及執行在個人端裝置的軟體開發套件CloudXR Client SDK。

        

2019年下半登場,Nvidia先推軟體開發套件試水溫

就產品發布時程來看,CloudXR最初是在2019年10月舉行的MWC LA大會期間,首度公開亮相,Nvidia宣布將推出專用的軟體開發套件1.0版,讓企業可以基於Nvidia GPU,透過相容於OpenVR這個普遍用於VR硬體與軟體介面標準的應用程式,以及5G這類超高速無線網路的傳輸,來建立與提供高品質的AR與VR體驗。

當時Nvidia表示,這套軟體開發套件的執行位置,可以是雲端服務環境,或是企業內部資料中心的伺服器(搭配Nvidia GPU),而在個人端的部份,使用者可運用安裝Windows、Android作業系統的設備,像是手持式平板電腦、VR頭戴式裝置、AR眼鏡,讓多人能夠在線上檢視大量3D模型,或是模擬災難救援演練。

而在CloudXR SDK 1.0包含三大核心元件,分別是:用於資料中心伺服器的驅動程式,用於Windows與Android個人端裝置的VR/AR串流程式庫,可傳輸OpenVR應用程式的大量內容,以及針對行動個人端裝置的軟體開發套件,可用於串流傳輸雲端服務渲染的數位內容。

到了2020年5月舉行的GTC春季大會期間,CloudXR SDK 1.0正式推出,對於三大核心元件的敘述略有修正。首先是伺服器端驅動程式(Server Driver),提供伺服器端的二進位檔案與程式庫;第二是個人端應用程式(Client App),提供不同作業系統專屬的範例應用程式;第三是個人端軟體開發套件(Client SDK),提供不同作業系統專屬的的二進位檔案與程式庫。

2020年下半,AWS與騰訊雲等兩家公有雲業者力挺,旗下GPU執行個體服務可建置伺服器平臺

既然CloudXR頂著「Cloud」的名號,除了本身提供伺服器軟體運作架構,能否在公有雲服務環境架設這個平臺、提供服務,自然也受到關注。

2020年10月,Nvidia與公有雲服務業者AWS宣布,將在AWS的雲端服務環境當中,提供Nvidia CloudXR平臺──用戶可運用Amazon EC2的P3與G4這兩個執行個體服務,架設CloudXR平臺。此時的CloudXR平臺包含的元件更豐富,不只是CloudXR SDK,還包括虛擬工作站軟體vWS,以及Nvidia發展的多種人工智慧軟體開發套件。

Nvidia表示,CloudXR SDK將支援所有相容於OpenVR標準的應用程式,以及手機、平板電腦、頭戴式顯示裝置等個人端設備,當中會運用備自我調適能力的網路視訊串流傳輸協定,可持續根據網路連線狀況的變化來進行調整,透過難以察覺傳輸延遲的方式,帶來豐富的操作體驗;vWS將以最快的幀率來提供最身歷其境的呈現,以及最高品質的繪圖處理,而且,相關平臺的建置與維運,可由AWS這類雲端服務業者來代勞,或是部署在企業資料中心;至於人工智慧軟體開發套件,則是能夠加快處理速度,以及強化沉浸式體驗,Nvidia表示,可整合或導入DLSS(2.1版可支援VR)、Jarvis、Audio2face等多種軟體技術。

而在GPU的配置上,由於CloudXR的圖形運算處理主要是在伺服器執行,因此,Nvidia建議,若要在商用環境提供這類型服務,並考量到日後性能擴充需求,可建置RTX伺服器平臺,也就是搭配Quadro RTX系列的專業繪圖加速卡(Turing架構的GPU),以便支撐運算量負載,或是虛擬工作站軟體驅動程式,支援多人連結使用。若只是進行一對一測試或用於傳遞簡單的XR內容,Nvidia表示,此時,伺服器搭配基於Pascal架構的GPU即可。

在公有雲的部分,CloudXR除了有AWS宣布率先支援,Nvidia在2020年12月中舉行的GTC中國大會期間,也公開展示騰訊雲(Tencent Cloud)的CloudXR串流體驗,以及先期採用的廠商案例:光輝城市(Sheencity),他們將CloudXR伺服器部署在騰訊雲GPU雲端運算執行個體(腾讯云GPU云计算实例),以此輔助自家的雲端3D視覺設計平臺軟體服務Mars。

2021年上半,2.0版與2.1版相繼問世,支援更多個人端裝置與蘋果iOS平臺,Azure也加入公有雲支援行列

到了今年,Nvidia陸續於1月與4月發布CloudXR 2.0版與2.1版。

以2.0版而言,CloudXR支援更多個人端設備,像是Oculus Quest 2、HoloLens 2,以及採用Android作業系統與Arm-64-v8運算架構的裝置。在內容呈現的方式上,這一版也增添了「注視點渲染比例縮放功能(Foveated Scaling)」,能改善視訊呈現品質來匹配頭戴式顯示裝置的光學顯示方式。同時,Nvidia在此新增「延遲性組態Latency Profiler」,可展示CloudXR串流傳輸流程的多種延遲性,供應商與開發人員得以了解XR內容呈現的延遲與效能表現。

在後續發布的2.1版當中,CloudXR最大的突破是支援了蘋果iOS裝置的AR應用──採用iOS 14.2的智慧型手機iPhone(6s到12),以及平板電腦iPad系列設備,均可基於Apple ARKit這套軟體框架,來執行與開發各種AR應用程式,而CloudXR就是透過ARKit的協助,才能在iOS裝置連至伺服器端串流傳輸上面提供的AR內容。新版CloudXR提供了Apple iOS Client SDK,當中包含iOS程式庫檔案與StreamSDK框架檔案,以及iOS AR範例應用程式。

以CloudXR SDK來看,2.1版總共提供了哪些個人端環境的軟體開發套件?除了Apple iOS Client SDK,還有Windows、Android WaveVR、Android OVR、Android ARCore、Windows Mixed Reality,Nvidia也針對幾種個人端平臺範例應用程式,更新搭配的軟體元件版本,例如,WaveVR、Android、Windows。

而在網路傳輸方式上,2.1版也調校了串流參數(Streaming parameters),以因應網路流量大幅抖動(high jitter)的狀況;CloudXR傳送視訊位元流(Video bitstreams)時,現在也能在位元流的標頭發布通知,表示要使用sRGB色彩空間的傳輸特性。

就CloudXR伺服器在公有雲的部署選擇上,同樣在4月傳來新消息。

首先是AWS,他們在雲端軟體應用市集(Marketplace),開始提供CloudXR的AMI映像檔,當中整合微軟的Windows Server 2019作業系統,以及Nvidia的CloudXR伺服器驅動程式與RTX vWS虛擬工作站軟體,可安裝在AWS的G4dn執行個體服務(搭配Nvidia T4 GPU)。

另一家公有雲業者微軟Azure也在此時宣布支援CloudXR,將在GPU執行個體服務NCv3、NCasT4_v3,提供CloudXR平臺,而且,已經有幾家廠商率先在Azure的執行個體服務當中,使用CloudXR,Nvidia透露,目前Innoactive、TechViz、Vection Technologies這三家公司有相關規畫。

就Nvidia整體的視覺運算解決方案而言,隨著CloudXR發展逐漸成熟,其統籌AR/VR等進階視覺運算的定位,也日益清晰,並可基於Nvidia的GPU技術,提供更多5G網路內容應用。

而這當中該搭配何種等級的GPU,以及驅動程式、開發工具等多種軟體,Nvidia也都一一列出可能的選項。

再從相關產品與技術的脈絡與源流來看,Nvidia表示,他們在發展Omniverse的過程當中,延伸出許多工具與軟體開發套件,CloudXR也是其中之一,兩者可以相互搭配使用。例如,開發人員在使用Omniverse這套模擬及協作平臺時,可藉由CloudXR來呈現這些內容,提供高品質沉浸式的體驗,而目前這樣的使用方式,在個人端裝置的部份,可在Android環境提供支援,預計7月會有更新版本,屆時可讓iOS裝置支援這樣的整合操作。

產品資訊

Nvidia CloudXR 2.1
●原廠:Nvidia
●建議售價:廠商未提供
●包含元件:CloudXR Server Driver、CloudXR Client App、CloudXR Client SDK
●運作架構:主從式架構,伺服器搭配VR、MR、AR個人端程式
●伺服器系統需求:作業系統為Windows 10、Windows Server 2016,GPU為Nvidia Pascal架構之後的GeForce/Quadro/Tesla,開發環境為相容OpenVR應用程式或SteamVR
●個人端系統需求:
   Windows 7~10電腦,搭配Nvidia Pascal架構之後的GeForce/Quadro/Tesla GPU,支援VR設備為HTC Vive、HTC Vive Pro、HTC Valve Index;
   Android 7.0裝置,硬體運算需支援OpenGL ES 3.0、可處理4K @ 60hz畫質的HEVC硬體解碼器,支援VR設備為Vive Focus Plus、Oculus Quest、Oculus Quest 2
   iOS 14.2裝置:iPhone 6s~12、iPad/mini/Air/Pro
●軟體開發套件需求:
  Android 3.4/4.0、Android SDK7.1.1、Android NDK 21.4
  Xcode 12.2(Apple ARKit)
  Windows 8.1 SDK

【註:規格與價格由廠商提供,因時有異動,正確資訊請洽廠商】


熱門新聞

Advertisement