Nvidia在技術大會並未透露UCF框架更多細節,不過自家官網已經悄悄地將UCF框架公開列入未來重要發展項目。從這個網頁介紹,UCF框架是一個用來開發即時處理Edge AI應用的加速框架,涵蓋從高速網路儲存I/O、資料處理、影像訊號處理,到DNN神經網路和PINN物理神經網路、繪圖運算以及串流處理都包含其流程內,還結合了容器化微服務以及No-Code設計工具。(圖片來源/Nvidia)

在今年秋季GTC大會上,Nvidia展示一個Kiosk自助點餐機器人語音助理,這個虛擬語音助理很不一樣,不光是Q版機器人造型很討喜,一看到顧客上門還會開心招手,邊聽客人點餐時,會邊注意對方的臉部表情和聲音,來做出生動表情與其互動,還知道起司漢堡是什麼口味,能依客人喜好來推薦套餐或加哪些配料,甚至想要查詢食物的蛋白質含量,或素食漢堡知識也難不倒它。Nvidia在這臺Kiosk機臺裡結合多種AI技術在裡頭。

自助點餐機上裝有攝影機和收音裝置,顧客點餐的同時,串流影像和聲音會即時輸入到機臺,結合各種視覺、語音AI應用,像是會有一個視覺AI模型,負責客人臉部偵測與追蹤,同時還有ASR語音模型將語音轉成文字,並從文字上下文來理解其意圖,最後合成語音,再透過Omniverse模擬平臺,模擬逼真的機器人臉部表情和動作,再輸出到Kiosk機臺上來顯示。所有過程都是即時處理。

Nvidia透露,之所以能夠快速兜出這樣一個邊緣多AI應用的Kiosk對話機器人,靠的就是一套統一運算框架( Unified Compute Framework,UCF),能夠將個別AI應用,透過統一機器人處理流程,集中到EGX設備上做運算處理,不論是需要AI語音、AI視覺,繪圖運算和模擬處理過程,都可透過這套框架來提供。

圖片來源/Nvidia
Nvidia最新展示的Kiosk自助點餐機器人語音助理,是在Maxine數位機器人平臺中來做開發,同樣採用UCF框架。該應用結合電腦視覺、互動式對話AI技術Riva以及使用Omniverse模擬虛擬化身的臉部表情、手勢、身體動作。

為何Edge AI需要統一運算框架?

Nvidia執行長黃仁勳在會中多次提到這個框架的重要性,甚至將它視為該公司未來搶進Edge AI產業不可缺少的關鍵武器之一,未來可以運用在製造業、零售、交通、醫療等行業等。

為何Edge AI需要統一運算框架?黃仁勳解釋,邊緣運算的統一概念,是要能夠處理感測器、高速I/O、訊號與物理處理、AI推論和繪圖運算等一連串技術的組合需求,這和機器人處理流程相同,甚至必須做到即時處理。所以他認為,邊緣應用程式的本質是一個機器人應用程式,都是在類似條件下執行相似的任務,如無人自駕車等,「而為了打造出一個能夠處理機器人流程的邊緣AI應用程式,需要有UCF框架才行。」

這些處理流程包括將專用加速器、CUDA GPU、深度學習Tensor核心、RTX繪圖技術、網路、資安和高速IO處理鏈結在一起,讓企業或開發人員能透過UCF框架,迅速打造出所需的即時Edge AI應用程式。

也因此,Nvidia的Edge AI策略,明顯不同於其他大型公有雲業者,從雲端AI來切入Edge AI戰場,反而一開始就考慮到邊緣應用本身的特性,從即時處理的Edge AI切入,而UCF框架就是這家公司未來要搶攻Edge AI戰地的重要利器,可以把開發Edge AI應用所需AI軟硬體資源的處理流程,都透過這套框架來提供,以便能夠開發出能立即反應的Edge AI應用程式,也簡化Edge AI應用開發流程。

以UCF框架建立出來的Edge AI應用程式,除了可以部署到邊緣運算設備或嵌入式系統中,未來也能夠在資料中心來執行。

儘管,Nvidia在會中沒有透露關於UCF框架更多細節,甚至也沒有排專屬議程來介紹這個新框架,不過在他們的官網已經悄悄地將UCF框架公開列入未來重要發展項目。從這個網頁的介紹可知,UCF框架是一個用來開發即時處理Edge AI應用的加速框架,涵蓋從高速網路儲存I/O、資料處理、影像訊號處理,到DNN神經網路和PINN物理神經網路、繪圖運算以及串流處理都包含其流程內,透過這些處理流程的串接,進而實現即時邊緣AI應用。

引進容器和微服務,讓Edge AI開發更敏捷

為了要加速Edge AI開發,Nvidia在UCF框架中還引進當紅的容器技術和微服務架構,目的是要把每種AI應用(包含視覺AI、對話AI、 數據分析、繪圖渲染等),都變成一個個微服務,跑在容器裡,未來可以獨立部署和管理在Edge AI應用程式中,藉此讓Edge AI開發變得更敏捷。

待完成開發以後,開發人員只須將 UCF應用程式打包到容器中,就能透過Helm圖表來加以部署,後續也能在圖表中管理UCF應用程式中所需的資源。從這個圖表中,可以很清楚看到目前在多AI邊緣應用程式中,使用到哪些AI推論模型、各種資料處理流向,以及搭配硬體彼此間的關係。

UCF框架本身也提供一個IDE開發環境和No-Code設計工具,來簡化微服務在應用程式中的建立、管理和部署。開發者可以使用No-Code工具完成程式編寫,只要透過拖移方式,就能迅速組合出邊緣AI應用程式的處理流程,再依據這些流程,建構不同AI形式用途、繪圖和其他處理功能,即使不是專業程式設計人員也能迅速上手。在IDE中也有制定設計規則和驗證程序,來確認UCF應用程式的設計正確性。

另外,該框架已經內含預先驗證並部署好的微服務,來加速應用程式開發,開發人員也能使用Nvidia SDK工具來新增或客製所需微服務。該框架也有提供一些個別產業的參考設計,像是零售Kiosk機臺應用、醫療影像診斷應用、智慧交通運輸等。

UCF框架本身還提供Edge AI加速運算所需的軟硬體及各種SDK工具,像是底層可以搭配EGX邊緣運算平臺,不同場景AI加速運算,也有提供如DeepStream、Riva、Omniverse、Triton和Magnum IO等相關SDK工具。

儘管,該框架明年才會釋出,但Nvidia在主要Edge AI產品中,已經開始使用UCF框架,像是前幾年發表的AI影像分析串流平臺Metropolis,率先使用UCF框架來設計出能支援多感測器的Edge AI 應用。Nvidia表示,透過使用UCF框架,讓以往AI視覺應用更容易跨不同感測器來執行,不只結合AI影像串流的攝影機,未來還能在光達、深度感測器、雷達、超音波等不同感測裝置上提供邊緣AI處理能力。

Nvidia最新展示的Kiosk自助點餐機器人語音助理,是在Maxine數位機器人平臺中做開發,同樣採用UCF框架來提供即時處理的Edge AI應用。該應用結合電腦視覺、互動式對話AI技術Riva以及使用Omniverse來模擬虛擬化身的臉部表情、手勢、身體動作,來提供一種即時對話式機器人服務。

新發表的醫療診斷邊緣AI平臺Clara Holoscan,也以UCF框架處理這些邊緣運算流程,將不同視覺AI模型、資料視覺化、高速IO、訊號處理流程鏈結到一個軟體定義的醫療儀器設備中來處理,儀器設備商想用它打造屬於自己的醫療邊緣AI應用將更容易許多。


熱門新聞

Advertisement