鎖定自駕車/機器使用的Nvidia Orin處理器。

圖片來源: 

Nvidia

為加速對話式AI應用的發展,Nvidia在中國舉行的GTC發表了新一代的推論軟體開發工具TensorRT 7,同時,針對自駕車及機器發表了最新AI處理器Orin及深度神經網路服務。

在今年的中國GTC活動中,Nvidia宣布百度、阿里巴巴的推薦引擎已採用Nvidia GPU,在大量的內容或商品裡,提供適合用戶的內容或商品推薦,而在AI工具部份,Nvidia發表了新一代的推論軟體開發工具TensorRT 7,以加速更即時的對話式AI相關應用的開發。

Nvidia表示,TensorRT為一推論最佳化的軟體開發工具,能夠將TensorFlow、Pytorch等框架訓練好的AI模型,經過優化後良好的執行在Nvidia的GPU上。

相較於先前的TensorRT 5支援CNNs,以及少數的神經網路架構如SSD ResNet-50,TensorRT 7現在支援了Transformers及RNNs,以及更多的架構,像是BERT、MT-DNN、RoBERTa、DeepASR等等,有助於對話式AI的應用。

Nvidia指出,TensorRT 7提供的優化,除了提升執行的效率外,也能降低神經網路使用的記憶體,還有記憶體間的溝通。

以英文說出的語句為例,如果想要將它翻譯為中文,從ASR的取出語音特徵、輸入聽覺模型,到NLU及TTS,Nvidia指出TensorRT 7的處理延遲時間能降到0.3秒以下,和CPU相比,在對話式AI的執行速度提升10倍以上。

新自駕車/機器AI處理器Orin亮相

至於自駕車市場,Nvidia先前推出運算系統,並和多家汽車廠商聯手,積極進入先進輔助駕駛、自動駕駛汽車領域。

而在今年的中國GTC上,Nvidia發表了供自駕車、機器使用的DRIVE AGX Orin運算平臺,該平臺主要使用了Orin處理器,為一款SoC系統單晶片,內含170億的電晶體,整合Nvidia下一代的GPU架構及Arm的Hercules CPU核心,具備電腦視覺及深度學習加速功能,效能達200TOPS,為前一代Xavier處理器的7倍。

此外,該公司也針對自駕車的AI開發,在NGC上推出深度神經網路Nvidia Drive,提供外界事先訓練好的自駕車AI模型,處理攝影機、雷達、光達蒐集的大量資料,以辨識人或車等物體、交通指揮手勢、交通號誌,或是道路標誌等等。Nvidia也和中國知名的叫車服務滴滴出行合作,滴滴將採用Nvidia的GPU、深度神經網路Nvidia Drive,開發Level 4的自駕車。


Advertisement

更多 iThome相關內容