提供6至8倍AI效能，Nvidia發表新一代邊緣運算硬體平臺

繼2018年Nvidia發表Jetson Xavier單板電腦、Jetson AGX Xavier開發者套件，隔年11月推出Jetson Xavier NX模組，到了2021年6月，接續發表Jetson Xavier工業模組，同年11月，他們推出新一代單板電腦Jetson AGX Orin。

在2022年3月底舉行的GTC大會，Nvidia宣布推出醫療AI應用設備平臺Clara Holoscan MGX，以及Jetson AGX Orin開發者套件，兩者都採用Jetson AGX Orin；隨後於5月底舉行的台北國際電腦展期間，更有超過30家廠商宣布推出基於Jetson AGX Orin的正式系統，產品類型包含視訊攝影機、感測器等設備，可支援邊緣AI、AIoT、機器人與嵌入式應用，當時Nvidia預告將於7月推出Jetson AGX Orin新款模組，9月Jetson Orin NX模組將會登場。

效能大幅增長

到了8月，Nvidia發表Jetson AGX Orin 32GB模組，並表示有32家廠商推出基於新模組的產品，相較於前一代可提供6倍的運算效能。

所謂的6倍效能提升，可追溯至Nvidia最初發表，當時他們表示，這項突破主要得力於Jetson AGX Orin採用Ampere架構Nvidia GPU，每秒可執行200兆次的運算（200 TOPS），

而在處理器的部分，這裡搭配的是Arm Cortex-A78AE，採用Armv8.2架構，本身也配備了新一代深度學習與視訊處理加速器。除此之外，這個平臺也提供了高速介面、更快的記憶體存取速度，並且支援多種模態的感測器，可同時支援多個AI應用處理流程的餵送。

在今年3月，Nvidia上修了Jetson AGX Orin運算效能，他們表示，每秒最高可執行275兆次的運算，而且，若以上一代平臺Jetson AGX Xavier為基準，可提供8倍以上的運算能力。

若檢視Nvidia在7月公布的Jetson AGX Orin最新技術規格文件而言，我們可以看到更具體的硬體組態。以處理器而言，這裡使用Nvidia發展的系統單晶片Orin，結合Arm架構CPU、Ampere架構GPU，以及多種加速器。

依據搭配的記憶體容量有32GB與64GB之分，Jetson AGX Orin模組所搭配的CPU，分別是8或12個Cortex-A78AE核心；GPU也有兩種配置，一是1792顆CUDA核心搭配56顆Tensor核心，另一是2048顆CUDA核心搭配64顆Tensor核心；而在加速器的部分，Orin包含了Nvidia發展的第二代深度學習加速器（DLA）、第二代可程式化視覺加速器（PVA），以及高動態範圍成像影像信號處理器（HDR ISP）、視訊編碼器、視訊解碼器。

相較之下，Jetson Xavier系列的運算核心包含6種高效能處理器，像是Volta架構GPU、名為Carmel的6核心與8核心Arm架構CPU、2個Nvidia深度學習加速器，以及影像處理器（Image Processor）、視覺處理器（Vision Accelerator）、視訊處理器（Video Processor）各1個，可同時處理數十個演算法，以及即時執行感測器處理、距離測量、定位與地圖對應、視覺與感知、路徑規畫。

而在AI運算效能的規格上，Jetson AGX Orin的32 GB記憶體版本為200 TOPS，64 GB版本則為275 TOPS，而這也呼應了Nvidia在不同時間發布相關消息時所提到的規格。若以前一代平臺Jetson Xavier系列提供20至32 TOPS的效能為基準，晚近登場的Jetson AGX Orin運算能力增長幅度的確是6到8倍之間。

就支援使用的軟體開發環境而言，Jetson AGX Orin一如過去Nvidia推出的單板電腦，同樣可運用該公司發展的CUDA-X加速運算堆疊、JetPack軟體開發套件，以及各種應用程式開發與最佳化工具，如Isaac系列機器人軟體套件、Metropolis人工智慧影像分析軟體框架等，並能用於雲端原生開發流程。

舉例來說，存放在NGC雲端服務平臺型錄的預先完成訓練資料模型，開發人員能夠直接取用經過最佳化調校的模型，並將其搭配Nvidia提供的TAO工具包，以及本身彙整的資料集，如此一來，對於符合上線品質要求的AI部署，可縮短作業時間與成本，充分運用雲端原生技術而能在這類系統運作期間獲得持續更新，協助開發者存取超大型且相當複雜的模型，因應機器人與邊緣AI應用領域面臨的挑戰，像是3D感知、自然語言理解、多重感測器融合（multisensor fusion）。

產品資訊

Nvidia Jetson AGX Orin
●原廠：Nvidia
●建議售價：32 GB模組為999美元，64 GB模組為1,599美元，開發者套件為1,999美元
●外型尺寸：100 x 87 公釐
●中央處理器：8核心Arm Cortex-A78AE、12核心Arm Cortex-A78AE
●繪圖處理器：Nvidia Ampere架構，1792個核心搭配56個Tensor Core，2048個核心搭配64個Tensor Core 
●記憶體：LPDDR5，32 GB、64 GB
●儲存空間：64 GB eMMC 5.1
●網路介面：GbE埠、10GbE埠各1
●運算效能：92、105 INT8 TOPS，6.73、10.649 TFLOPs
●顯示介面：DP 1.4a/eDP 1.4a/HDMI 2.1，支援8K60解析度
●連接介面：PCIe（2個x8、1個x4、1個x1）、3個USB 3.2 Gen2、4個USB 2.0

【註：規格與價格由廠商提供，因時有異動，正確資訊請洽廠商】