Nvidia發展了名為GPUDirect儲存(GPUDirect Storage)的資料傳輸技術,加快位在各種儲存的資料,傳輸到GPU記憶體的速度,可以將頻寬增加至原本的2到8倍,而且還能降低端到端的延遲達3.8倍。
由於人工智慧以及高效能運算的資料集規模不斷的增加,應用程式載入資料花費的時間越來越長,進而影響了應用程式的效能,而且特別是端到端架構,會因為緩慢的I/O使得運算速度日益提升的GPU無用武之地。Nvidia提到,將資料從儲存器載入到GPU,過去都是由CPU負責,而這將會成為硬體效能的瓶頸。
資料從NVMe磁碟傳輸到GPU記憶體的標準路徑,是使用系統記憶體中的反彈緩衝區(Bounce Buffer),而GPUDirect儲存技術避免使用反彈緩衝區,以減少額外的資料副本,並使用直接記憶體存取引擎(Direct Memory Access,DMA)將資料直接放到GPU記憶體中,為遠端或是本地儲存,諸如NVMe或NVMe over Fabric,和GPU記憶體之間,建立一個直接傳輸資料的路徑,而這能有效減輕CPU I/O的瓶頸,提升I/O頻寬和傳輸資料的量。
Nvidia提到,GPUDirect儲存技術的主要功能,就是透過這個新的檔案系統,以直接記憶體存取的方式,將資料傳輸至GPU記憶體上。無論資源原本存放在什麼位置,都能使用GPUDirect儲存技術,這些儲存可能位在機箱內、機架上甚至通過網路連接都可以。
Nvidia在GPU資料科學平臺RAPIDS中的GPU資料影格(GPU DataFrame,GDF)函式庫cuDF上進行實驗,發現使用GPUDirect存儲技術,比起原始cuDF CSV讀取程式,將資料傳輸到GPU記憶體的吞吐速度快了8.8倍。cuDF是讓使用者在GPU上,用來載入、過濾、排序和探索資料集的函式庫。
Nvidia表示,應用這項新技術,遠端儲存、本機端儲存以及CPU記憶體到GPU記憶體的頻寬,可以在互相組合後加乘,以人工智慧超級電腦DGX-2為例,從CPU系統記憶體到GPU記憶體的頻寬限制為50 GB/s,但綜合從系統記憶體、本機端硬碟以及NIC(Network Interface Card)的資料,最高頻寬甚至可以達215 GB/s。
熱門新聞
2024-10-05
2024-10-07
2024-10-07
2024-10-07
2024-10-07
2024-10-07
2024-10-07