| Nvidia | TensorRT 8 | 稀疏性 | 量化感知訓練 | SDK | Transformer
Nvidia推出新一代推論開發軟體TensorRT 8，用於BERT-Large模型最佳化推論只要1.2毫秒
Nvidia宣稱，若以新一代的深度學習推論軟體開發套件TensorRT 8，最佳化超大Transformer模型BERT-Large，並部署在V100上執行，只要1.2毫秒就能完成推論。相較於TensorRT 7，不僅推論時間快一倍、推論準確性也提升一倍
2021-07-21