| 微軟 , | Nvidia , | T-NLG , | AI , | 語言產生模型 , | 神經語言 , | 自然語言

軟硬體技術突破,微軟建立擁有高達170億個參數的語言產生模型

除了Nvidia的硬體技術支援,微軟使用了DeepSpeed訓練加速函式庫與ZeRO記憶體最佳化方法,大幅提升模型訓練效率

2020-02-11