| google | AI | 語言模型 | MoE
Google讓模型依任務學習路由,有效提高大型語言模型推理效率
Google發表新的新型混合專家模型TaskMoE,大小不只是典型混合專家模型TaskMoE的七分之一,吞吐量更是提升達2倍
2022-01-18
| 微軟 | MoE | Mixture of Experts | Tutel | MoE函式庫 | 深度神經網路 | DNN | 人工智慧 | AI
微軟釋出高效能MoE函式庫Tutel
作為補充當前MoE(Mixture of Experts)的實作,Tutel是個經過最佳化的高效能MoE函式庫,相較於Meta釋出的fairseq,提供大幅的加速
2021-11-25