| google | AI | 語言模型 | MoE

Google讓模型依任務學習路由,有效提高大型語言模型推理效率

Google發表新的新型混合專家模型TaskMoE,大小不只是典型混合專家模型TaskMoE的七分之一,吞吐量更是提升達2倍

2022-01-18

| 微軟 | MoE | Mixture of Experts | Tutel | MoE函式庫 | 深度神經網路 | DNN | 人工智慧 | AI

微軟釋出高效能MoE函式庫Tutel

作為補充當前MoE(Mixture of Experts)的實作,Tutel是個經過最佳化的高效能MoE函式庫,相較於Meta釋出的fairseq,提供大幅的加速

2021-11-25