| 微軟 , | ONNX , | BERT , | 自然語言處理
微軟開源以ONNX Runtime加速BERT模型的最佳化成果
借助ONNX Runtime，開發人員可以在CPU和GPU上高效地執行大型Transformer模型
2020-01-23
| 臉書 , | BERT , | 電腦視覺 , | 自然語言 , | 國發會 , | 景氣 , | AI科技基金 , | 面試 , | google , | 語音轉文字 , | 中原大學 , | 智慧農業 , | AI , | IT周報
AI趨勢周報第115期：12合一！臉書AI研究院用一套ViLBERT模型，搞定不同類型資料集的ML訓練任務
臉書AI研究院日前聯手喬治亞理工學院、奧勒岡州立大學，用12個資料集訓練一套ViLBERT模型，不只可用來解決不同類型的電腦視覺與自然語言任務，參數還從30億個減少至2.7億個，準確度平均提升2分。另一方面，為更精準掌握景氣循環，國發會研擬開發一套景氣循環AI預警系統。此外，由國發會成率領民間團體成立的國家級投資公司台杉投資，明年計畫成立AI科技基金，同時要吸引國外AI技術團隊在臺成立研發中心。
2019-12-27
| AI , | 華為 , | BERT , | NLP , | google , | RL , | 量子電腦 , | Deepmind , | 語音生成 , | GAN , | TensorFlow 2.0 , | IT周報
AI趨勢周報第104期：更輕更小！華為發表TinyBERT準確度不輸Google BERT
華為發表更輕更小的自然語言處理預訓練模型TinyBERT，比Google BERT小7倍，推論速度卻快上9.4倍。TinyBERT採用知識提煉（KD）和師生框架來改善Google BERT，利用小型學生網路來模仿大型老師網路行為，而KD則著重於Transformer提煉和兩階段學習框架，在大型文本語料庫和下游微調過的TinyBERT之間，增加一個通用TinyBERT。
2019-10-11
