RL

Google Brain聯手多倫多大學和Vector研究院，用3種常見的人類學習機制，來探討AI是否不需任務獎勵，只靠Intrinsic objective就能探索環境、找出最佳解法；微軟NLU模型DeBERTa超越人類表現，「離通用AI更近了」；臉書發起Open Loop計畫，號召全球政策制定者和科技公司加入，來研擬恰當的AI法規。

華為發表更輕更小的自然語言處理預訓練模型TinyBERT，比Google BERT小7倍，推論速度卻快上9.4倍。TinyBERT採用知識提煉（KD）和師生框架來改善Google BERT，利用小型學生網路來模仿大型老師網路行為，而KD則著重於Transformer提煉和兩階段學習框架，在大型文本語料庫和下游微調過的TinyBERT之間，增加一個通用TinyBERT。