BERT

華為發表更輕更小的自然語言處理預訓練模型TinyBERT，比Google BERT小7倍，推論速度卻快上9.4倍。TinyBERT採用知識提煉（KD）和師生框架來改善Google BERT，利用小型學生網路來模仿大型老師網路行為，而KD則著重於Transformer提煉和兩階段學習框架，在大型文本語料庫和下游微調過的TinyBERT之間，增加一個通用TinyBERT。

配合108學年度新課綱，教育部釋出適合中小學的AI教案《和AI做朋友吧》電子版，預計9月提供線上AI教師培育班，12月將舉辦教師工作坊。