AI趨勢周報第104期:更輕更小!華為發表TinyBERT準確度不輸Google BERT

華為發表更輕更小的自然語言處理預訓練模型TinyBERT,比Google BERT小7倍,推論速度卻快上9.4倍。TinyBERT採用知識提煉(KD)和師生框架來改善Google BERT,利用小型學生網路來模仿大型老師網路行為,而KD則著重於Transformer提煉和兩階段學習框架,在大型文本語料庫和下游微調過的TinyBERT之間,增加一個通用TinyBERT。

2019-10-11

AI趨勢周報第97期:AI向下紮根!教育部推出中小學AI教材

配合108學年度新課綱,教育部釋出適合中小學的AI教案《和AI做朋友吧》電子版,預計9月提供線上AI教師培育班,12月將舉辦教師工作坊。

2019-08-17

Google臺灣董事簡立峰:自然語言理解未成熟,AI閱讀理解才是應用新契機

在Google任職15年的Google臺灣董事簡立峰指出,現階段NLU尚未成熟,因為類神經網路仍無法藉由抽取輸入值元素,來找出彼此間的邏輯關係。但AI閱讀理解卻是有潛力的應用場景,特別是資訊爆炸時代,能用來打造快速抓取重點的工具。另一方面,Google今年還將於美國推出8萬2千輛自駕計程車,要成為全美最大的自駕計程車公司。

2019-07-08