BERT

要取得全球廣泛認可的國際認證，才能將辛苦種植、養殖的農漁產品出口國際，甚至是上架國際大型連鎖超商！但對農漁民來講，要通過國際認證很困難，甚至要花費一年以上的準備時間。工研院看到這個痛點，協助業者將生產數據上鏈、用AI輔助申報，將資料準備時間縮短一半

臺灣新創Frontier以16支引擎打造紡織雲平臺，也就是一套數位布片資料庫，來解決紡織業數位化痛點。他們以AWS和其他辨識引擎來自動辨識、校正、降噪和貼標紡織業者上傳的布片，所有流程只需3分鐘；Google新NLP模型就算比BERT少300倍的參數，也能達到相同水準。

研究人員利用大量表格資料以及相關的自然語言句子訓練TaBERT，因此TaBERT能夠理解自然語言查詢，並從表格查到答案

新推出的生物醫學文獻探索工具，應用語義搜尋技術良好理解查詢的背後意義，而非僅是進行術語配對

AI2攜手白宮、美國國衛院、微軟及其他組織，共同釋出武漢肺炎開放研究資料集（簡稱CORD-19），內含2萬9千多篇新冠病毒相關論文。Kaggle也同時舉辦CORD-19挑戰賽，要開發者以文字探勘從中找出洞察。另一方面，義大利博科尼大學發表BERTLang網站，提供特定語言的BERT模型和mBERT模型間的評比。Google發表JAX函式庫Neural Tangents，要來打開AI黑盒子。

借助ONNX Runtime，開發人員可以在CPU和GPU上高效地執行大型Transformer模型

Google搜尋服務運用神經網路技術BERT，來提高對話式查詢或多種關鍵字的搜尋結果準確度

華為發表更輕更小的自然語言處理預訓練模型TinyBERT，比Google BERT小7倍，推論速度卻快上9.4倍。TinyBERT採用知識提煉（KD）和師生框架來改善Google BERT，利用小型學生網路來模仿大型老師網路行為，而KD則著重於Transformer提煉和兩階段學習框架，在大型文本語料庫和下游微調過的TinyBERT之間，增加一個通用TinyBERT。