預訓練

Google Brain在一篇論文中揭露自行開發的深度學習框架自動化工具TF-Coder，可處理張量操作，來符合框架的各種要求，而且經測試，能在5分鐘內解決63個搜尋任務，比TensorFlow專家還要快；微軟日前研發一套生醫NLP預訓練模型和Benchmark，完全以生醫語料訓練而成，號稱比通用預訓練模型要精準。

BERT在史丹佛問答資料集SQuAD v1.1獲得新高分，準確度達93.2%，超過之前的最高分91.6％和人類91.2％。