| 微軟 , | ONNX , | BERT , | 自然語言處理

微軟開源以ONNX Runtime加速BERT模型的最佳化成果

借助ONNX Runtime,開發人員可以在CPU和GPU上高效地執行大型Transformer模型

2020-01-23

| 臉書 , | BERT , | 電腦視覺 , | 自然語言 , | 國發會 , | 景氣 , | AI科技基金 , | 面試 , | google , | 語音轉文字 , | 中原大學 , | 智慧農業 , | AI , | IT周報

AI趨勢周報第115期:12合一!臉書AI研究院用一套ViLBERT模型,搞定不同類型資料集的ML訓練任務

臉書AI研究院日前聯手喬治亞理工學院、奧勒岡州立大學,用12個資料集訓練一套ViLBERT模型,不只可用來解決不同類型的電腦視覺與自然語言任務,參數還從30億個減少至2.7億個,準確度平均提升2分。另一方面,為更精準掌握景氣循環,國發會研擬開發一套景氣循環AI預警系統。此外,由國發會成率領民間團體成立的國家級投資公司台杉投資,明年計畫成立AI科技基金,同時要吸引國外AI技術團隊在臺成立研發中心。

2019-12-27

| BERT , | AI , | google , | 搜尋 , | 對話式查詢 , | 自然語言搜尋

Google用神經網絡技術BERT來改善自家搜尋品質,英文自然語言搜尋品質能提高1成

Google搜尋服務運用神經網路技術BERT,來提高對話式查詢或多種關鍵字的搜尋結果準確度

2019-10-28

| AI , | 華為 , | BERT , | NLP , | google , | RL , | 量子電腦 , | Deepmind , | 語音生成 , | GAN , | TensorFlow 2.0 , | IT周報

AI趨勢周報第104期:更輕更小!華為發表TinyBERT準確度不輸Google BERT

華為發表更輕更小的自然語言處理預訓練模型TinyBERT,比Google BERT小7倍,推論速度卻快上9.4倍。TinyBERT採用知識提煉(KD)和師生框架來改善Google BERT,利用小型學生網路來模仿大型老師網路行為,而KD則著重於Transformer提煉和兩階段學習框架,在大型文本語料庫和下游微調過的TinyBERT之間,增加一個通用TinyBERT。

2019-10-11

| 教育部 , | AI教育 , | 臺大醫院 , | 腦瘤 , | Nvidia , | BERT , | SenseBERT , | ViLBERT , | 自然語言 , | AI , | IT周報

AI趨勢周報第97期:AI向下紮根!教育部推出中小學AI教材

配合108學年度新課綱,教育部釋出適合中小學的AI教案《和AI做朋友吧》電子版,預計9月提供線上AI教師培育班,12月將舉辦教師工作坊。

2019-08-17

| google , | AI , | NLP. NLU , | BERT , | XLNet , | 簡立峰

Google臺灣董事簡立峰:自然語言理解未成熟,AI閱讀理解才是應用新契機

在Google任職15年的Google臺灣董事簡立峰指出,現階段NLU尚未成熟,因為類神經網路仍無法藉由抽取輸入值元素,來找出彼此間的邏輯關係。但AI閱讀理解卻是有潛力的應用場景,特別是資訊爆炸時代,能用來打造快速抓取重點的工具。另一方面,Google今年還將於美國推出8萬2千輛自駕計程車,要成為全美最大的自駕計程車公司。

2019-07-08