| 臉書 | 模型 | BERT

臉書開發新模型TaBERT可理解自然語言並從表格查資料

研究人員利用大量表格資料以及相關的自然語言句子訓練TaBERT,因此TaBERT能夠理解自然語言查詢,並從表格查到答案

2020-07-07

| google | 武漢肺炎 | BERT

Google推出用於可方便探索武漢肺炎科學文獻的工具

新推出的生物醫學文獻探索工具,應用語義搜尋技術良好理解查詢的背後意義,而非僅是進行術語配對

2020-05-06

| google | BERT | 表格

Google開源可分析表格資料回答自然語言問題的AI技術

Google用來解析表格資料的新技術,擴展自BERT模型,可將自然語言問題與表格結構編碼,輸出可計算問題結果的過程

2020-05-04

| AI | 武漢肺炎 | Kaggle | 開放資料 | google | Neural Tangents | 黑盒子 | BERT | 模型評比 | 臺鐵 | 影像辨識 | Pixel 4 | IT周報

AI趨勢周報第124期:整合產官學各界資源,全球最大機器可讀的武漢肺炎資料集開源釋出

AI2攜手白宮、美國國衛院、微軟及其他組織,共同釋出武漢肺炎開放研究資料集(簡稱CORD-19),內含2萬9千多篇新冠病毒相關論文。Kaggle也同時舉辦CORD-19挑戰賽,要開發者以文字探勘從中找出洞察。另一方面,義大利博科尼大學發表BERTLang網站,提供特定語言的BERT模型和mBERT模型間的評比。Google發表JAX函式庫Neural Tangents,要來打開AI黑盒子。

 
 
 
 

2020-03-19

| 微軟 | ONNX | BERT | 自然語言處理

微軟開源以ONNX Runtime加速BERT模型的最佳化成果

借助ONNX Runtime,開發人員可以在CPU和GPU上高效地執行大型Transformer模型

2020-01-23

| 臉書 | BERT | 電腦視覺 | 自然語言 | 國發會 | 景氣 | AI科技基金 | 面試 | google | 語音轉文字 | 中原大學 | 智慧農業 | AI | IT周報

AI趨勢周報第115期:12合一!臉書AI研究院用一套ViLBERT模型,搞定不同類型資料集的ML訓練任務

臉書AI研究院日前聯手喬治亞理工學院、奧勒岡州立大學,用12個資料集訓練一套ViLBERT模型,不只可用來解決不同類型的電腦視覺與自然語言任務,參數還從30億個減少至2.7億個,準確度平均提升2分。另一方面,為更精準掌握景氣循環,國發會研擬開發一套景氣循環AI預警系統。此外,由國發會成率領民間團體成立的國家級投資公司台杉投資,明年計畫成立AI科技基金,同時要吸引國外AI技術團隊在臺成立研發中心。

2019-12-27

| BERT | AI | google | 搜尋 | 對話式查詢 | 自然語言搜尋

Google用神經網絡技術BERT來改善自家搜尋品質,英文自然語言搜尋品質能提高1成

Google搜尋服務運用神經網路技術BERT,來提高對話式查詢或多種關鍵字的搜尋結果準確度

2019-10-28

| AI | 華為 | BERT | NLP | google | RL | 量子電腦 | Deepmind | 語音生成 | GAN | TensorFlow 2.0 | IT周報

AI趨勢周報第104期:更輕更小!華為發表TinyBERT準確度不輸Google BERT

華為發表更輕更小的自然語言處理預訓練模型TinyBERT,比Google BERT小7倍,推論速度卻快上9.4倍。TinyBERT採用知識提煉(KD)和師生框架來改善Google BERT,利用小型學生網路來模仿大型老師網路行為,而KD則著重於Transformer提煉和兩階段學習框架,在大型文本語料庫和下游微調過的TinyBERT之間,增加一個通用TinyBERT。

2019-10-11

| 教育部 | AI教育 | 臺大醫院 | 腦瘤 | Nvidia | BERT | SenseBERT | ViLBERT | 自然語言 | AI | IT周報

AI趨勢周報第97期:AI向下紮根!教育部推出中小學AI教材

配合108學年度新課綱,教育部釋出適合中小學的AI教案《和AI做朋友吧》電子版,預計9月提供線上AI教師培育班,12月將舉辦教師工作坊。

2019-08-17

| google | AI | NLP. NLU | BERT | XLNet | 簡立峰

Google臺灣董事簡立峰:自然語言理解未成熟,AI閱讀理解才是應用新契機

在Google任職15年的Google臺灣董事簡立峰指出,現階段NLU尚未成熟,因為類神經網路仍無法藉由抽取輸入值元素,來找出彼此間的邏輯關係。但AI閱讀理解卻是有潛力的應用場景,特別是資訊爆炸時代,能用來打造快速抓取重點的工具。另一方面,Google今年還將於美國推出8萬2千輛自駕計程車,要成為全美最大的自駕計程車公司。

2019-07-08