| AI | 卷積網路 | Transformer | 影像辨識 | Performer

AI趨勢周報第146期:再見了卷積網路?一篇Transformer匿名論文引起ML社群圍觀

卷積網路CNN一直是影像辨識的首選,但近日一篇匿名論文(An Image Is Worth 16×16 Words)引起ML社群關注,指出直接用Transformer來處理影像Patch序列,其影像分類能力遠比CNN出色,連DeepMind、Tesla AI總監和發明AlexNet的OpenAI首席科學家都表示期待。該論文正接受AI頂級盛會ICLR 2021的評審,因此無法透露作者姓名。

 
 
 
 

2020-10-15

| google | 預訓練 | Transformer

Google發布與人類摘要能力相當的抽象文本摘要模型PEGASUS

研究人員挖空文件中的部分句子,要模型恢復遭移除的句子,藉以訓練模型摘要文本的能力,只要再經監督範例資料集微調,效能表現就與人類相去不遠

2020-06-12

| AI | IT周報 | Transformer | 電腦視覺 | OpenAI | GPT-3 | 百度 | 量子機器學習 | google | 聯合分析

AI趨勢周報第134期:Transformer也能用來解電腦視覺任務!臉書發表DETR模型

臉書日前發表影像辨識模型DETR,將常用於自然語言任務的Transformer架構,也用來應付電腦視覺問題。OpenAI最近發布超大自然語言模型GPT-3,用了1,750億個參數,在一系列測試中精準度都達高階(SOTA)表現。DeepMind最新研究發現,句法偏差可改善BERT表現。百度發布量子機器學習平臺Paddle Quantum.

2020-06-04

| 微軟 | 語音轉文字 | Transformer | 三星 | 對抗生成網路 | 臉書 | Pythia | 倫敦國王學院 | Nvidia | 智慧醫療 | JINS | MIT | 對話機器人 | 耐能 | AI晶片 | AI | IT周報

AI趨勢周報第86期:微軟發表文字轉語音新成果,只要少數樣本就能訓練出準確度99.84%的模型

微軟發表一款文字轉語音AI,只用共20分鐘長的200個音頻樣本及其文字檔,就開發出準確度達99.84%的模型。另一方面,三星近日發表一項AI研究,只需幾張臉部表情的影像,就能讓靜態的人物肖像開口說話。此外,日本平價眼鏡連鎖品牌JINS宣布引進JINS Brain AI智慧判讀服務至臺灣分店,來幫臺灣消費者「挑眼鏡」。

2019-05-29