| IT周報 | Mamba | 程式碼生成 | Meta | Llama 3.1 | 蘋果 | Transformer | Nvidia
AI趨勢周報第257期： Mistral AI用Mamba架構打造程式碼生成模型
Mistral AI用Mamba 2架構打造程式碼生成模型，表現比同規模的Transformer模型好；Hugging Face釋出小又強健的語言模型SmolLM；Meta開源Llama 3.1 405B；有效加速Transformer生成時間，蘋果推LazyLLM；Nvidia推出企業級模型客製化平臺AI Foundry
2024-07-26
| IT周報 | Meta | Transformer | 局部性 | 核融合 | JAX | 蘋果 | WWDC | Apple Intelligence
AI趨勢周報第255期： Google DeepMind開源核融合裝置模擬器TORAX
Google DeepMind用Python-JAX打造托卡馬克核融合裝置模擬器並開源；Meta AI證實Transformer能處理單一像素而非16x16的區塊，效果還更好；健保署聯手Google要打造糖尿病風險預測AI；Nvidia開源HelpSteer2資料集，可低成本確保LLM與人類偏好一致；蘋果新推Apple Intelligence智慧功能
2024-06-16
| IT周報 | Transformer | xLSTM | LLM | 國科會 | TAIDE | Deepmind | 分子結構 | AI開發助理
AI趨勢周報第252期：取代Transformer？LSTM之父發表新LLM架構
LSTM之父Sepp Hochreiter提出一種新架構xLSTM，媲美Transformer；DeepMind發表可預測所有生命分子結構的AlphaFold 3模型；國科會揭TAIDE計畫最新成果；甲骨文也推出AI開發助理了；Red Hat推出AI平臺，內建IBM Granite模型；Stack Overflow聯手OpenAI，將優化Chatbot功能
2024-05-12
| IT周報 | Mamba | Transformer | google | Gemini | AWS | 思科 | AI助理 | AI聯盟
AI趨勢周報第235期：Mamba架構橫空出世，克服Transformer運算效率缺陷還具5倍吞吐量
Mamba引起AI社群關注，採狀態空間模型實現5倍吞吐量；GPT-4V最強對手來了，Google多模態Gemini模型登場；Meta、IBM等巨頭合組開源AI聯盟；Google發表新一代TPU和超級電腦架構；JetBrains新AI程式開發助理整合自家IDE
2023-12-10
| LLM | 串流 | 注意力機制 | Transformer | 語言模型串流應用
高效框架StreamingLLM可處理無限長度文本，解決LLM串流應用困境
研究人員開發出StreamingLLM框架，使語言模型能夠處理無限長度的文本，解決記憶體消耗與長序列泛化問題，提升在串流應用部署語言模型的可行性
2023-10-05
| PyTorch | Transformer | 機器學習
深度學習函式庫PyTorch 2.0正式發布，帶來高效能Transformer API與模型編譯器
PyTorch 2.0添加高效能Transformer API以及torch.compile編譯器，開發者可明顯感覺模型訓練與推理運算加速
2023-03-16
| IT周報 | google | Transformer | 機器人 | 導航 | 資料集 | 搜尋 | 大型主機
AI趨勢周報第210期：Google用Transformer模型即時導航機器人
Google成功用Transformer模型即時導航機器人，延遲僅8毫秒；司法院法庭中文語音辨識系統正式上線，準確率超過9成；Google搜尋再優化，新添資料集搜索引擎；Brave搜尋引擎自建生成式AI，幫摘要搜尋結果；IBM大型主機作業系統將擁抱AI
2023-03-09
| 微軟 | DirectML | PyTorch | Transformer
最新版DirectML PyTorch開始支援熱門Transformer模型
開發者現在可以使用DirectML PyTorch最新版本，利用GPU加速來訓練包括GPT2、BERT等熱門Transformer模型
2022-12-07
| Apache OpenNLP | ONNX Runtime | Transformer
Apache OpenNLP整合ONNX Runtime現可高效執行Transformer模型
Java NLP機器學習函式庫Apache OpenNLP藉由整合ONNX Runtime，開始能夠執行Transformer模型，使用戶獲得高效深度學習自然語言處理的能力
2022-09-23
| Nvidia | LLM | NeMo | Transformer
科學家可以藉由Nvidia BioNeMo服務，訓練和部署大型生物分子Transformer人工智慧模型，加速藥物探索研究
2022-09-21
| IT周報 | AI | google | 氣味 | 蟲媒傳染病 | 逃稅 | 訂閱制 | 紐約時報 | TensorFlow | Transformer
AI趨勢周報：Google AI釋出氣味圖譜，要來預防蟲媒傳染病
Google AI用ML產出氣味圖譜，可定位分子與氣味，進而用於驅蟲劑、預防蟲媒傳染病；私建游泳池想逃稅？法國政府用AI一眼揪出得補稅的地產；讀者可看幾篇免費文章？紐時用ML自動決定；TensorFlow 2.10版出爐了；吳恩達：白宮論文開放政策將催生更多AI新進展
2022-09-15
| IT周報 | 陪審團學習 | 偏差 | Meta | 物件偵測 | Transformer | 人造眼 | 招潮蟹
AI趨勢周報第196期：史丹佛研發陪審團學習方法，要解決標註者造成的ML偏差
史丹佛大學發展陪審團學習方法，要打破標註者分布不均造成的ML偏差；模擬招潮蟹！MIT專家打造出陸地水下都能看的360度人造眼；Meta開發新演算法，要讓新一代Chatbot談吐更優雅；Meta開源新電腦視覺模型，可偵測更多不常見物件
2022-08-11