| 物件儲存 | GPU直連傳輸 | KV Cache | AI硬體 | KV快取 | LLM推論 | WEKA | 焱融科技 | VAST Data | PEAK | Pliop | GridGain
AI啟動下一波企業儲存系統革命
人工智慧已成為當代企業IT應用的顯學，當所有人都在追逐軟體與AI模型的發展，以及硬體運算能力之餘，對於網路、儲存系統等IT基礎架構的效能、效率要求，也跟著水漲船高
2025-07-04
| AI硬體 | KV快取 | LLM推論 | WEKA | 焱融科技 | VAST Data | PEAK | Pliop | GridGain
加速大語言模型推論效率，KV快取卸載解決方案總覽
GPU記憶體已經成為限制大語言模型推論效率的瓶頸，也促成一系列外部KV記憶體解決方案的誕生，藉由卸載GPU的KV快取，達到提升效能的目的
| AI硬體 | KV快取 | LLM
滿足LLM推理永無止盡的記憶體需求，外部KV快取記憶體解決方案崛起
為了解決GPU有限的記憶體容量，對於LLM推理運算造成的瓶頸，促成嶄新的外部KV快取記憶體技術，在近幾個月來迅速興起
| AI | AI硬體 | Nvidia | Mellanox | 資料中心 | 乙太網路 | Spectrum-X | AI加速運算 | AI加速器 | AI網路卡 | AMD | Pensando
得網路者得AI
人工智慧的重要性不言可喻，於是有了「得AI者，得天下」的論調，然而，該如何「得AI」？很多人會馬上想到資料、運算能力、軟體、AI模型等因素，網路存取能力與效率，很少排在前面的考量
2025-01-03
| 臉書 | AI硬體 | ASIC | 臺大醫 | 傷口判讀 | AI | 工研院 | 糖尿病視網膜病變 | 微軟 | Mozilla | 資料科學 | google | 離線語音 | 健保資料庫 | IT周報
AI趨勢周報第79期：臉書大方開源自家3款AI硬體設計
臉書開源自家3項硬體設計，包括用來加速AI模型訓練的硬體平臺Zion、用來優化AI推理的伺服器解決方案Kings Canyon，以及用於影片轉碼的專用ASIC晶片Mount Shasta，來解決不斷增加的工作量。
2019-03-22
