| 物件儲存 | GPU直連傳輸 | KV Cache | AI硬體 | KV快取 | LLM推論 | WEKA | 焱融科技 | VAST Data | PEAK | Pliop | GridGain

AI啟動下一波企業儲存系統革命

人工智慧已成為當代企業IT應用的顯學,當所有人都在追逐軟體與AI模型的發展,以及硬體運算能力之餘,對於網路、儲存系統等IT基礎架構的效能、效率要求,也跟著水漲船高

2025-07-04

| AI硬體 | KV快取 | LLM推論 | WEKA | 焱融科技 | VAST Data | PEAK | Pliop | GridGain

加速大語言模型推論效率,KV快取卸載解決方案總覽

GPU記憶體已經成為限制大語言模型推論效率的瓶頸,也促成一系列外部KV記憶體解決方案的誕生,藉由卸載GPU的KV快取,達到提升效能的目的

2025-07-04

| AI硬體 | KV快取 | LLM

滿足LLM推理永無止盡的記憶體需求,外部KV快取記憶體解決方案崛起

為了解決GPU有限的記憶體容量,對於LLM推理運算造成的瓶頸,促成嶄新的外部KV快取記憶體技術,在近幾個月來迅速興起

2025-07-04

| AI | AI硬體 | Nvidia | Mellanox | 資料中心 | 乙太網路 | Spectrum-X | AI加速運算 | AI加速器 | AI網路卡 | AMD | Pensando

得網路者得AI

人工智慧的重要性不言可喻,於是有了「得AI者,得天下」的論調,然而,該如何「得AI」?很多人會馬上想到資料、運算能力、軟體、AI模型等因素,網路存取能力與效率,很少排在前面的考量

2025-01-03

| 臉書 | AI硬體 | ASIC | 臺大醫 | 傷口判讀 | AI | 工研院 | 糖尿病視網膜病變 | 微軟 | Mozilla | 資料科學 | google | 離線語音 | 健保資料庫 | IT周報

AI趨勢周報第79期:臉書大方開源自家3款AI硬體設計

臉書開源自家3項硬體設計,包括用來加速AI模型訓練的硬體平臺Zion、用來優化AI推理的伺服器解決方案Kings Canyon,以及用於影片轉碼的專用ASIC晶片Mount Shasta,來解決不斷增加的工作量。

2019-03-22