產品&技術

加速大語言模型推論效率，KV快取卸載解決方案總覽

GPU記憶體已經成為限制大語言模型推論效率的瓶頸，也促成一系列外部KV記憶體解決方案的誕生，藉由卸載GPU的KV快取，達到提升效能的目的

| Backup software , | OAuth 2.0

Cohesity推出Data Cloud資料儲存管理服務平臺最新7.2版

超融合式資料儲存管理與服務平臺新改版，強化安全性與用戶環境支援

2024-09-05

| Nvidia H200 , | Nvidia H200 GPU Server , | Nvidia Hopper

率先主推Nvidia H200，技嘉新款5U尺寸8-GPU伺服器上場

搭配記憶體頻寬、容量升級的新款Hopper架構GPU產品，技嘉推出採用Nvidia HGX H200 8-GPU組態的伺服器

2024-09-03

技術文章 | Flash Memory Summit , | 61.44TB SSD , | 122.88TB SSD , | PCIe 6.0 SSD

儲存月報第93期：從FMS 2024大會看SSD技術新進展

SD容量正式突破100TB，PCIe 6.0 SSD即將問世，SSD介面光纖化技術則帶來部署方式的重大變革

2024-08-27

| Deepfake , | 資安AI , | Deepfake Detection

協助消費者辨識與警示AI深偽詐騙視訊，趨勢提供免費工具

趨勢科技在7月底釋出深偽詐騙視訊檢測工具，目前可安裝在Windows電腦，幫你警示對方的視訊會議人像是否透過AI假造

2024-08-26

| AI開發工具 , | Intel XPU

提升CPU與GPU的LLM效能，英特爾OpenVINO推年度第四版

上個月底英特爾AI開發工具OpenVINO toolkit新版（2024.3）發布，主打Hugging Face上架與GPU、CPU效能強化

2024-08-23

| 61.44TB SSD , | PCIe 5.0 SSD , | NVMe SSD

三星推出61.44TB容量SSD BM1743，可擴展到122.88TB容量

市售60 TB等級SSD產品新成員，提供U.2、E3.S、PCIe 4.0/5.0等多種規格組合

2024-08-23

| 備份軟體 , | SaaS Backup , | 惡意軟體掃描

Nakivo Backup & Replication 10.1x版擴展地端與雲端備份支援

擴展對於地端虛擬化平臺、雲端服務，以及備份儲存環境的支援

2024-08-23

| HCI , | 超融合伺服器 , | Nutanix AOS , | Nutanix AHV

Dell推出Nutanix平臺XC Plus超融合產品，強化非VMware平臺產品線

Dell新款Nutanix平臺超融合產品線，提供整合PowerFlex儲存平臺能力

2024-08-23

| Nvidia H100 GPU Cloud , | Nvidia GPU , | Nvidia H100

搭配8個Nvidia H100，Azure頂級GPU虛擬機器展現LLM效能

微軟是最早推出搭配Nvidia H100 GPU虛擬機器服務的主要公有雲廠商，2023年8月宣告第一款導入這款GPU產品的雲端執行個體正式上線

2024-08-19

技術文章 | Llama 3 , | Meta , | 大語言模型 , | AI基礎設施

【GPU是大型AI運算架構中最脆弱環節，自動化偵測與故障排除技術是確保維運關鍵】超大規模AI運算設施的維運挑戰

足夠的系統規模，只是執行Llama 3這類應用的必要門檻，而不能保證運算工作能順利進行，並獲得期望的成果，想要讓這類超大規模AI基礎設施充分發揮效益，還需要仔細的調校，並維持足夠的穩定性

2024-08-16

技術文章 | Llama 3 , | Meta , | 大語言模型 , | AI基礎設施

【2.4萬個GPU結合6千個CPU，打造當前全球最高規格AI運算環境】探索Meta Llama 3模型訓練的硬體基礎架構全貌

基於開放策略，Meta釋出當前炙手可熱的Llama 3大語言模型，也公開訓練這套模型的硬體基礎架構細節，使外界有機會瞭解這種超大規模AI運算設施的真實設置場景

2024-08-16

| 20TB HDD , | ePMR HDD , | EAMR HDD

提供更多儲存容量選擇，WD再度推出採用ePMR技術的新硬碟

WD推出導入ePMR技術的新款資料中心硬碟，一口氣提供12 TB、14 TB、16 TB、18 TB、20 TB的儲存容量搭配

2024-08-15