| Cloud Run GPU | Googl | AI推論 | Nvidia L4 | 無伺服器

Cloud Run GPU正式上線,支援AI推論與批次運算彈性擴展

Google Cloud Run GPU正式上線,支援用戶即時啟用Nvidia L4 GPU,無需配額申請,可提升人工智慧推論與批次運算彈性,並有效降低閒置成本

2025-06-09

| 紅帽 | LLM | AI推論 | GAI | MCP

【波士頓直擊】堅持不做模型!紅帽CTO親自剖析,GenAI新戰略背後的關鍵

堅決不做LLM模型的紅帽,如何在GenAI世界中找到自己的新定位,GenAI新戰略背後有哪些思考,以及下一步方向又是如何,紅帽技術長親自剖析背後的布局關鍵

2025-05-21

| 關鍵IT新趨勢 | WebAssembly | AI推論 | wasm | 雲原生 | GAI | 模型封裝 | LlamaEdge | 冷啟動

【關鍵IT新趨勢3】AI推論需求爆發,帶動雲原生新趨勢Wasm加速普及

WebAssembly封裝的AI代理程式檔案超小,更容易落地部署、快速啟動。這項雲原生新技術,在2025年將成為企業IT開發GAI應用的新主流

2024-12-27

| 雲原生 | wasm | 容器 | VM | AI推論 | CUDA

為何Wasm檔案超小執行速度極快?虛擬機器、容器、Wasm三大雲原生技術大比較

AI推論程式碼、CUDA runtime、PyTorch框架和10GB的LLM基礎模型,用Wasm編譯後的Bytecod檔,可以大幅縮小到數MB,比同樣功能的容器或VM映像檔,足足少了1千倍,這正是Wasm冷啟動速度可以超級快的原因。

2024-11-29

| Ampere | 高通 | Altra CPU | Qualcomm | AI晶片 | AI推論

Ampere、高通合作AI晶片,主打無GPU運算環境

Ampere將透過整合其Altra CPU及高通的Cloud AI 100 Ultra AI加速器,開發專為處理大型語言模型推論作業設計的資料中心伺服器晶片,以創造無GPU的AI推論

2024-05-20

| AI耗電量 | 電力 | 用電量 | AI推論 | 能源 | google | AI搜尋 | Nvidia | AI伺服器 | ChatGPT

科學家預估AI到2027年的用電量堪比荷蘭

數位經濟平臺Digiconomist、比特幣耗電量指數的創辦人Alex De Vries預估到了2027年,AI的用電量可能等同於荷蘭一年的電力使用

2023-10-12

| GPU加速卡 | AI推論 | Turing架構

導入GPU新架構,Nvidia AI推論加速卡提升多精度運算效能

今年9月,Nvidia推出新一代AI推論加速卡Tesla T4,導入最新發表的GPU架構Turing,強化多精度的運算效能

2018-11-29