vLLM

今年年度大會的重點是支援企業大規模的運用GAI，在第一天開場演講中，宣布了五項重要的產品戰略。紅帽全新的GAI戰略是實現任何模型、任何加速晶片、任何雲（Any Model,Any accelerator,Any Cloud），也就是，可以讓任何模型，使用任何晶片，在不同雲端環境，公雲，私雲和邊緣上執行