微軟和OpenAI聯手在Azure建立起比美全球第5大的超級電腦。圖左為OpenAI執行長Sam Altman,圖右為微軟執行長Satya Nadella。(圖片來源/微軟)

微軟周二在Build 2020開發者大會上宣布,和AI組織OpenAI聯手在Azure建立起比美全球第5大的超級電腦。

這項合作是去年7月微軟和OpenAI通用人工智慧(Artificial General Intelligence,AGI)合作計畫的結果。微軟除了投資OpenAI 10億美元外,雙方也將攜手開發全新的Azure AI超級運算技術,讓微軟成為OpenAI的獨家雲端供應商,並借重OpenAI訓練建立大型AI模型的能力,在Azure上訓練與執行各種AI模型,特別是發展能從事多工任務的大規模AI模型。

而訓練大規模AI模型需要進階的超級電腦,微軟說,為OpenAI發展的超級電腦是一套包含28.5萬CPU核心、1萬顆GPU及每臺GPU伺服器每秒400 gigabits的網路連線。以其規格和世界五百大超級電腦比較,已經名列全球第5,同時由於架構在Azure上,這臺超級電腦還獲得其他現代雲端的好處,像是部署快速、高可續性及可使用Azure多種服務。

目前世界超級電腦名單上第5名的,是座落於德州進階運算中心的Dell系統,浮點運算測試速度達23.5 petaflops。至於第一名則為美國能源部旗下橡樹嶺國家實驗室(Oak Ridge National Laboratory)的Summit,採用IBM Power 9 CPU及Nvidia Tesla V100 GPU,浮點運算測試結果為148.6 petaflops。

微軟也宣布開發出自有大型AI模型家族,稱為微軟圖靈模型(Microsoft Turing Model),主要用於改善Bing、Office、Dynamic及其他生產力軟體的多語言理解能力。今年二月微軟將用於自然語言產生的圖靈模型釋出給研究人員,號稱是全球最大的公開AI模型。微軟將開源自家圖靈模型下及在Azure Machine Learning服務下訓練方法,供開發人員取用多種語言模型。

微軟還公布新版開源PyTorch深度學習函式庫DeepSpeed,可加速大型分散式模型訓練速度。新版本會比不使用DeepSpeed的情況下速度快10倍,規模也大15倍。此外,微軟也宣布其推理引擎ONNX Runtime支援分散式訓練,結合DeepSpeed最佳化,可使模型訓練效能較現有版ONNX Runtime提升17倍。

熱門新聞

Advertisement