iThome
重點新聞(05/16~05/22)
紅帽 RHEL
紅帽推出開源生成式AI平臺RHEL AI,可在混合雲開發、測試和部署GenAI模型
除了推出基於混合雲平臺OpenShif t所打造的混合雲MLOPs平臺OpenShift AI,紅帽近日還推出了可在混合雲開發、測試和部署生成式AI模型的開源AI平臺RHEL AI(Red Hat Enterprise Linux AI)。
RHEL AI是紅帽基礎架構模型平臺,其中包含IBM研究院開源的LLM模型Granite及相關開發工具,也涵蓋了PyTorch等主流AI開發框架,並針對Nvidia、Intel和AMD硬體進行優化。RHEL AI被打包成一個RHEL映像檔,可在混合雲單一伺服器上部署。此外,RHEL AI也將整合進OpenShift AI中,能夠在分散式叢集環境中進行大規模部署。
除了提供企業級技術支援外,紅帽強調,如果使用其平臺導致智慧財產權糾紛,紅帽將承擔相關賠償責任。
紅帽也為OpenShift AI增加了更多功能,例如,在2.9版本中,用戶可以使用單節點的OpenShift將AI模型部署到更靠近數據的邊緣環境。同時,增強的模型服務可以使用多臺模型伺服器來支援GenAI模型推理,並且支援Kubernetes上的標準化無伺服器機器學習推論平臺KServe。
紅帽企業Linux AI將以開發者預覽版的形式推出,預計在未來幾個月內全面上市。
雲端GenAI 金色三麥
金色三麥在客服部門導入雲端GenAI,協助顧客回饋分析與歸納快速修正改善
GenAI正夯!不只是如金融、高科技等大型企業,臺灣開始有傳統產業試用雲端GenAI服務來提升營運效率和改善服務品質,例如金色三麥餐飲就是其中一家,他們近期開始將GenAI技術導入客服部門,來協助分析顧客回饋快速修正改善。
過去,金色三麥平均每月要處理超過3萬則顧客的意見回饋,包含紙本、客服與網路管道,光是在瀏覽和整理這些顧客回饋就需要大量人力,給客服人員帶來不少負擔。為了解決這個問題,金色三麥利用AWS生成式AI基礎模型平臺Bedrock的大型語言模型Anthropic Claude 3,搭配提示工程開發出顧客評論LLM助手,相較於傳統人工整理,只需約3∼5分鐘就能歸納所有來源的顧客評論,有效節省時間和人力,同時使金色三麥更快採取行動、改善服務品質,提升顧客體驗。
除了引進GenAI技術之外,金色三麥今年初打造一套雲端輿情分析系統,這套系統使用AWS Glue無伺服器資料整合平臺將所有資料彙整及清理,並載入到S3儲存服務中,作為基礎模型推論服務的資料使用。
GPT-4o Azure
微軟Azure OpenAI服務新增預覽GPT-4o模型,能增強顧客服務、進階分析及內容創新
在GPT-4o模型推出以後,微軟跟進宣布在Azure OpenAI Service服務中以預覽提供OpenAI最新的多模態GPT-4o模型。這款新模型在視覺及聲音理解能力有了顯著提升,甚至還可以懂得看人臉色,以更自然的方式與使用者進行互動和對話。
跟現有GPT-4相比,Azure強調,GPT-4o模型可以用來增強顧客服務、提供更進階的分析,以及內容創新。
企業現在可以在Azure OpenAI服務的Chat Playground中預覽試用GPT-4o模型。不過目前該模型僅支援文字和影像輸入,並不包含音訊輸入功能,且僅開放Azure在美國兩個地區的用戶使用,其他地區暫時無法使用。。
AWS 高層人事異動
AWS執行長Adam Selipsky即將下臺,由AWS全球銷售及行銷老將Matt Garman執掌兵符
雲端龍頭亞馬遜AWS近日公布高層人事異動,Adam Selipsky在擔任AWS執行長3年後將於6月離職,由現任AWS行銷、業務暨全球服務資深副總裁Matt Garman升任執行長。新的人事命令將自6月3日生效。
在位3年之中,在Selipsky帶領下,AWS發表多項重要AI產品及平臺,包括創立AI模型開發平臺Bedrock及生成式AI助手Amazon Q,以及推出Amazon自有AI晶片Trainium等。
即將上任的Matt Garman和Selipsky有著不少相似之處,兩人都在2005左右加入AWS,並且都有過豐富的銷售、行銷的歷練。不過,Matt Garman在運算服務方面的經驗更豐富,在17年間中,他擔任過EC2產品經理,並推出與EC2搭配使用的EBS區塊儲存服務。此外,他還在2016成為AWS運算服務的總經理,直到2020年,Matt轉入AWS需求生產部門,負責全球銷售、行銷、支援和專業服務。。
Google Cloud 服務中斷
澳洲退休基金Unisuper因Google Cloud內部錯誤配置誤刪其帳戶,長達一周服務中斷
近日,Google Cloud因為錯誤配置不小心將一家澳洲退休基金Unisuper的GCP雲端帳戶誤刪除,使得Unisuper服務中斷長達一周,超過50萬名會員無法存取自己的帳戶。所幸,Unisuper透過第3方備分最終恢復服務。
這起雲端帳戶誤刪事故是發生在本月5月2日,由於Google Cloud內部無意的錯誤配置所導致,不僅造成Unisuper的訂閱帳戶遭刪除,同時其位於2個GCP服務區域的資料複本也被刪而無法發揮備援效果,導致其服務中斷。
雖然Google事後表示,這種錯誤以前從未在雲端上發生過,強調將採取措施確保這種情況不再發生。但這起事件也凸顯了在雲端時代,建立跨雲資料備分的重要性,企業和政府上雲時不能將所有資料和服務都集中在同一朵雲上,而應該考慮多雲戰略,以降低單一雲端帳戶發生問題的風險。
TPU Google Cloud
Google Cloud第6代雲端TPU問世,運算效能增長4.7倍
近日在Google I/O大會上,Google Cloud發表了名為Trillium的第6代雲端TPU,其每個核心的峰值運算效能比TPU v5p增加4.7倍,效率比TPU v5p高出67%。
第六代的Tr i l l i u m 在高頻寬記憶體(HBM)的容量與頻寬都提高了一倍,晶片互連頻寬也提高一倍, 同時配備SparseCore加速器,專門用來處理高階排序及推薦任務。
Trillium在單一的Pod中最多可擴展到256個TPU,並可藉由多層技術及Titanium智慧處理單元拓展至數百個Pod,可造就連結數十萬個晶片的超級電腦架構,以支援高性能運算任務。
除了用來訓練與服務未來的Gemini模型之外,Trillium TPU也會成為Google Cloud的AI Hypercomputer超級電腦服務的底層基礎。
圖片來源/Google
更多Cloud動態
1.Azure入口網站7月開始強制啟用多因素驗證,強化雲端安全防護
2.Gemini模型家族再添新成員,GCP推出更高效Gemini 1.5 Flash
3.美國納斯達克計畫導入雲端GenAI用於加強全球交易市場的監控
4.WS將在德國投資高達78億歐元建造AWS歐洲主權雲
資料來源:iThome整理,2024年5月
熱門新聞
2024-12-03
2024-11-29
2024-12-02
2024-12-02
2024-12-03