IBM宣佈加入Apache Spark社群,以及多項與Spark專案相關的計畫,包括以Spark作為其分析及商務平台的核心,並在IBM Cloud雲端平台提供Spark服務。IBM的機器學習技術SystemML也將捐給Spark開放源碼生態圈。IBM把這次的宣布稱為「可能是未來10年最重要的開放源碼新計畫」,IBM並計畫培育超過一百萬名資料科學家。

Spark為2009年由加州柏克萊大學AMPLab研究人員所創,在2010年以開放源碼專案釋出,而IBM則是AMP Lab四個創始成員公司之一。它的發明人後來成立Databricks。Spark在大資料處理上的能力優於Hadoop的MapReduce,近年來,獲得愈來愈多組織的青睞。IBM指出,從一般知名應用程式到物聯網,隨著資料和分析能力已漸漸成為企業及社會運作的一部份,Spark一方面大幅提升仰賴資料處理的應用效能,另一方面也簡化了開發智慧型應用的流程。

為加速壯大Spark專案,IBM將利用Spark作為該公司分析及商務軟體平台的核心,IBM Watson Health Cloud也將以Spark作為分析平台的底層架構,以加速醫療服務供應商及研究人員分析人口健康資料的速度。IBM也將把自己的SystemML機器學習技術以開放源碼釋出,並與Databricks合作共同推進Spark機器學習的能力。此外,IBM的Bluemix Paas將提供Spark as a Cloud,讓開發人員可建立資料分析應用,執行預測式分析。

IBM強調,Spark既靈巧、迅速又容易使用。而且因為是開放源碼軟體之故,能藉全球社群力量持續精進。過去幾個月來IBM的科學家及工程師已經和Apache Spark社群合作,以加速進階機器學習能力的交換,及智慧商業應用的開發。有了SystemML的投入,將可協助資料科學家解決多變的企業需求,讓開發者能夠運用深度人工智慧於各項事物。

未來IBM全球十多個實驗室將有超過3500名研究人員及開發人員投入Spark相關專案,並將在舊金山成立Spark技術中心,以促進智慧型應用的開發。IBM並將與多家學術教育單位合作,包括AMPLabDataCampMetiStreamGalvanize及MOOC的Big Data University,培育超過100萬名資料科學家及資料工程師。

IBM指出,該公司將協助客戶運用Spark提升其資料策略,以促進企業轉型與競爭力區隔化。IBM並宣佈多家採用Spark及IBM產品的客戶,包括即時運輸規劃軟體供應商Optibus、資料分析顧問Findability Sciences、保險公司Blue Cross、美國太空總署(NASA)及SETI研究院等。(編譯/林妍溱)


熱門新聞

Advertisement