PrimeHub平臺讓用戶可以根據不同專案或團隊需求來分配運算資源,並能從介面監看使用情形。

圖片來源: 

圖/InfuseAI提供

國產AI新創軟體公司InfuseAI去年6月推出了一站式AI部署平臺軟體PrimeHub,提供企業快速自建多種AI框架的執行環境,最近更新增GCP雲端代管版本,可讓租用雲端資源的企業在公有雲上部署專用的AI環境。

InfuseAI是由兩位臺灣開源社群長輩級開發者g0v共同發起人高嘉良和KKTIX創辦人薛良斌共同創立,主要產品是AI部署平臺軟體PrimeHub。

PrimeHub目標是提供一套企業級AI平臺部署和管理軟體,利用Kubernetes容器技術,來快速建立與管理多種AI執行環境,不僅可支援TenorFlow、PyTorch、Caffe等主流深度學習框架,也提供企業級帳號和資源控管機制,例如單一帳號登入多種AI環境的SSO、容量和運算資源的群組管理機制,內部稽核工具等。目前,台灣人工智慧學校、中研院、玉山銀行採用。

 「PrimeHub要讓企業在導入AI的時候,從想要做、到真的可以做。」擔任InfuseAI營運長的薛良斌表示,工程師在開發AI演算法前,可能需要花兩三個禮拜來建置開發環境,包括串接資料、分配運算資源、安裝軟體套件等,反而無法專心訓練模型來解決問題。因此,PrimeHub平臺提供企業建置AI環境的服務,要讓AI落地更容易。

目前,PrimeHub平臺以管理私有雲的AI開發環境為主,底層的叢集運算是透過Kubernetes容器技術來管理;而數據庫的管理,則會運用Ceph的分散式檔案系統,隨時保持同一份資料自動寫入三臺伺服器中;此外,PrimeHub平臺也整合各種AI開發工具,包括Jupyter Notebook互動式開發環境以及主流深度學習框架,並以Docker Image方式打包,可以提供一鍵快速部署和執行。

企業在內部機房部署時,管理者可以透過PrimeHub平臺,配合使用者權限管理,依據不同專案的需求來設定各群組可使用的運算資源上限,也能進一步設定群組內各成員的用量。「PrimeHub平臺中,用戶能直接看到最近誰使用了哪些伺服器、這個用戶隸屬哪些群組、整個叢集有多少CPU與記憶體,每一臺機器的附載狀況。」薛良斌說明。

例如台灣人工智慧學校的北中南三個分校,共有數十台伺服器、數百張顯示卡,可能有數百位用戶同時執行運算,為了讓各個模型都能有效率的運行,資源的分配就很重要;同時,用戶也能從平臺監控資源用量,再依據運算的效能回頭調整運算資源的分配。然而,薛良斌也表示,目前平臺無法自動依據模型所需的算力來分配資源,還是需要人為設定上限。

PrimeHub讓用戶可以有效分配運算資源給不同模型,也能監看使用情形。

PrimeHub平臺擴大支援到GCP,讓用戶可即時監測、分配運算資源

除了可供企業內部自建之用,InfuseAI也與GCP合作,推出雲端代管服務。雖然許多公有雲也有雲端代管的解決方案,但薛良斌表示,PrimeHub能提供的服務更多元。例如客戶租用GCP的基礎設施時,雖然可以管理各專案的運算資源,但無法規範至個人;此外,Cloud AutoML雖然能讓用戶能在雲端快速部署ML模型,但用戶過一段時間要重啟模型時,常遇到舊版Tensorflow與新版不相容的問題,就必須修改程式碼,導致無法重現當時的開發環境、甚至影響模型表現。

除了管理雲端運算資源,PrimeHub雲端代管服務也可以管理不同專案的開發環境,從版本管理、資料維護,到用來訓練模型的伺服器規格等紀錄將都會完整保留,供用戶往後可以在相同的環境中重啟模型來訓練。

這項雲端代管服務雖已上線,但尚未有企業導入,PrimeHub也還無法部署在其他兩家雲端大廠AWS、Azure之上。

數據管理與開發環境的整合也是PrimeHub另一特色

薛良斌表示,PrimeHub資料管理功能採用了Ceph分散式檔案系統,隨時保持同一份資料自動寫入三臺伺服器中,分散資料毀損的風險。企業運用資料時,除了串接公私有雲的資料來使用,也能在平臺上建立不同的資料集,透過授權讓用戶個別管理。

另外,PrimeHub平臺也積極整合資料科學家的開發環境,可提供Jupyter Notebook互動式開發環境,可支援Python、Julia、R語言,也能提供用戶分層操作資料、log成圖表。

從PrimeHub平臺中,用戶能從介面看到目前的模型使用哪些資料庫、使用的深度學習框架版本、以及部署在哪些伺服器上,未來若想要回頭用新資料來訓練模型,也能快速復原當時的環境來開發。薛良斌也表示,未來希望能讓用戶更進一步在平臺中管理模型,舉例來說,訓練模型的過程會因參數的不同、產出不同結果,目前使用者仍需自行記錄、管理不同版本的模型,平臺尚未提供這類服務。

PrimeHub平臺提供用戶Jupyter Notebook互動式開發環境以及主流深度學習框架。

有別於AI專案型服務多是建置單一環境後就結案,薛良斌表示,「我們主要提供軟體產品服務。」PrimeHub的收費採年訂閱制,將持續優化平臺環境,也能彈性針對不同客戶提供客製化服務,此外,平臺目前也提供三種版本,供使用者依據需求選用。

熱門新聞

Advertisement