Meta開源與英特爾、字節跳動與Ahana共同開發的統一執行引擎Velox,這是一個加速資料管理系統並簡化其開發的函式庫,Velox目前仍在開發中,但是已經被驗證可提高資料管理系統的效率和一致性,Meta認為,Velox有助於整合和統一資料管理系統,因此希望開源社群加入專案貢獻,加速函式庫開發和採用。

在Meta有數十個資料運算引擎,組成龐大的基礎設施生態系,以支撐Meta所提供的產品和服務,這些引擎處理著不同的工作負載,包括SQL分析、串流處理以及資料擷取等,而且在人工智慧和機器學習用例快速發展下,特徵工程、資料預處理和其他用於機器學習和服務的引擎和函式庫隨之增加。

Meta提到,雖然資料運算引擎有其相似之處,但是引擎大多是獨立發展,這種碎片化讓維護和改善這些系統變得困難,而且執行這些工作負載的硬體也會逐漸更新,最終導致系統具有不同的功能集和不一致的語義,降低整體資料功能集的生產力。

為了要解決這個問題,Meta打造了Velox來建構更高效的基礎設施架構,Meta提到,這是一個最新的統一執行引擎,目的是要加速資料管理系統,並且簡化開發。Velox統一了資料運算引擎常見的資料密集元件,但同時又可擴充和適應不同的計算引擎,其擴展原本僅能在個別引擎進行的最佳化,並且實現一致語義框架,如此能夠減少重複工作,提高重用性同時增加了效率和一致性。

Meta進一步解釋,資料運算引擎皆由相似的邏輯元件組成,包括語言前端、中介表示、最佳化程式、Runtime和執行引擎,而Velox提供建構執行引擎所需要的模塊,包括所有在單個主機執行的資料密集操作,像是表示式評估、聚合、排序和聯合等,簡言之就是資料平面。

Velox透過統一函式庫整合資料運算系統的執行引擎,能夠讓資料運算系統更具適應性,目前Meta已於十幾個資料系統整合Velox,包括Presto、Spark和TorchArrow,還有各種內部串流處理平臺、資料擷取系統和用於特徵工程的機器學習系統等。Meta希望透過建構開源社群來支援Velox專案,並且統一各資料運算引擎孤島,模糊機器學習基礎設施和傳統資料管理系統之間的界線。

熱門新聞

Advertisement