圖片來源: 

Apache Apex

Apache軟體基金會(Apache Software Foundation,ASF)日前宣布,又有一套通用型的大資料串流和批次處理平臺Apex晉升為頂級專案(Top-Level Project,TLP),這表示Apex專案的社群和產品已經有良好的治理原則且發展成熟,連大廠商如奇異公司(GE)、美國智慧電網供應商銀泉電網公司(Silver Spring Networks)和行銷自動化軟體廠商PubMatic等都採用Apex的大資料分析技術。

Apex一開始是由大資料軟體廠商DataTorrent在2012年所打造的大資料即時串流分析軟體,在2015年8月時,DataTorrent貢獻Apex給Apache育成中心(Apache Incubator),成為開源專案。

根據ASF基金會,Apex是大規模、高吞吐量、低延遲,且具備容錯能力的大資料串流和批次處理通用平臺,可以用來做資料提取、即時分析、ETL(Extract-Transform-Load)、資料遷移、批次分析、發出警示通知、即時反應等。

而Apex是Hadoop原生YARN架構,以及預設HDFS(Hadoop Distributed File System)為檔案系統,讓Hadoop平臺能夠處理串流資料分析,且Apex的管線化(Pipeline)處理架構讓Apex可以進行即時和批次的資料處理。

另外,Apex具備連接器(Connector)和Malhar函式庫,其中連接器是用來整合其他外部系統,包括了訊息匯流排(Message Bus)、資料庫、檔案系統和社群媒體動態消息,例如,Apache開源資料庫Cassandra、Apache HBase、Apache Kafka、JDBC等。而Malhar函式庫則支援多種檔案傳輸協定、資料庫和訊息佇列,例如,檔案傳輸協定FTP、NFS、Java訊息服務JMS、訊息管理服務RabbitMQ、NoSQL資料庫等。

除此之外,Apex也簡化了Hadoop應用程式的開發和產品化,允許開發者可以編寫或重複使用通用的Java程式碼,以降低使用Apex的進入障礙,而這也增加開發者的生產力,加速商業邏輯的開發,讓產品可以更快上市。

熱門新聞

Advertisement