針對蓬勃發展的大資料應用環境,Splunk推出了專屬的整合式資料分析產品Hunk,別名Splunk Analytics for Hadoop and NoSQL Data Stores,顧名思義,它能夠將Hadoop及NoSQL資料庫內的非結構、原始資料,快速、簡易地轉化為可輔助商業決策的資訊,提供搜尋、分析的機制與視覺化的處理能力,如此一來,能提升相關資訊回報速度,大幅縮短通報時間,此外,系統也提供互動式儀表板的操作介面,使用者可從中自行執行分析功能,而不需為此搬動資料或將資料綱要(schema)固定之後,才能開始作業。

Hunk目前支援的Hadoop環境,主要是Apache Hadoop與主要的Hadoop版本,包括第一代MapReduce和YARN,而對於NoSQL與其他資料來源,目前支援了Apache Accumulo、Apache Cassandra、Couchbase、MongoDB與Neo4j。

在今年5月所推出的Hunk 6.1最新版,裡面也針對Hadoop與NoSQL應用而新增了多種功能。例如加入了新的虛擬索引技術Splunk Virtual Index,所以,Hunk能夠藉此拆開資料存取及分析層與儲存層之間的相依性,方便Hunk將資料存取需求導引至各個資料庫;另一個重點是可加速統計分析報表產生,當中將Hadoop的搜尋結果以透明化方式做成快取,因此改善了報表回應時間與效能,而且不用事先搬移資料就能做到,而有了這項機制,也可提升運用Hadoop資源的效率,無懼於資料成長與查詢次數增加的應用趨勢。

新版Hunk提供的互動式操作儀表板與圖表,也值得一提。這個儀表板提供了新的介面編輯器,使用者可以根據自己想要的項目,快速建立儀表板,而圖表也提供層疊式呈現風格、平移-縮放的控制項與儀表板內的下鑽式操作(drill down),互動性大幅提升。而且,這些統計分析的圖表與儀表板,還可嵌入到第三方商用軟體裡面。

對於非結構資料的處理,Hunk除了增強對於Hadoop與NoSQL資料的支援,也跨足到多種格式的檔案內容存取,6.1版支援自動存取純文字檔、連續檔、RCFile(Record Columnar Files,Apache Hive儲存資料所採用的格式)、ORC(Optimized Row Columnar,Apache Hive儲存資料所採用的格式)檔案,以及Parquet檔(Hadoop環境採用的欄式資料儲存格式)

6.1版Hunk在安全性也有所強化。它加入了直通式(Pass-through)的身分認證機制,當系統要提交MapReduce的工作與存取Hadoop叢集時,使用者可直接用IT部門所認可的帳號身分與角色來登入,以提升整體資料存取的安全防護。

在程式開發環境的輔助上,Hunk也提供豐富的機制,讓開發人員在採用Hadoop分散式檔案系統(HDFS)的儲存環境,以及NoSQL資料庫時,能夠運用熟悉的程式語言及框架,將資料與相關存取功能整合到企業級的大資料應用系統。

Hunk的這些機制,包括了標準化的網頁框架、整合相關文件的REST API、Eclipse外掛程式,以及適用C#、Java、JavaScript、Python、PHP、Ruby的軟體開發套件。透過JavaScript、Django、Python等通用的程式語言,開發者也可以在Hunk上結合自定儀表板、使用介面元件與資料視覺化機制,建立專屬的應用系統。

Hunk提供互動式儀表板與圖表,使用者可運用編輯工具建立自己想要儀表板,提升分析體驗。

Splunk在新版Hunk上加入報表加速器的功能,可將搜尋結果儲存起來作為快取,這裡可以預先設定內容摘要涵蓋的時間範圍,這可以有效改善報表查詢速度,以因應資料量與查詢量的成長。

 

產品資訊

●建議售價:廠商未提供,60天免費試用版無存取資料上限

●原廠:Splunk (02)5551-1266 www.splunk.com

●支援Hadoop環境:Apache Hadoop、Cloudera Distribution Including Apache Hadoop(CDH)、Hortonworks Data Platform (HDP)、Amazon Web Services Elastic MapReduce、MapR 2.1

●支援NoSQL環境:Apache Accumulo、Apache Cassandra、Couchbase、MongoDB、Neo4j


Advertisement

更多 iThome相關內容