NetApp大數據解決方案技術長Walter Schroeder(攝影/洪政偉)

警察胸前配戴著攝影機裝置值勤,在路邊開罰單的同時,後方若有一名通緝犯經過,攝影機偵測到拍攝的畫面中,出現與通緝犯照片資料庫相同的人,攝影裝置就能馬上發送一個提示訊息,到警察的手機,警察接收到訊息便能夠追捕該名嫌犯,這將不再是電影中想像的情節,而是即將可以實現的場景。

「人沒有注意到的事,數據分析更能幫上忙!」NetApp大數據解決方案技術長Walter Schroeder表示,人類的認知有限,無法同一時間顧及到所有層面,透過IoT裝置收集資料,加以分析,創造出數位系統的環境,而對企業而言,數據分析更是可以協助企業找到隱藏問題的方法。

數據對企業的重要性已經是眾所皆知,尤其,Walter Schroeder認為,許多企業所關注的數位轉型,都與大數據分析密不可分,企業已經意識到可以藉助分析結果,來找出企業得面對的問題。

不過,現在企業面臨新的挑戰是,隨著IoT裝置日益普及,企業所收集到的資料也越來越多元,而手上的資料量也越來越龐大,更需要一套有效率的資料分析流程,來處理和分析這些資料,才能從海量的數據中,挖掘出對企業有意義的資訊。

再者,企業現今的業務也變得越來越多元化,應用場景更是時常在改變,Walter Schroeder認為,企業開始需要兼顧即時和非即時的大數據分析方法,來因應多元且多變業務。

以警用攝影裝置為例,Walter Schroeder指出,警局不但需要即時分析的技術,才能即時辨識出通緝犯,還需要將每天巡邏的影像歸檔,妥善保存資料,作為日後更長期分析和保存之用。

即時和非即時的分析都得兼顧,如何儲存數據成為關鍵

因此,Walter Schroeder認為,企業所需的大數據分析能力,不是在即時或是非即時中二選一,而是兩者都要兼顧。即時的數據分析的需求,也讓大數據分析從雲端或總部機房,開始走入現場,延伸到在地網路環境中的邊緣運算裝置,以利就近運算。

而長期性的整體分析,則牽涉到資料保存的方式,不同於即時分析可善用雲端計算能力,「長期性分析,得思考如何儲存資料。」他說。

Walter Schroeder表示,近期有項研究指出,企業只要取得比現有資料量多10%,就能讓財星1000大的企業增加6500萬美元收入,「但是企業不可能會用增加的收入,來儲存多收集的資料,」他說。

他指出,現在企業IT面臨的環境越來越複雜,不再只是管理自家的平臺,必須從社交平臺、行動裝置收集使用者的資料,再經過分析得到結果,來改善業務,其中,在處理資料的過程中,還得管理混合雲的環境,也因此,Walter Schroeder提醒,企業資料處理和內部的工作流程,都必須重新設計,來因應多變的應用場景。

首先,Walter Schroeder認為,企業應該要思考,資料如何變成企業開發產品的助力,接著,資料在企業的每個工作流程中,都應該經過重新設計,除了資料和工作流程要配合得宜,他提醒,資料分析還得有效率,大數據分析才能真正創造價值。

舉例來說,一開始,企業從不同的裝置和管道,收集到各種不同種類資料,像是攝影機、手機、網站等,這些資料類型可能是即時串流、結構或是非結構,甚至是半結構化的資料。

這些資料一進入企業的資料分析平臺後,企業就必須因應需求,分成即時和非即時分析兩層資料處理架構,舉例來說,與安全管控有關的資料,就需要即時分析,像是攝影機若拍到通緝犯,就得馬上辨識出是否有權進出,才能做到即時的門禁管控。

而資料經過第一層的即時分析後,企業還會需要將這些資料,進行較長期的分析,例如,購物中心可以分析所有的客人購買行為、年齡、性別等,這些資料就要集中在資料湖,企業就能透過分析結果來模擬未來決策的影響。

Walter Schroeder舉例,購物中心若透過大數據分析的結果,發現商場50%的客人,都會穿越美食街來到提款機的位置,提款後就直接離開商場,在未來購物中心要更換提款機的位置,就能模擬將提款機放置不同的位置,分析提款機的擺放位置,對店家營收會產生什麼樣的影響。

「若企業沒有經過模擬來制定決策,可能造成成本增加,」他認為,大數據分析結果能提供企業更明確的決策依據,進而減少不必要的成本浪費。

最後,企業完成長期的資料分析後,還需要將資料保存在資料湖大約5~10年,以免在未來萬一需要這些資料,企業還要可以相當快速地從歸檔儲存處,將資料調出來,回復到資料平臺,重新利用資料。

因此,Walter Schroeder認為,企業資料分析流程,除了在資料一進入分析平臺時,要分為即時和非即時2種架構來分析處理,甚至,最後還要延伸至歸檔儲存,將資料的儲存,也納入到企業大數據分析處理的流程當中。

一般企業在設計資料處理的流程上,較容易忽略歸檔儲存的部分,而他提醒,未來企業面臨越來越龐大的資料量,除了短期和即時分析之外,還會需要較長遠、整體的分析,因此,企業更要設計能夠長期儲存資料的流程,作為日後較長遠的分析資料來源。

企業目前在大數據分析上面臨的5大問題

依照Walter Schroeder觀察,資料分析場景的多元化,更讓企業在資料分析上面臨新的難題,他指出,企業大數據分析目前面臨的5大問題是人才、相關基礎設施、資料來源、沒有使用正確的工具,以及企業文化,首先企業需要找到適合的人才來處理資料,還要搭配合適的平臺和設備。

除此之外,許多企業可能一開始不知道該收集哪些資料,有些有用的資料企業並沒有收集或是刪除了,而全部收集的話,對企業來講,資料不好管理,成本也會增加,因此,他提醒,企業要從想解決的問題,來思考需要收集什麼樣類型資料。

有了資料和基礎設施,還需要使用適合企業分析場景的平臺和工具,最後,Walter Schroeder提醒,企業文化也是資料分析一大成敗的關鍵之一,他指出,資料分析需要時間來摸索出正確的分析流程,通常需要經過一兩次計畫過後,才會找出對的方法和工具來分析資料。

但是,許多企業可能只完成一次計畫,還沒找到合適的方法和工具,就中斷資料分析的相關計畫,或是分析資料的計畫需要較長的時間,企業在得到成果之前,就提前終止了計畫,最終也沒有得到資料分析的結果。

NetApp大數據解決方案技術長Walter Schroeder表示,企業面對多元且大量的資料,要選對分析平臺和工具,重新設計資料處理流程,才能真正創造價值(攝影/洪政偉)。

根據企業資料分析需求,選擇適合的工具與作法

企業到底要如何選對工具和方法?Walter Schroeder指出,資料分析的工作流程所需要的工具,包含IT基礎設施、資料分析平臺和資料庫,企業應該要根據自己的業務需求,選擇合適的作法。

依照他的觀察,若是企業以使用者體驗為主的應用,需要分析客戶情感資料來增進使用者體驗,可以選擇具有高效能即時分析能力的平臺。

醫療和健康照護產業則需要有叢集的機制,透過分散式運算架構來處理和分析大量的病患就醫記錄。而許多軟體企業在加速創新的開發上,則需要非關聯式的資料庫,來處理非結構化和半結構化的資料,因此,企業要根據自家的分析需求,找到合適的平臺和工具。

Walter Schroeder認為,大部分的企業未來將會需要更快速、更廣的資料分析結果,來協助業務運行,因此,選擇適合自家的資料分析平臺,再透過單一的架構來管理是必要的。

他舉例,澳洲銀行從不同管道中,收集並記錄了每個客戶每次與銀行的互動,一天可以收集到超過1TB的資料量,透過每小時產生一次情感分析結果報告,在客戶離開銀行前辨識出客戶身分,提供更多貼近客戶需求的服務,進而增加了高端客戶的回客率。

此外,Walter Schroeder指出,透過單一架構來處理各種不同資料層的儲存和分析,能夠加速儲存的速度,分析時需要搜尋資料的速度,也會提升許多。

他指出,對企業來說,透過單一的架構來儲存和分析資料,不但可以減少人力,還能降低問題的複雜度,Walter Schroeder解釋,若企業需要透過多個平臺,來處理資料,就需要訓練多個不同的技術人員,從事管理不同平臺的工作,資料或是分析結果出現問題時,企業也不容易找出是哪個平臺出問題,造成管理不易,因此降低了效率。

NetApp未來的大數據產品要將資料和運算距離拉近

隨著企業收集的資料量越龐大、對資料分析的速度要求也會越來越快,Walter Schroeder認為,未來資料分析的趨勢應該會走向各家的平臺速度會提升、延遲度會降低,資料搜尋的速度也會加快。

因此,各家將會使用更多快閃記憶體,也會出現更大容量的快閃磁碟機,儲存更多的資料量,實現能夠在較小的空間中,儲存64TB或100TB大小資料。

Walter Schroeder指出,這也意味著資料密度會增加,儲存設備的價格將會更加昂貴,此外,Walter Schroeder也預測,微控制器的功能會越來越強,未來微控制器可能能夠在儲存裝置上執行應用,如此一來,所需的頻寬和每秒讀寫數(IOPS)也將會減少。

現在執行應用都需要從儲存裝置將資料送到伺服器來做處理,還是會延遲性的問題,Walter Schroeder表示,如果未來儲存裝置端就做能直接執行應用,不但延遲度能夠降低,頻寬也會變得更大,如此一來,「能夠在更接近資料的地方執行應用,」他說。

Walter Schroeder指出,NetApp未來的目標,即是要將「資料和運算的距離拉近」,NetApp預計要將運算,移到儲存端裝置來運行,舉例來說,像是儲存級記憶體(Storage-class memory,SCM),就是結合了傳統儲存裝置,以及記憶體特性的複合型儲存技術,他認為,未來不管是哪一個企業,都需要這樣的架構,來處理越來越多的資料。

 CTO小檔案 

Walter Schroeder

NetApp大數據解決方案技術長

學歷:澳洲Macquarie大學MBA 學位

經歷:在加入NetApp之前,Walter曾於HDS擔任企業工程師,進入NetApp之後任職大數據解決方案顧問工程師,2015年開始,正式擔任大數據解決方案技術長,主導推動NetApp在大數據上的相關產品 ,並協助企業管理數據

 公司檔案 

NetApp

● 總部:美國加州桑尼維爾

● 成立時間:1992年

● 員工人數:超過1萬人

● 主要業務:提供企業混合雲資料服務,包含資料管理與儲存解決方案

● 創辦人:David Hitz

● 執行長:George Kurian

● 年營收:約55億美元

 公司大事記 

● 2013年:推出首款全Flash陣列產品EF540

● 2014年:發布軟體定義式的物件儲存系統StorageGRID Webscale

● 2015年:正式提出針對混合雲的架構NetApp Data Fabric架構

● 2016年:推出新一代儲存系統平臺ONTAP 9


Advertisement

更多 iThome相關內容