振鋒企業資訊部經理黃立品表示,利用In-Memory技術,業務人員調用產銷報表速度快了30倍,而後端的產銷資料,也從每小時更新一次,加速到即時更新。
商場就是戰場,指揮官最重要能力,就是綜合各種可用的情報,進而取得早一步決策的先機。而在網際網路普及,企業業務流程高度IT化的今日,網路上的言論、回饋、企業內的生產、銷售資料,就是企業決策的主要情報來源。另一方面,雖然大資料(Big Data)的應用在臺灣仍在萌芽階段,但是,包括廠區機臺的生產資料、各分店的銷售情形、社群網站中的言論等,都越來越具備大資料的3V特性:大量(Volume)、速度(Velocity)、以及多樣性(Variety),企業已越來越不能自外於大資料的艱難挑戰。
舉例來說,證交所就在今年7月,將個股交易的撮合方式,從原本的20秒,改為15秒撮合一次,更計畫在未來進步到即時撮合。面對這樣嚴峻的要求,各家證券商必須改進自己的交易處理系統,例如元富證券利用記憶體式資料庫,來加速交易訂單的處理速度,雖然目前只是運用在小範圍的證券交易員和貴賓大戶,仍然替未來對即時資料處理的要求,跨進了新的一步。
而以金屬模具、吊重鏈條業務為主的振鋒公司,也面臨了必須在短時間內處理大量報表資料的挑戰。從前,業務員每調用1次產銷報表,就要花上1分鐘的等待時間,這在面對客戶或競爭對手的場合下,往往會讓他們錯失先機。因此振鋒決定導入In-Memory技術來加速企業的資料處理,讓前線業務員在調用報表的速度上,增進了30倍,從前需要1分鐘的等待時間,現在只需要2秒時間,甚至,對於更大量的資料處理,速度的增加可能比30倍更高。
面對大資料浪潮,企業如果能正視自己要面對的資料特性,並從各項技術間選擇未來可能的發展方向,就有機會在大資料浪潮下,乘風而起。
振鋒利用In-Memory技術,提高業務員反應能力
業務員對於企業生產、銷售的掌握程度,是決定企業是否能爭取到客戶的關鍵要素之一。但是,越來越龐大的資料量,也在企業的即時資料處理上,帶來了最直接的挑戰。振鋒企業資訊部經理黃立品就表示,從前業務員在面對客戶時,要調出產銷資料供查詢時,往往必須等待1分鐘之久,而在交叉查詢,或者是多次查詢的使用情境下,時間往往會拖得更長,然而在與客戶洽商的場合,時間就是籌碼,等待的每分每秒都必須付出成本,有時1、2分鐘的效率落後,最嚴重的後果可能造成訂單流失。
資料膨脹導致的另一個問題是,從前的後端報表資料是每個小時更新1次,業務員在洽商場合,往往不能取得最即時的產銷狀況,而必須等待下1次更新週期過後,才能獲得最新的數據,這同樣也拖緩了業務員的反應速度。
黃立品表示,將常用資料暫存於快取記憶體內的In-Memory技術,恰巧解決了這個問題。藉由快取常用的報表資料,業務人員調出訂單的速度可以從1分鐘縮短為2秒,而後端的報表資料,也從1個小時1次的更新,變為即時更新,這意味著前線業務員可以取得零時差的產銷資料,提升談判的籌碼與競爭力。
元富證券利用記憶體式資料庫,增加交易速度
證交所已在今年7月,將個股交易的撮合方式從原本的20秒,改為15秒撮合一次,證交所更計畫在明年底,將個股交易改成即時逐筆撮合。面對這樣的要求,元富證券就導入了記憶體式資料庫,來加速交易訂單資料處理。每日的股市交易都牽涉了龐大的歷史資料、即時資料的綜合處理與判斷,若是以傳統的資料庫來做資料處理,因為其I/O瓶頸過高,往往會有所延遲,而比起一般企業應用,證券交易往往要求更高的即時性。對此,元富證券資訊部專案副總經理李俊德表示,元富證券導入了記憶體式資料庫,擺脫了過去硬碟I/O的瓶頸,讓系統能更快速地處理訂單交易。
不過李俊德提醒,記憶體式資料庫也有其缺陷,主因是資料都是儲存在記憶體中,一旦面臨斷電,未儲存進硬碟的資料將難以復原。然而若要額外建置備援機制,則會影響到資料處理的效率,這個兩難問題,也是資料處理技術上的一大挑戰。
具備大資料處理新思維,有助於因應未來資料處理的潛在需求
雖然,許多企業沒有立即處理大量資料的問題,對於資料處理即時性的要求也不高,然而,企業仍能現在就從大資料帶來的技術變革,以及新的資料處理觀念出發,來重新思考企業在未來可能面對的資料類型,以及未來潛在的業務需求。
舉例來說,工廠的許多機臺每日產生許多的系統資料、社群網站每天也產生許多類型的資料,很多人認為,大量收集、分析這些資料可以用來改善生產、或用來更精準地投放廣告,卻忽略了這些資料從進入資料庫系統的那一刻、其傳輸、儲存、運算、甚至刪除,都需要花費系統資源。因此收集資料不是越多越好,更重要的是,必須仔細評估企業到底需要哪種類型的資料。
此外,資料量的爆炸性膨脹,與即時處理要求的增加,在許多的情況下,也讓以往要在資料群中找出「最好」解的要求,變得不那麼容易達成。例如Facebook的推薦朋友、Amazon的推薦商品機制,其背後都牽涉了大量資料間,彼此關聯的交互運算,若要求出一個最佳解,則必須要花費為時數天的運算時間,而在推薦系統上,用「效率」換取決對的「品質」的想法,就變得更加重要了。
大資料處理面對許多挑戰,至今仍亟待解決
雖然現行的軟硬體技術、演算法設計、資料處理的思維等,都因為大資料趨勢的衝擊,而有了程度不同的進展,然而,在大資料處理上仍存在著極大的瓶頸。
例如,硬碟與網路的I/O速度的不足,就是資料處理的嚴峻挑戰之一。國家高速網路與計算中心副主任周立德,就藉由一個例子,說明了網路傳輸在資料處理的環節中造成的瓶頸。他說國網中心在跟外部機構合作時,常需要傳輸高達TB級的大量資料,通過網路傳輸得花上好幾天,對於網速過慢的因應辦法,周立德說,他們往往得依賴「UPS」解決,乍聽之下,以為是某種新的資料傳輸技術,後來聽他解釋,才知道是「UPS聯合包裹服務」:直接將硬碟裡的資料快遞到目的地。周立德指出,網路傳輸速度與CPU的運算速度間的鴻溝不斷擴大,是未來資料處理的一大隱憂。
另外,新型資料處理技術人才的不足,也間接導致了這些技術無法普及。華碩雲端公司總經理吳漢章認為,像是In-Memory技術、GPU運算技術等,其程式語言的撰寫邏輯,有別於傳統的程式語言,因此,即使對傳統程式語言嫻熟者,也必須重新花時間學習,另一方面,學校也缺乏系統化的教學策略,導致真正掌握新技術的人才供不應求。
而對企業而言,人才的不足也會造成技術普及的障礙,企業即使有了新的軟硬體系統建置,但在缺乏相對應的開發、維護人才的情形下,仍然無法發揮技術的最大效能。
熱門新聞
2024-10-05
2024-10-07
2024-10-07
2024-10-05
2024-10-04
2024-10-04
2024-10-04
2024-10-05