趨勢科技用Spark打造大資料分析架構,克服單日GB級APT資料分析挑戰

趨勢科技透過Spark平臺建立雙資料流的大資料分析架構,不只不需要儲存每天暴增的Log資料,還能將同一支程式運用在即時處理和批次處理兩種不同的資料處理模式上

2016-01-24

大資料技術新秀Spark如何通吃批次和串流資料分析能力

比Hadoop晚4年誕生的Spark,採取了和Hadoop不一樣的架構,能讓擅長大資料分析的社群來協助開發各種大資料分析模組,又可以讓擅長叢集運算和底層架構的專家來優化底層資源管理,因此吸引了大批開發者參與

2016-01-24

【觀察】臺灣企業大資料應用現況

負責大資料導入顧問的臺灣IBM軟體事業處高級資訊工程師蘇友信表示,臺灣真正導入大資料平臺的企業,還是停留在蒐集資料為主,分析資料為輔的階段,大多是為了先建立一個有能力儲存大量資料的平臺,為下一階段資料分析預做準備

2016-01-23

【觀察】大資料技術邁入成熟期,流動大資料分析時代來了

大資料技術在近2年開始產生根本性的改變,不僅成為眾多技術的底層,更從靜止轉成流動型態,不僅資料更新頻率大增,資料分析速度也從批次處理進一步縮短到毫秒等級的微批次處理

2016-01-23

新版PostgreSQL強化大量資料分析,資料查詢速度加快12倍

PostgreSQL全球開發小組釋出新版資料庫PostgreSQL 9.5,新增了UPSERT指令、資料列層級安全性控管(Row Level Security),以及多項大資料分析功能,讓新版資料庫能夠處理資料倉儲等級的工作,以及與其他大資料系統整合。

2016-01-08

趨勢大資料平臺架構大公開

趨勢科技資深軟體工程師葉祐欣分享趨勢大資料平臺架構(Big Data Stack)與建置經驗,並揭露趨勢為了自行建置Hadoop平臺所用的自動化更新和部署工具Bigtop

2016-01-02

Hadoop專家實戰經驗大公開,揭露企業導入大資料的關鍵4階段

臺灣Hadoop社群發起人王耀聰表示,企業可以先用6大問題自評企業大資料需求,如果真的有導入需求,則可依照4階段執行心法,分別就人力面、流程面、技術面以及整個導入藍圖來逐一檢視

2015-12-20

要發展認知運算,資料處理能力與系統效能是關鍵

發展認知運算的前提,在於本身的系統能否長期支援大資料處理與分析需求,因此對於效能延展性的要求不只是升級、外擴,也要內聚!

2015-12-13

第三平臺崛起,商用認知運算成形

經歷過長久的程式化應用階段,隨著雲端服務、行動化、大資料分析、社交網路的普及,如今也該是時候讓電腦運算邁入下個階段,進化成主動、聰明又懂事的虛擬助理軟體服務

2015-12-13

直擊賽門鐵克新資安監控中心,每日能分析300億份Log檔

賽門鐵克SOC具備大資料分析能力,每日可以分析300億個日誌檔,建立風險模型的時間從以往18個月縮短到3個月

 

2015-12-04

10億人超愛他們的天氣預測,IBM砸25億美元買下天氣公司數位團隊

IBM併購氣象公司The Weather Company旗下的數位(Digital)部門,併購金額高達近25億美元,IBM收購包括手機應用程式、網站、所有收集到的天氣預測與分析資料與雲端平臺等硬體與技術等,再加上超過公司內部900名員工,其中涵蓋大氣科學家、電腦與資料科學家等,來強化Watson的物聯網平臺,天氣公司表示,未來會持續增強天氣預報的精確度,和進一步協助IBM透過分析大量的氣象資料等,來協助企業發展出有助於未來發展的商業解決方案。

2015-12-01

玉山金控談新世代銀行轉型挑戰

面對玉山金控轉型成數位銀行帶來的挑戰,玉山金控總經理黃男州提出5大策略,包括加速銀行的系統開發能力,以及善用雲端與大資料分析技術

2015-11-28