Hadoop 3.0正式登場,擴充力增加十倍,單一叢集能管10萬臺

微軟貢獻了稱為YARN Federation的功能後,讓Hadoop的叢集節點數量,從原本約一萬臺,增加了十倍,單一叢集可以容納10萬個節點。

2017-12-15

陳昇瑋:2016是臺灣資料科學啟動元年,不再只聽,今年真的動起來了

臺灣資料科學協會理事長陳昇瑋觀察,臺灣資料科學的發展,今年開始不一樣了。3年前大家只是聽,沒有人採取行動。但今年開始出現資料科學招募職缺、培訓人才、建立團隊的需求,尤其金融業最積極。

2016-07-16

Yahoo的行動App成長術

分析框架與數據佐證是帶動App成長的2大重點,但最重要的前提是開發者是否願意透過分析式、數據導向式的方式來優化App

2016-06-09

【2016 Teradata大數據峰會直擊】Teradata朝開源再邁進一步,要幫企業打造資料分析的生態系統

Teradata宣布進一步擁抱開源,目前旗下的開源服務已經拓展至美洲、歐洲及亞洲,現在也要進軍中國市場,將由2年前收購大資料技術整合與諮詢公司Think Big,來協助企業有效部署自己的資料湖、打造如Hadoop、Spark、Kafka、HBase等大資料平臺及採用各項開源套件應用,並建立一個資料分析的生態系統,也就是先前推出的統一資料架構平臺UDA

2016-05-06

Teradata成立全球IoT分析部門,瞄準物聯網應用的大資料即時分析需求

Teradata宣布設立新的全球IoT分析部門,隸屬於Teradata實驗室之下,將專注開發IoT應用領域的創新資料分析服務,並打造新雲端化的資料分析解決方案。

2016-04-26

美國研究人員利用大資料分析預期壽命與收入的關係,並開放研究資料

美國史丹佛大學、哈佛大學、MIT、麥肯錫公司與財政部的研究人員利用大資料分析探討美國各地區收入和預期壽命之間的關係,並在《美國醫學會期刊》上發表相關論文,而研究資料也開放為公開可用的資料,提供給政策制定者和研究人員使用與參考。

2016-04-14

Spotify採用Google雲端平臺服務,每秒可處理上萬筆訊息

Spoify決定採用Google雲端平臺來提供音樂串流服務,而遷移後端資料和技術服務的大工程將分為服務和資料2大部分,Google宣稱,Spotify資料查詢工作將可在1至2分鐘內完成,且可在每秒處理成千上萬筆訊息。

2016-02-25

政府大資料應用初步成果揭露,靠大資料預防犯罪再往前邁進一步

中正大學犯罪防治中心利用新北市警察局刑案資料繪製報案斑點圖,再經由大資料技術分析犯罪成長曲線,下一階段將透過資料探勘和分析技術找出預測模型,協助警方更有效預防犯罪

2016-02-14

Cloudera推出新版大資料管理工具,簡化企業級Hadoop雲端部署工作

Hadoop企業版發行商Cloudera釋出大資料部署和管理工具Cloudera Director 2.0,簡化了在雲端執行Hadoop的工作,如ETL、Modeling、BI分析等,也與Aamzon AWS、Google雲端平臺、微軟Azure合作,提供混合的作業環境。目前已開放免費下載新版Cloudera Director。

2016-01-27

SMACK架構成為大資料技術迎戰Fast Data新關鍵

近幾年的API化、行動化和IoT化風潮,為大資料領域帶來了不一樣的新挑戰,資料分析的挑戰不只是大量,還要快速。以新一代大資料分析技術Spark為核心的大資料分析新架構SMACK也因應而生

2016-01-24

趨勢科技用Spark打造大資料分析架構,克服單日GB級APT資料分析挑戰

趨勢科技透過Spark平臺建立雙資料流的大資料分析架構,不只不需要儲存每天暴增的Log資料,還能將同一支程式運用在即時處理和批次處理兩種不同的資料處理模式上

2016-01-24

大資料技術新秀Spark如何通吃批次和串流資料分析能力

比Hadoop晚4年誕生的Spark,採取了和Hadoop不一樣的架構,能讓擅長大資料分析的社群來協助開發各種大資料分析模組,又可以讓擅長叢集運算和底層架構的專家來優化底層資源管理,因此吸引了大批開發者參與

2016-01-24