Google添加Cloud Dataproc可選元件,更完善支援自動化與先占式運算資源

Cloud Dataproc會在節點不可用時,留存其有狀態資料,可減緩虛擬機器搶占,而導致應用程式執行失敗的問題

2019-04-18

Cloudera與Hortonworks正式完成合併,搶攻AI、邊緣資料應用市場

要同時維持商用服務及開發Hadoop版本,是件蠟燭兩頭燒的工作。雙方決議併購後,除了資源、人力的整合,財務狀況也可望獲得解套

2019-01-07

新興殭屍網路DemonBot招兵買馬,鎖定Hadoop伺服器

資安業者發現一新興殭屍網路DemonBot鎖定Hadoop伺服器,利用Hadoop核心元件YARN的錯誤配置取得伺服器掌控權,已有超過70台Hadoop伺服器遭感染。

2018-10-26

LinkedIn開源TonY,讓Hadoop原生支援TensorFlow

TonY重要的特色之一便是容錯,當Worker錯誤、或是ApplicationMaster失去回應等情況,TonY將會重新啟動應用程式,並恢復到之前的檢查點繼續訓練工作。

2018-09-14

Hortonworks資料平臺3.0釋出,加強容器化及跨雲架構布局

這次Hortonworks釋出的HDP 3.0版,總共有三個重要特色,分別是擁抱容器化、支援GPU,以及加強整合公有雲環境,Hortonworks也強化HDP的效能表現,推出Real-time資料庫功能,可以一併結合即時產生的新資料及舊數據,讓使用者進行深度資料分析

2018-06-19

Google併購Cask強化雲端Hadoop應用生態系

Cask的主要產品CDAP是個開源的應用程式平臺,其整合了Hadoop生態系,提供資料以及應用的抽象層,開發人員能以快速且簡單的方式開發應用。

2018-05-16

Hadoop 3.0正式登場,擴充力增加十倍,單一叢集能管10萬臺

微軟貢獻了稱為YARN Federation的功能後,讓Hadoop的叢集節點數量,從原本約一萬臺,增加了十倍,單一叢集可以容納10萬個節點。

2017-12-15

原生支援開源大數據平臺,Cloudera推出自助式分析服務

Cloudera今年發表Data Science Workbench的雲端服務,資料科學團隊可直接透過當中提供的網頁介面,運用R、Python、Scala等程式語言來進行分析

2017-07-17

臺灣資料工程協會即將成立,大數據平臺Hadoop之父也來站臺

大數據分析不只需要資料科學家或資料分析師,實務上,國外常見還需要資料工程師和資料架構師的角色,培養這兩類人才正是臺灣資料工程協會的成立目的。

2017-07-11

4千多臺Hadoop伺服器HDFS不設防,累計破5PB資料任意存取

在網路上曝光不設防的Hadoop主機,有1900個公開HDFS主機節點位於美國,另有1426個位於中國,且幾乎所有的HDFS主機都置放在雲端代管服務中,有1059個放置在Amazon,另有507個放置在阿里巴巴

2017-06-04

暌違2年,Hadoop終於再釋2.8新版,一次推出近3千項更新

從2015年6月釋出2.7版之後,隔了快兩年,Hadoop終於又有大改版,Apache基金會近日發布了Hadoop 2.8版,一次推出了2,919項更新功能或新特色。

2017-03-29

Teradata釋出開源資料湖管理軟體Kylo,只需9周就能造湖

Teradata於本周三(3/8)釋出開源資料湖管理軟體Kylo,並在GitHub上釋出開源碼供使用者下載。Kylo軟體採用了Apache Hadoop、Spark和NiFi的功能,且不需要編寫程式就能採集資料,加快了使用者的開發速度。

2017-03-10