| Kubernetes | Blue Data | MapR | Hadoop | KubeDirector

HPE推出K8s容器平臺,可同時支援非雲端原生應用系統部署

採用開放原始碼版本Kubernetes之餘,即將於3月上市的HPE Container Platform,也整合Blue Data的軟體與MapR的檔案系統技術

2020-01-28

| google | Dataproc | GPU | Cloud | Apache Spark | Hadoop

Google雲端Spark叢集服務Dataproc現可運用GPU加速運算

Dataproc用戶可以在叢集中附加GPU,在工作流程中混合Spark機器學習與GPU深度學習演算法運算

2020-01-27

| K8s | 微服務 | 通用資料平臺 | 數位轉型 | AI轉型 | Line | 雲端原生架構 | Rancher | Hadoop | 資料特徵服務架構 | 混淆工程 | 去識別化 | 隱私 | 個資

【擁抱K8s、微服務和通用資料平臺新架構】AI轉型也得換體質,LINE資料平臺和IT架構雙雙大翻新

為了全力發展AI,LINE不只提出了2大資料治理原則,也展開資料平臺大整合,不只整合了上百PB的大數據平臺,私有雲基礎架構也開始擁抱K8s,自建微服務框架,來提高自動化維運的效率

2019-12-12

| AWS | Hudi | Spark | Hadoop

Amazon EMR現內建Hudi可簡單操作單筆記錄資料

Amazon EMR用戶現可使用Apache Hudi對單筆紀錄資料進行插入、更新和刪除。

 

2019-11-19

| google | Cloud Storage | Hadoop | 推特

Google更新Cloud Storage的Hadoop連接程式,強化欄式資料格式支援

Hadoop連接程式實作了類似Linux核心中的fadvise功能,能達成謂詞下推(Predicate Pushdown),讓查詢引擎只讀取需要的檔案區塊

2019-09-02

| google | Cloud Dataproc | Hadoop | Kerberos

Google大數據分析服務Cloud Dataproc終於可以直接套用現成Hadoop資安政策了

Cloud Dataproc支援Kerberos與Hadoop安全模式,可以讓用戶無痛地將本地Hadoop安全控制搬遷到雲端

2019-07-03

| google | Cloud Dataproc | Hadoop | Spark

Google添加Cloud Dataproc可選元件,更完善支援自動化與先占式運算資源

Cloud Dataproc會在節點不可用時,留存其有狀態資料,可減緩虛擬機器搶占,而導致應用程式執行失敗的問題

2019-04-18

| Cloudera | Hortonworks | Hadoop

Cloudera與Hortonworks正式完成合併,搶攻AI、邊緣資料應用市場

要同時維持商用服務及開發Hadoop版本,是件蠟燭兩頭燒的工作。雙方決議併購後,除了資源、人力的整合,財務狀況也可望獲得解套

2019-01-07

| 殭屍網路 | DemonBot | Hadoop

新興殭屍網路DemonBot招兵買馬,鎖定Hadoop伺服器

資安業者發現一新興殭屍網路DemonBot鎖定Hadoop伺服器,利用Hadoop核心元件YARN的錯誤配置取得伺服器掌控權,已有超過70台Hadoop伺服器遭感染。

2018-10-26

| LinkedIn | Hadoop | TensorFlow

LinkedIn開源TonY,讓Hadoop原生支援TensorFlow

TonY重要的特色之一便是容錯,當Worker錯誤、或是ApplicationMaster失去回應等情況,TonY將會重新啟動應用程式,並恢復到之前的檢查點繼續訓練工作。

2018-09-14

| Hortonworks | Hadoop | 大數據 | 跨雲架構

Hortonworks資料平臺3.0釋出,加強容器化及跨雲架構布局

這次Hortonworks釋出的HDP 3.0版,總共有三個重要特色,分別是擁抱容器化、支援GPU,以及加強整合公有雲環境,Hortonworks也強化HDP的效能表現,推出Real-time資料庫功能,可以一併結合即時產生的新資料及舊數據,讓使用者進行深度資料分析

2018-06-19

| google | Cask | Hadoop

Google併購Cask強化雲端Hadoop應用生態系

Cask的主要產品CDAP是個開源的應用程式平臺,其整合了Hadoop生態系,提供資料以及應用的抽象層,開發人員能以快速且簡單的方式開發應用。

2018-05-16