Hadoop

Uber大數據省錢術第3支箭瞄準平臺效率，透過檔案格式優化、改善YARN排程策略、叢集聯邦等方法來提高效率，後來還發起HydroElectricity專案，就像蓄水發電般，善用後臺工作節省前臺CPU耗能

Uber服務快速擴張到全球，呈現爆炸式成長，但也帶來了另一個甜蜜的負擔，他們手上的資料呈現指數型成長，從數PB，4年暴增到數百PB，大數據平臺成了最燒錢的負擔

Dataproc用戶可以在叢集中附加GPU，在工作流程中混合Spark機器學習與GPU深度學習演算法運算

為了全力發展AI，LINE不只提出了2大資料治理原則，也展開資料平臺大整合，不只整合了上百PB的大數據平臺，私有雲基礎架構也開始擁抱K8s，自建微服務框架，來提高自動化維運的效率

Hadoop連接程式實作了類似Linux核心中的fadvise功能，能達成謂詞下推（Predicate Pushdown），讓查詢引擎只讀取需要的檔案區塊

Cloud Dataproc支援Kerberos與Hadoop安全模式，可以讓用戶無痛地將本地Hadoop安全控制搬遷到雲端

要同時維持商用服務及開發Hadoop版本，是件蠟燭兩頭燒的工作。雙方決議併購後，除了資源、人力的整合，財務狀況也可望獲得解套

資安業者發現一新興殭屍網路DemonBot鎖定Hadoop伺服器，利用Hadoop核心元件YARN的錯誤配置取得伺服器掌控權，已有超過70台Hadoop伺服器遭感染。