Walmart電商3.0新戰略關鍵：打造全球最大OpenStack私有雲

對美國零售商而言，每年11月第四周感恩節後的第一天是個大日子，這是黑色星期五（Black Friday）大採購之日。

這天是一年一度聖誕購物潮的開始，很多大型商場會提前到凌晨五、六點就開始營業，而搶購人潮更早從前一天半夜就會排隊，為的就是趁一開店就搶購限量的折扣商品，這是影響百貨零售業者一年業績最關鍵的日子。

但在2015年的黑色星期五採購日卻很不一樣，過去大排長龍的人潮不見了，反倒是從2005年因應電商興起，而在黑色星期五後舉辦的星期一網路大促銷（又稱為超級星期一，Cyber Monday），成了新的購物戰場。

美國零售業聯盟（National Retail Federation，簡稱NRF）在開賣前就預估，感恩節周末到實體商店購物的人潮儘管高達1.3億人，但在超級星期一上網購物的人更多，達到1.8億人，足足多了5千萬人。

果不其然，定期追蹤美國200多家線上零售業的分析機構Custora統計，2015年黑色星期五這一天的線上購物訂單量，就比前一年同一天，成長了16.1%，而且超過三分之一業績來自行動裝置下單，尤其多數來自蘋果iPhone與iPad上的消費訂單。

也因此，實體黑色星期五美國零售商店整體業績足足下滑了1成，零售研究機構ShopperTack估算，2015年黑色星期五實體業績只有104億美元，比2014年的116億美元，少了超過10億美元，反而是網路超級星期一前後的業績增加了18％。追蹤美國百大電商8成線上交易的Adobe估算，2015年網購業績創新高，光是超級星期一這一天的營業總額，就達到30億美元。實體黑色星期五購物節明顯式微，新戰場已經轉移到了網路上。

NRF每年都會公布全球Top 250零售業排行榜，獨霸全球零售龍頭多年的Walmart在2016年照例又是冠軍，已揭露的年營收（2014年）高達4,856.5億美元，是排名第二Costco年營收的4倍之多，Walmart賺錢能力可見一斑。但在NRF全球50大網路零售業2016年排行榜上，全球電商龍頭是年營收700億美元的Amazon，第二名則是蘋果。Walmart連前三名資格都沒有，只以122億美元屈居第四，甚至還輸了中國電商京東（JD.com）。

不過，Walmart這個零售龍頭也不是省油的燈，打從2015年11月初，就展開了不一樣的感恩節銷售戰略，打出了「天天都是黑色星期五」策略。一方面將全館多達96％的商品都能在線上購買，另一方面將黑色星期五才有的折扣，提前2周在網路商城上實施，更將超級星期一的大降價，提前到星期天開打。至於效果如何，能否在網路零售業排名上更上一層？等到2016年中公布前一年營收結算時就能見分曉。

為何Walmart必須積極擁抱OpenStack？

為了實現網路購物的新戰略，創立超過50年的Walmart早就展開布局。在2015年5月的溫哥華OpenStack高峰會上，Walmart旗下率領WalmartLab雲端維運和工程部門的資深總監Amandeep Singh Juneja透露，想要做到天天折扣的關鍵是，要有能力確保供應鏈提供低價商品時又能獲利。「這正是Walmart必須擁抱OpenStack上雲端的理由。」

能夠長期站上全球零售頂端，Walmart靠的是積極擁抱各種新科技。1962年第一家店開張後，1975年時展店到全美125家，就導入了IBM大型主機370/135來管理倉儲。80年代，早在網際網路技術不夠成熟前，為了將各地商店的銷售資料快速回傳總部，不惜用衛星建立私有網路。1983年開始大規模導入條碼，所有產品都透過條碼來進行數位化管理。1996年，網際網路才剛問世，Walmart就將全球數千供應商的資料交換服務直接上網。現在熱門的IoT，Walmart早在2005年1月1日就啟用第一套RFID應用。若回顧Walmart五十年來的發展史，其實就是一部科技演進史。Amandeep更是直接點明：「Walmart不只是零售公司，更是一家科技公司，科技向來是Walmart成長的燃料。」

實體規模 ╳ 數位規模＝Walmart Scale難題

但是，全球第一大的交易規模，成了Walmart發展第三代電子商務最大的挑戰，「不只是大，還有複雜。所以，我們稱為Walmart Scale難題。」Amandeep表示。

實體規模上，統計到2015年中，Walmart旗下擁有超過11,000家商場，分布在全球28個國家，一個禮拜的來客數就高達2.45億人。光在美國境內送貨卡車每周行駛超過10億英里，所有店面的面積累計超過100平方公里，也就是3千萬坪，相當於三分之一的臺北市面積。

而網路世界的數位規模上，Walmart旗下有11個電商網站，光在2014年從感恩節到超級星期一，5天的網頁瀏覽人次高達15億人次，每年還持續成長21%。

為了發展線上交易，Walmart「天天低價」策略到了2014年更進一步變成了「周周最低價」，上網買貴了，Walmart會退還差價。

Walmart很清楚新戰場是全球規模的電子商務，不同於1.0時代少數商品上網下單為主，2.0則以區域交易大宗，全球交易少量的模式，Walmart想要發展的eCommerce 3.0新戰略是「Any-Any-Any」，任何產品、任何時間、任何地點（不論線上或線下）都買得到，成為一家永遠不打烊的商店。

但是實體規模加上數位規模帶來的挑戰是，線上線下O2O整合後，還要能夠提供低價商品兼獲利衍生的超高複雜度。這正是高層賦予Amandeep的任務。

為了實現這個目標，不論是資本投資、費用支出、安全性、網路架構、擴充性、高可用性、災難備援、系統升級、計費、綠能、按需供應等需求都得面對超高複雜性的考驗。因應這樣的資訊需求，Walmart光是2014年的IT預算就破百億美元。

但光有預算還不夠，「得有能力模組化管理這些複雜需求，才能真正知道我們做到的每一件事，而不是一團亂地管理。」Amandeep表示，因此，我們決定徹底擁抱雲端基礎架構，要打造一個能快速調度資源、自助式按需供應、靈活、彈性的運算資源供應平臺。

Walmart對這個提供IaaS底層的私有雲賦予了幾項目標，第一個目的是要實現水平式擴充，包括能隨新部門成立同時部署資源、跨部門分攤工作量、提供線性且無限的擴充能力。且能讓開發者打造App時能簡單上手IaaS資源，來幫助開發團隊習慣雲端開發，最後由IaaS自動將App部署於複雜架構（Web/App和多層資料庫），最後是要提供高擴充性的商業級區塊和物件式儲存能力。

第二個目標是彈性，包括了要提供可靠及快速回覆的IaaS平臺、能動態擴充符合大量需求、具備線性及無限擴充能力、具備應用程式自我修復能力的可靠基礎架構，以及當機出錯的因應計畫，例如即使資料中心當機，服務還能繼續運作的機制。

負責維運Walmart私有雲的關鍵人物是在Walmart任職超過9年的Walmart技術部雲端工程經理Rick Melick，他也在Walmart建置過具有3萬vCPU規模的VMware基礎架構。

Rick Melick認為，將Walmart舊有基礎架構，汰換成雲端原生架構（Cloud-Native）的過程，是一種典範的轉移，更是一個反覆迭代進行的過程。「轉移本質上就是歷程。」他說。

Rick Melick去年10月在OpenStack東京高峰會上分享了這個轉型的過程。他以ACME俱樂部來代表Walmart，原本，這個俱樂部有一套用了5年的電子商務系統，部署在Solaris SPARC工作站上。為了轉型到雲端原生架構，必須將35套部署在實體主機上的應用系統，轉移到私有雲中。這些系統每一個都是多層次架構（n-tier）的單套式（monolithic）應用，原本都部署在RHEL環境的x86架構主機上。

唯有私有雲，才能整合實體、虛擬、行動來打造出無縫銜接的購物服務。─Walmart 技術部雲端工程經理 Rick Melick

雲端轉型3大商業目標

公司高層提出了雲端轉型3大商業目標：第一要提高25％的維運效率，從按周計算要縮短到按小時計算。其次是要增加50％的網站效能，從等待網頁整頁更新到一按就結帳。第三個目標是要減少75％的硬體和資料中心支出，例如將應用系統上雲端後，要能挪出更多資料中心空間，也能清出更多閒置主機可做他用。

除了目標，還有兩個限制，為了避免影響公司營運，所有雲端應用只能部署在內部，也就是私有雲環境中，另一個限制是因為預算不夠，初期還無法導入區塊儲存這個雲端平臺才有的新能力。

評選過多家雲端平臺後，剛好OpenStack產品跨入爆發期，Walmart最後決定選擇OpenStack。

Amandeep的理由是，OpenStack足以提供主流雲端平臺上的大多數功能和效能，尤其過去2年成熟度快速提高，實質上成為了一種標準，有助於擺脫廠商綁定，再加上開發社群不只是個人，更有大量企業使用者，尤其是有超過上百家企業長期參與改善和提出需求，甚至有一家企業就貢獻了超過3萬行程式碼。「真正使用產品的人來修補產品，最能符合使用者的需求。」Amandeep說，這是最吸引他的一個理由。

Walmart最後決定全面擁抱OpenStack，但同時搭配了一套OneOps系統，來轉換上原生雲端架構。為了達成這個目標，當維運團隊想辦法建置IaaS叢集時，開發團隊同步花了幾年時間調整開發方法，改用SOA架構重新打造整個網站，甚至打造出了一整套稱為Walmart API來服務自己的內部開發之用。另外每一座資料中心都各自建立了專屬的VLAN，而不是所有資料中心共處單一網路，要透過隔離來確保電商網站的安全。每一支應用程式都透過虛擬IP來提供服務，完全不採取主機對主機的連線方式。

任何應用程式部署時，至少要部署到兩個不同雲端區域中的兩個不同資料中心上的HA叢集，也就是說，任何一支應用程式至少要部署在8個VM上相互備援（2個雲端區域╳2座資料中心╳雙VM的HA架構等於8VM）。

儘管這是一種過度分配資源的部署方式，但Rick Melick表示，這麼做的優點是將基礎架構穩定性的問題拉高到應用程式層級。除非應用程式出錯，否則應用系統不會因基礎架構出錯而當機，來減少對維運層的依賴。

遇到少數一、兩個老舊應用系統難以SOA化，則仍需要整套在一個獨立VM中執行時，就透過主動／被動配置架構，部署在OpenStack提供的專屬VM，並搭配後來導入的區塊儲存機制。另外一個挑戰是會遇到本地端VM當機的情況，這會導致使用者在系統端的瀏覽記錄失效，得重新登入系統才行，造成顧客操作上的困擾，開發團隊一方面與業務團隊溝通，這是上雲端可能會面臨的風險，另一方面也將電商應用系統所用的Session資料，儲存在電商系統所在VM外的環境中，例如透過Cassandra、Couchbase等Key-Value類資料庫來提供穩固Session。最後，逐漸順利地從Solaris作業系統轉移到Linux平臺，從實體環境轉移到虛擬架構，也建立了自助式的敏捷基礎架構，來提供一個應用系統和服務抽象化的雲端平臺。

維運團隊也要求開發團隊改變開發思維，例如不能再使用伺服器IP位址來呼叫，也要從更彈性、更短期壽命的角度來開發系統。過去所沒有的水平擴充能力，現在能讓應用系統具備400％的可用性，因此可以不再需擔心底層架構的出錯問題。網站功能也要解構成服務，才有助於獨立擴充和部署，例如停止開發舊有程式，改用微服務架構（Microservices）重新設計。

另外，開發人員也要重新設計新的設計模式以及API規範契約，甚至這可以讓老舊系統具備了微服務的特性。優先針對未來電子商務需要的商業能力遷移系統到私有雲中，但對於翻新不易的老舊系統，則是採取建立周邊系統來交換資料的作法，再逐漸等待老舊系統淘汰。

在組織文化上則導入了DevOps文化，尤其是跨功能部門的DevOps，也賦予AP開發團隊業務面的責任，得負起從開發到維運間完整生命周期的責任。

打造全球最大企業OpenStack私有雲

Walmart從2012年9月開始試驗OpenStack，隔年6月運用到正式環境中。2014年初新資料中心建置完成後，開始大量部署OpenStack，所用的處理器核心數接近3萬個。2014年中，Walmart開始用OpenStack來支援假期購物季的爆量交易，平臺所用核心數更翻倍達到7萬個。到了2014年最大一波採購季感恩節價假期到聖誕節，Walmart交易平臺已全面部署在OpenStack上運作，核心數更超過10萬個。換句話說，2014年黑色星期五到超級星期一，高達15億人次網購人潮帶來的交易，都發生在OpenStack所支撐的電商系統上。

2014年時Walmart使用的是Havana版OpenStack，2015年中更升級到Juno版本。到了2015年底，美國Walmart.com網站已經是一個100％雲端原生架構的網站，底層IaaS服務的OpenStack，核心數量超過20萬個，是全球最大規模的企業OpenStack私有雲。

截至2015年10月，Walmart全球展店達到了11,505間，擁有220萬名員工，遍布28個國家。為了滿足2.6億名顧客，推進到第三代電子商務架構，Walmart在2016年最大目標是要整合實體商店、網路商店、行動裝置的使用體驗，來打造出無縫銜接的購物服務，「這也正是Walmart必須打造私有雲最大的理由，唯有私有雲才能整合上述這一切。」Rick Melick，這位一手維運全球最大私有雲的關鍵人物這樣說。

【相關報導請參考「【雲端企業實例1】電商體質大改造！Walmart上雲端」】