LinkedIn二度改革資料分析架構 擺脫傳統商業分析方法

想了解LinkedIn營收快速成長的關鍵，得先了解LinkedIn的營運模式。相較於Facebook以及Twitter等社群網站，LinkedIn的營運模式其實不太一樣，LinkedIn不僅是針對職場專業人士提供的社群平臺，而且營收來源主要是由企業用戶貢獻，不像一般社群網站高度依賴網路廣告維生。
 

LinkedIn主推B2B方面的業務，包括人才解決方案（Talent Solutions）、市場解決方案（Marketing Solutions）、客製化訂閱服務（Premium Subscriptions），總共觸及LinkedIn旗下5個主要事業單位，並且涵蓋產品、市場、銷售、營運、研發等面向，高達7成員工（將近4千人左右）的工作都與這些商業解決方案相關，其中，人才解決方案挹注的營收就超過5成，而這項業務的幕後推手，正是LinkedIn商業分析部門，這也是LinkedIn核心競爭力的所在。
 

為了協助商業分析部門，LinkedIn推動了多項IT變革，甚至有些作法和傳統的IT建置思維有很大的不同。

打造複合式大資料分析平臺

LinkedIn的人才解決方案，是針對企業招募大規模被動求職者的解決方案，由於其中整合了被動求職者的網路社群關係，並且涉及龐大的使用者基本資料以及使用者的網路行為紀錄，除了資料量龐大之外，資料型態也非常複雜，同時涵蓋結構資料與非結構資料。
 

LinkedIn商業分析部資深經理李玥表示，為了因應這些資料的分析需求，LinkedIn所建構的大資料處理與分析平臺，必須採用多種不同的資料處理技術，其中最主要的有Teradata資料倉儲系統、Aster Data進階資料探索系統以及大資料處理平臺Hadoop等，這是三種不同的儲存系統，具有不同的分析機制，也分別有不同的應用與功用。
 

LinkedIn依據資料源屬性的不同，將資料分別儲存在Hadoop與Teradata、Aster Data，其中，Hadoop負責做大資料的過慮（ETL），Teradata著重於商業智慧分析，而進階分析處理則採用Aster Data。
 

待分析的資料分散儲存在Hadoop、Teradata與Aster Data平臺後，彼此之間再透過連接器溝通來交換資料，然後再依不同的商業需求，來整合需要分析的相關資料，並由LinkedIn自己開發的資料處理引擎依需求來客製分析過程，最終再透過網路提供給不同的前端使用者。
 

李玥表示，在這樣的整合分析架構下，資料處理效率明顯提升。以目標式行銷的專案為例，過去，LinkedIn需要數小時才能從資料庫中找出符合行銷目標的人選，現在，半小時內就可以完成。這個轉變，不僅降低了資料庫管理的工作負擔，同時也讓分析師的工作效率與作業流程順暢許多。以往LinkedIn甚至需要一位專屬分析師來處理類似需求，而且這位分析師每周需要工作100小時以上才能完成，現在這些工作可以在一天內完成。

依分析需求選擇合適的大資料分析技術

在LinkedIn的使用經驗中，李玥認為，大資料涵蓋的範圍很廣，相關技術也非常多，企業必須依據分析的需求與特性，部署相關的資訊系統。以LinkedIn的架構來說，由於Teradata的服務等級協定（SLA）相對比其他資料倉儲系統好，能夠讓LinkedIn在指定時間內完成指定的資料分析任務，因此，包括用戶管理以及動態效能管理等重要報表系統，LinkedIn都是透過Teradata的資料倉儲來完成。而當分析師需要更複雜、更進階的分析，LinkedIn採用了Aster Data來做相關資料挖掘。

李玥表示，Aster Data平臺和Teradata倉儲系統兩者擅長處理的資料不同，Aster Data的技術結合了傳統SQL查詢語言，同時又加入許多函數分析語言，所以，可以用簡單的查詢語言完成複雜的分析，對於LinkedIn而言，可以節省許多程式開發時間，讓分析師更加專注在資料本身分析。

在LinkedIn，Hadoop的用途則是作為大量批次運算與精準低要求較低的資料處理工作。比如用戶在YouTube觀看影音內容的紀錄，究竟是每個月看100次或101次，對LinkedIn而言，這個數據的精準度並不重要，只要掌握概略情況即可。目前LinkedIn的用戶網路使用行為資料，就是透過Hadoop來做處理。但若是營收數據，100元或101元就是非常大的差異，不容許絲毫差錯，就不會使用Hadoop。

大資料處理的第一步，要先將資料減量

選擇了適合分析需求的大資料技術後，要開始進行大資料分析的第一步是先將資料減量。
 

李玥表示，由於Hadoop橫向擴充的成本很低，適合大量儲存以及簡單的資料處理應用情境，比如網路日誌記錄等原始資料與非結構資料儲存、處理。由於這種類型的資料通常非常龐大，而且資料結構也非常混亂，當資料儲存到Hadoop之後，可以先做簡單的處理，依據業務需求與分析目標過濾出需要的資料，然後剔除不需要的資料，就可以大幅減少資料量規模，當資料規模減少到一定程度後，（通常是分析系統設備可承受的量），再與其他的資料做進一步整合分析，「這幾個步驟非常重要，可以讓資料處理更有效。」他說。
 

不過，李玥認為，不一定所有企業都需要Hadoop，也不是一開始就需要Hadoop，由於Hadoop是開源軟體，目前為止還不是成熟的商業解決方案，不論系統穩定性與資料處理精準度都還不夠，企業在決定採用Hadoop之前，必須考量大資料系統架構的整體配置以及長期的維護成本是否符合經濟效益。
 

一般而言，會採用Hadoop的企業，通常是因為所需要分析的資料，已經超越既有系統所能承載的範圍，其中包括資料量以及資料結構兩個層面的問題。李玥表示，LinkedIn的商業分析部門，在2012年初開始大規模採用Hadoop，主要就是因為既有資料庫系統無法因應新的業務需求。
 

在此同時，LinkedIn還另外搭配開源軟體Kafka，讓所有來自網路的資料，都能依據Kafka的資料格式儲存，以利後續分析與應用。李玥表示，LinkedIn的哲學是利用技術來解決業務問題，將技術應用於業務，而不是用技術來解決技術問題。

2階段調整分析框架，擺脫傳統金字塔結構商業分析方法

此外，LinkedIn的資料分析方法，也一直不斷在調整。LinkedIn商業分析部總監張溪夢表示，在LinkedIn，沒有人會關心缺乏商業價值的資料分析。所有的資料分析工作，必須同時考量到商業價值以及可執行性，否則任何有趣的資料都是一文不值。

為了在茫茫資料大海中，挖掘出具有商業價值的資料，LinkedIn的資料分析框架，也不同於一般傳統的分析方法。傳統的資料分析框架，比較像是5層式的金字塔結構，由下到上依序是資料與資料品質管理、商業智慧分析與報表、專案性分析、深度分析、商業洞察。

為了強化資料分析能力，起初，LinkedIn採用了分工更細的資料分析框架，將資料分析工作擴充到8層式的金字塔結構，由下到上依序包括產品分析、產品追蹤、資料與資料品質管理、專案性分析、商業智慧分析與報告、深度分析、商業洞察、決策，每一層都分別有不同的部門負責。

但是，8層式的金字塔結構的運作模式，最後也無法因應LinkedIn的需求。隨著資料類型越來越多元，資料量越來越多以後，底層技術性的功能層得不斷擴張，造成底層占用越來越多的分析資源，而上層分析效率不彰的問題也開始浮現。往往，光是用於底層的資料處理與溝通，就會占去9成資料分析時間，相較之下，真正能夠投入商業分析的時間，僅有1成左右。
 

為了改善這個問題，後來，LinkedIn再度調整了資料分析的框架，並且從8層式金字塔轉變成菱形的架構，將原本在金字塔下半層的技術處工作高度自動化，也就是將原來金字塔下半部處理所占用的資源或時間減。
 

透過大資料分析技術，來建立各種資料的自動化處理機制，甚至是建立常用業務分析指標的查詢平臺，讓業務分析人員不需要依賴底層IT部門的協助，就能自己取得需要的分析結果，來減少人工介入的時間，以大幅縮短資料處理時間，讓內部分析師有更多時間進行商業層面的資料分析。

善用大資料技術打造秒級銷售分析工具

舉例來說，LinkedIn業務人員為了向企業行銷站上服務，必須經常製作各種網站服務的介紹簡報，簡報上需要參考到大量站上統計數據和分析指標。因此，LinkedIn針對企業內部業務人員提供的內部分析網站服務，也採用了大資料處理技術。

這個服務推出後，成為LinkedIn企業內部票選出來的前十大年度創新專案之一，李玥認為，這個服務展現了非常顯著的效益。
LinkedIn商業分析部為了開發這個內部網站服務，總共投入3到4個月時間，重新匯整業務銷售單位經常使用的指標，然後逐步建立資料索引與分析模型，最終再將資料分析結果，以視覺化方式呈現，讓前端的業務銷售人員，可以快速完成簡報資料，提供給相關企業客戶。

李玥表示，同樣的資料分析需求，過去需要分析師介入才能完成，而效率最好的分析師，每年最多也只能完成500個業務單位的需求，採用大資料分析技術所開發的內部網站服務推出後，業務人員只需要在這個網站，輸入一些重要的關鍵字，就能在0.2秒到1秒鐘內完成資料分析，目前LinkedIn內部每天平均有1千人使用。

傳統金字塔型資料分析的錯誤，是讓IT主導BI報表設計

為什麼傳統金字塔結構的商業分析方式，無法在LinkedIn落實？張溪夢解釋，最基本的原因，就是由資訊部門主導商業智慧分析與報表需求，而在這之上的商業分析，才由資料科學家或是商業分析師負責，這是傳統金字塔結構分工最大的錯誤環節。

LinkedIn的想法是，商業智慧分析報表的呈現，不應該是以資料為基礎，而是應該基於商業分析需求。所以，得由分析師來主導設計，而不是由擅長技術的IT部門來主導。不是從技術可以提供什麼報表來思考，而是要從分析需要什麼樣的報表來設計。

基於這樣的前提，張溪夢表示，一位好的分析師，需要自己去挖掘資料之間的關連性，然後設計出分析結構，這是LinkedIn非常重要的一個核心觀念。因此，一位優秀的分析師，必須要對產品了如指掌，比產品經理更了解產品，比行銷更懂行銷應該怎麼做。分析師必須知道什麼時候，透過什麼工具，來完成商業上的目的。

舉例來說，LinkedIn在全球擁有2億用戶，當LinkedIn計畫推出一個新的網路廣告服務時，如果透過電子郵件傳遞訊息給2億用戶，一來必須花費相當的時間成本才能完成，二來部分用戶可能會因為時常受到干擾而不再登入使用LinkedIn。所以，精準行銷是必要的。

然而，LinkedIn如何做到精準行銷，有幾個關鍵步驟。

首先，依據用戶的網路使用行為資料，建立初步分析模式，然後再根據用戶身分特徵持續調整模型，比如來自哪個國家、哪一間公司、擅長什麼技術、工作相關經驗、職務位階等，最後，再結合網路社群資料做權重分析，精準找出目標用戶的屬性。
不過，在此之前，是必須先建立資料追蹤機制，才能有效率地進行資料分析，張溪夢表示，分析師在著手分析之前，需要投入時間建立資料流型態，才能經由正確且有效的追蹤機制，持續掌握資料的最新變化，進而因應新的資料分析需求。

張溪夢表示，由於分析師的工作，是屬於未來式的資料分析，如何建立資料追蹤機制，甚至比收集資料更重要。否則會增加許多無謂困擾，其中，最有可能出現的問題，就是既有資料無法符合新的分析需求，其次則是儲存格式混亂，以至於失去分析價值。

所以，分析師也必須熟悉分析工作相關的軟硬體，才能決定要如何儲存資料。「如果分析師無法做到，程式開發人員更難做到，就算做得到，也僅能勉強使用，不可能有效率。」張溪夢說。「因為資料分析的關鍵是人，而不是資料。」

LinkedIn商業分析部總監張溪夢表示，在LinkedIn，沒有人會關心缺乏商業價值的資料分析。所有資料分析工作，必須同時考量到商業價值及可執行性，否則任何有趣的資料都是一文不值。

LinkedIn商業分析部資深經理李玥表示，LinkedIn的營運哲學是，利用技術來解決業務問題，將技術應用於業務，而不是用技術來解決技術問題。