對當前的企業來說,如何讓既有的資訊變得更正確、精準,仍不太容易。而且這些資訊當中,有些類型相當特別,因為是許多應用系統、交易程序都會用到、存取的部分,所以很重要,等於與企業營運的命脈密切相關,這種資料稱為主資料(Master Data),舉例來說,它們可能是所謂的基本資料,包括顧客、產品、員工、地點、資產、原料等主題。
企業必須設法維護主資料本身,做到一定的品質,例如內容的可信度高,同時又是獨特而不重複的;而且,重點是主資料要在既有的營運流程中妥善運用,例如銷售、行銷、財務等,協助企業內外相關的使用者,能夠在流程上更快速地作業。

此外,企業也逐漸意識到,可以藉助主資料與既有系統的搭配、運用,來改善既有的商業流程與決策,這些因素都使得主資料管理(Master Data Management,MDM)受到更大的關注,幾乎是繼商業智慧之後,再次驅動資料整合下一波應用的新動力。

用法上容易與資料倉儲混淆
因為牽涉到交易系統的處理程序,MDM的實際資料處理作業上相當複雜,而且需要考量到多種因素。所以當我們一開始去修改資料時,雖然執行程序和路徑要維持不變,但這些資訊的變更,不只是要傳到主資料管理系統上,然後這套系統的資訊,也要能再傳回既有系統上。

而且,到了其他系統都可以和MDM相互存取的階段,會有一種複雜的狀況發生:當後端的資料庫異動,而主資料管理系統本身的資料,也因其他系統的作業而變更主資料內容時,這兩邊的資料同步該怎麼處理?
從MDM到既有系統之間,固然可以採用發布與訂閱的方式來同步處理,但相反地,資料從既有系統如何同步到MDM才是重點。目前雖然有既定的工具可運用,但是這些又跟主資料管理系統無關,只是執行專案過程中一定要做的事情。總而言之,這些過程企業需要通盤考量,並且找到比較理想的技術和方式。

還有更複雜的,例如MDM和資料倉儲相互搭配。很多人可能會把資料倉儲和主資料管理混為一談,以為兩者都在做一樣的事情。其實資料倉儲對MDM而言,屬於既有系統的範疇,因為那邊的資料通常是由應用系統端,透過ETL工具再進到資料倉儲,然後這裡面又可能衍生出好幾個資料超市(Data Mart)。

這麼看來,主資料管理和資料倉儲之間似乎存在一些曖昧的關係,但它們之間有何不同?

如果主資料管理裡面的顧客資料,已經有一個完整的檢視,而且內容是最新的,這些資料其實是可以給資料倉儲來使用的。但資料倉儲本身在處理過程中,會再分析出很多資訊,這些過去很少回饋至交易系統端。如果能做到,前端服務的專員能夠同時掌握顧客的VIP等級與流失率,業務運作上會更妥善。

就主資料管理和資料倉儲而言,它們之間是相互協調的,而不是彼此取代。

兩者的定位差異在於,主資料管理系統必須要能讓前端的服務人員可以使用,而不只是藏在後端系統而已。

兩者也有共通之處──都要求資料是正確的。由於資料倉儲會執行資料清理(Data Cleaning)的工作,當資料進到資料倉儲時會經過修正,但這些異動不會自動回溯到應用系統當中的後端資料庫,因此錯的資訊還是錯的,而對主資料管理來說,這些錯誤的確是需要去更正的。

一般人或許會認為,資料倉儲只是客服中心的一種應用系統。我只能說,的確是可以在這樣的系統上去建立一個客服中心系統,大部分企業雖然已經建置了,但裡面的系統其實只服務客服中心本身的需求,而不是全部的人,所以觀念上不同。單靠客服中心手上的資訊來整併,成效還是有限,而且一不注意,可能會因此誤認所有的主資料,都需要以客服中心的資料為重。

用Data Hubs的做法來整合主資料
很多人也許會問,透過資料庫這類儲存庫來彼此同步裡面的內容,不是就可以解決主資料整合的需求嗎?

問題在於,這樣的關係裡,當某個系統的資料更動之後,另一個系統就面臨到是否需要同步處理的狀況。企業通常有N個系統,它們之間或許會相互將資料同步處理,但並非全部系統的資料都處於同步的狀態,通常只選幾個來實作,光是這樣的串連,機制就很複雜,因此會產生很多技術上的問題。

這其實和資料庫處理的觀念有關。也就是所謂的兩階段確認(Two phase commit)。如果修改資料,按下「完成」後,內容直接變更(Update),這叫做One phase commit;但兩階段確認是資料處理完成後,由於要連帶更新另一個系統的資料,所以並不立即宣告「完成」,而是確保兩邊的資料都變更了,交易才算完成。

如果沒有一套系統在中間串連,企業就要自行在不同系統之間,設法做到兩階段確認,這將會衍生一個問題:假設有12個系統要同步更新資料,資料變更時,要等12個系統都完成作業時,前端才會收到「完成」的資訊,也就是說,企業完全無法控制資料處理的效能。

對MDM來說,資料變更時,這些異動只發生在這個系統內,但MDM會將這些資料的最新版本,發布給相關其他的系統去同步。

如果是由主資料管理系統來協調這些動作,是有點像是中介軟體在扮演的角色。IBM軟體產品處軟體系統架構顧問巫介唐提到,就該公司的解決方案來說,實際上是靠EAI和Services元件的技術。

換句話說,MDM本身不直接去處理這些資料的異動,但是它會去擷取(Capture)那些資訊,把它們送給EAI,現在很多MDM廠商的產品都具備這樣的功能。通常這種技術叫做「發布與訂閱(Publish and Subscribe)」,幾乎是所有EAI廠商都具備的特色。

也許你會以為,MDM直接溝通每個系統後端的資料庫、儲存庫等資料儲存。其實不然,既有的應用系統仍直接依照原先的方式,去存取後面的資料庫系統。不過想做到這個目標,困難之處在於如何相容於既有的架構,逐漸發展成理想的架構。

巫介唐說,像這樣去改變資料處理與存取的路徑需要時間,固然須靠有經驗的廠商來引導,但目前臺灣還沒有企業以這樣的方式去發展,所以整體上,仍缺乏實際可參考的案例;而且過程可能得花上10年以上,絕對不是花點錢、1年內就能做得出來的。

妥善運用,能使企業免於違反法規
MDM應該是在企業內部裡面去建置、使用的,不過就像上述研究機構所分析的全球各地的應用狀態,有些企業以SaaS的方式來應用主資料管理。根據巫介唐的判斷,這種狀況可能是因為國外的企業可以合法買到顧客資料,例如Gartner將這種業務稱為Customer Data Integration(CDI),但這類解決方案較針對Party,即顧客資料,其他層面的主資料較少涵蓋到。

有種CDI的做法其實也和SaaS有關,Gartner稱為External Reference Style。在這種方式中,當企業要去查一個顧客的資訊時,可以從外部的系統取回資訊,更進一步了解顧客的基本資料,作為後續評估,例如是否結過婚、所需照顧的子女數。

這種服務的形成,是因為有很多顧客本身的基本資訊,在其他廠商的應用系統當中,都已經建檔,既然當地允許企業販售顧客資訊,所以這種SaaS是有可能存在的。

至於MDM跟法規遵循有關,也不難理解。因為透過這類型系統的操作,企業將能看到所謂的Portfolio──顧客所擁有或購買的產品,以及跟公司的關係。看到這些資訊後,企業能夠發起一些行銷活動,去延伸規畫更引起對方購買欲的產品組合,像是這個顧客是否適合其他產品的交叉銷售(Cross-sale)。這些資訊除了來自企業自身營運用應用系統內的主資料,也很可能是從資料倉儲端匯入,更進一步地還可能包括隱私資料或是偏好。

一旦企業直接運用這些資料,卻沒有注意到有人可能對接收這樣的行銷廣告行為感到反彈時,就很可能會因此觸法。因為企業發起行銷活動時,並沒有主動排除那些不想受打擾的顧客。

某些國家甚至有這樣的法令來約束公司行號的行銷手法。像美國國會曾經制定「勿來電」執行法 (Do-Not-Call Implementation Act),並且授權聯邦貿易委員會建置「勿來電」登記系統,成立一個National Do Not Call Registry的資料庫,任何一個人只要打電話去登記資訊、加入這個計畫,政府就保障這個顧客不會受到所有廠商的電話產品推銷,造成騷擾。

這將會造成一種狀況:通常這些情報往往只能全部蒐集進來,之後企業以此大量發送傳單,如果沒有這方面的過濾機制,例如在主資料管理系統裡面加註,就無法確定本身是否能遵守這樣的法令要求,作業上一定會有失誤。導入的第一步:注意複雜度
只要目前有一些系統的主資料需要整合,其實就可以開始著手進行,但巫介唐表示,實際上還是要看各種產品與技術的限制,例如是否只能跟EAI結合。廠商最好能支援這方面的技術,假如不行,就用點對點的方式去串接,但問題在於架構就會變得不夠「俐落」──當系統越來越多,整體環境就變得很複雜。關於這部分的整合效益,本來就是EAI也會強調的特性。

不論企業e化程度和複雜度高或低,企業仍須仔細探討建置主資料管理是否有益。例如公司可能只有2套系統,而且看來都是很核心的應用,它們所處理的資料就是主檔資料,不需要太多特別的處理,就可以達到目的。當你有越來越多的資料複本時,就會陸續衍生出額外處理的需求。

以電信業為例,一直以來都在整併固網和手機的業務,對他們來說,就必須探討這兩項業務合併的動機及商務上的好處。

對這些公司來說,合併就是為了發揮更大的效益,所以是很重要的議題。就算系統很少、很單純,假如對企業很重要,他們就必須去做這件事情。而關鍵只在於怎麼實作和建置。

記住更多使用者的個人化資料,改善日常生活應用
每家公司對主資料管理的用法和目的不盡相同,但在建置上,差不多都會用到當中的一些精髓。當整合既有系統是MDM導入所必須面對的議題,但企業的既有系統數量通常都不會太少,所以處理起來都很複雜。巫介唐建議先從某個切入點開始著手、找出主題性,這樣才可以確保整個建置案的成功率,不至於花了10年,卻沒辦法產生結果。

整合的需求與可能達到的效果到底是什麼,巫介唐舉個例子來說明。當一般人去自動櫃員機(ATM)提款時,操作程序大致是這樣的:它總是問你是用那種語言、用信用卡或提款卡,接下來就會跳出一些1,000元、2,000元等提款金額的選項。其實使用者每次去使用ATM服務,大部分時間都在做重複的事情。我們不免想到:為什麼它不能把這些選擇記下來?例如持卡人假如每次都從ATM領款5,000元,這筆金額選項就應該出現在第一項,或自動出現在選單內較上面的位置。

像這些貼心的小地方,其實是有辦法實作的,但為什麼幾乎沒看到有銀行提供這樣的服務?要做到這些情境,方式固然很複雜,但有了主資料管理,應可以協助去完成類似的成效。

主資料管理領域應用在各產業上的不同應用,也可能超乎你的想像。很多企業一接觸到MDM的概念,往往先認為這是金融業專用的系統,但是不同類型的企業固然有需求差別,但是,主資料管理的應用和導入,本身並沒有那麼強烈的產業色彩。

巫介唐提到,有個MDM應用實例,可以印證這件事。它是用在亞洲某一個國家的教育單位,他們會記錄與管理每一個學生從小學、中學、大學、研究所階段參與過的全部課程,把學生當作顧客去管理,從而去追蹤過程、上課的內容,而不單是記錄校名、科系。對製造業來說,也可以將主資料管理用在供應商管理上。文⊙李宗翰


資料整合的2種架構

資料整合的架構中執行同步處理時,輻射狀架構(Hub-and-spoke)的簡易度,遠超過點對點(Point-to-point)架構。

假設企業有12套系統,彼此之間的資料內容每一次異動時都要同步,在點對點的架構下,最多需66個介面,但輻射狀架構只需要12個。

點對點架構

輻射狀架構




點小圖看大圖


Advertisement

更多 iThome相關內容