過去這幾年,部分企業雖然已經逐漸透過EAI等技術,整合了應用系統,甚至積極導入服務導向架構(SOA),然而各系統之間所蘊含的主資料(Master Data),例如客戶、供應商、合作夥伴、產品、原料、員工等基本資料,還是在分散在不同系統的後端資料庫,而且內容可能不一致。如果在系統開始運作時,沒有考量到資料整合機制,之後企業就沒辦法取得「單一版本」的主資料。

即使企業透過同步的方式,彙整各系統的主資料,但系統數量日後還是會持續增加,使得管理這些資料的整合程序,變得越來越複雜,例如,在回應需求、業務流程改變時,都會連帶受到影響──不單是彈性越來越差,即時性與可靠度、品質、精確度都會受到更大的挑戰。

為了能從「單一角度檢視客戶資料(Single Customer View)」,是目前企業解決這類問題的主要動機。而主資料管理系統(Master Data Management,MDM)正是一種專屬的處理方案。

IBM軟體產品處軟體系統架構顧問巫介唐說,MDM的重點是維護主資料,並非用來取代既有的應用系統,或是整合全部資料。但他也坦承,建置上需要花很多時間,這主要為了兼顧現有系統;另一個困難點在於,對於不同部門所負責維護與保管的主資料,企業必須設法協調存取權限,並且要能夠對照、驗證,去除重複與錯誤。

整合主資料的困難

問:主資料管理這類型系統的發展時間有多久?
答:
一直以來,企業都有這樣的需求,差別只在於是否在當時重要性能凸顯出來。根據我的觀察,西元2000年之後,開始出現專門開發這種系統的廠商,也有一些企業在尋找解決方案。

問:這種技術和現行的應用系統、資料庫管理系統、資料倉儲之間,有什麼顯著的差別?
答:
以客戶資料為例。過去銀行系統建置的順序,往往先從存款、代管業務等核心系統開始累積資料,接著可能是去買一個專屬或自行建置的客服中心(Call Center)解決方案,這裡面又放了一些客戶資料;隨著銀行成立網路銀行的服務,這套系統上又累積了一套客戶資料。

如前所述,客戶的資料已經散布到不同系統裡面,但客戶實際上所面對的業務主體是這家公司,而非將自己認定為「不同產品線的用戶」,與企業內部所認知的觀點,大異其趣。因此,客戶資料管理的範圍,假如只涵蓋部分業務或系統是不夠的,例如當信用卡的用戶來電時,只用這個角度來看這名使用者的身分,將會產生很大的局限。

問:聽起來這有點抽象,能不能舉個更簡單、實際的例子來說明?
答:
我最常講一個情境來解釋。每個人搬家時會有一件事,讓你體驗很深刻──為了更新個人住址,必須花很多時間、跑很多流程。

以金融服務為例,最容易更動的是信用卡的地址資訊,只要撥一通電話就可以處理好;但如果你也想為同家銀行的存款帳號去更改住址,就必須親自走一趟分行臨櫃,因此很多人寧願暫時不處理,因為過程太麻煩,而且這些服務平常也不需要定期向用戶寄出等通知訊息(比方帳單),所以,用戶個人地址不符合目前狀態,已成了很普遍的現象。這就產生了Silo(資訊孤島),這種情況之所以會產生,一方面也是因為傳統上,各應用系統幾乎都是分批建置而成,很少一次全部導入。

問:你的意思是,他們通常不太傾向去建立集中的資料儲存庫,而是有需要再整批匯入,或是定期「撈」資料庫裡面的資料?
答:
對,企業通常很少對這方面的資料管理需求,加以通盤考量、規畫,而且,還有一個棘手的因素,那就是「資料擁有權(Data Ownership)」。

所謂的資料擁有權,意思就是別人不能隨意接觸這個程序和資料,甚至系統與系統之間,也彼此不「Talk」。這樣的話,一位客戶的資料在同公司的不同業務上,內容就有落差。舉例來說,信用卡中心所處理的個資,通常比較接近用戶目前的狀態,相較之下,銀行所保管的帳戶,資料雖然比信用卡中心更豐富,但主資料很可能不夠新、正確。

在在企業,這種「擁Data自重」的問題很常見,簡單地說,誰擁有資料,誰就擁有控制權。舉例來說,每個業務單位,像是信用卡部門,就會認定每一張信用卡持有人的個人資料,理應由他們所維護,其他單位雖然都是屬於同一家公司,仍舊不能擅自修改這些資料。

這是人之常情。沒有人會希望其他部門也能存取自己部門所掌控的資料,換句話說,如果你要修改,得透過資料擁有人代為處理。就像當你要更改信用卡的資料,一般只能透過電話客服中心去處理,一般的分行人員不能擅自存取那樣的系統(資料)。

話雖如此,還是有例外,我之前就遇過類似的特殊狀況。當我為了搬家要向銀行申請變更地址時,分行人員不只是修改存戶的資料,還打電話幫我連絡同公司的信用卡中心,等於同時去修改我在兩邊系統所記錄的住址資訊。這也是因為我主動表示要連同信用卡一起改,而分行在這個流程中,就是暫時扮演客戶的角色去處理。


家戶、歸戶與Data Stewardship

巫介唐觀察到臺灣有些企業,很多時候是沒辦法去作「歸戶」的。所謂的歸戶,是指將分散在各資料來源的主資料合併、連結起來,比方客戶資料就需要並以家戶(Household)為單位,再整合一次,因為人跟人之間都可能有關係,彼此的交易行為雖然有異,但都隸屬於同一個家庭或公司行號。

另一個常見的需求是,企業想把客戶與他們之間互動的資訊整合在一起,通常公司的客服中心都有往來的完整記錄,但其他的系統大部分不會有;或者是每個系統雖然有記錄,但沒有整合在一起。

作這些事情的時候,實際上都有些複雜的地方,這些問題被歸類到要靠Data Stewardship(資料管理)來處理。舉例來說,整合各系統的客戶資料時,要把那些擁有好幾個產品的客戶找出來,把這個帳戶和另一個帳戶的名字整併在一起;另一種情況是資料輸入過程當中,不小心將名字輸入錯誤,或者是名字一樣,ID卻不同,使得資料無法核對成同一筆。一旦發現這兩筆資料都是指同一個人,整合時就可以把它們收納在同一份資料上。

還有一種資料整合要做的,就是將資料的樹狀結構(Hierarchy)關係建立起來。像是違法掏空及超貸的力霸案剛發生時,銀行界很多人都在問如何把關係戶找出來,而這樣的歸戶需求,就是一個明顯的應用實例。

與資料倉儲有些接近,但又不同

問:我猜,可能是因為一般交易較不需要特地去變更個人基本資訊,所以,相對來說,比較靜態?
答:
對!要做到批次處理這些資料的更新,其實不一定得透過MDM,部分系統也已經可以達到,然而這樣的做法還是有一些問題不能解決,例如還是不夠接近異動過的最新資料。

當企業開始注意到商業智慧(BI)應用時,有一項額外需求也延伸出來──企業想要一次看到客戶的所有資訊,於是想試著去做到「Single Customer View」。然而,在實際運用上,與BI相關的資料倉儲系統,能做到類似效果。

過去資料倉儲的處理架構是:前端系統只是一個給資料倉儲使用的資料提供者,所以資料會每天匯入資料倉儲,並由這套系統整理、分析,進而產生360度檢視。於是這又牽涉到資料倉儲所延伸的操作性資料商店(Operation Data Store,ODS)。

因為資料倉儲的屬性是分析的、目的是特定的,而且只是將資料複製一份出來,但重點在於這個ODS,需要去支援一些作業,要能夠讓交易系統或其他使用者來查詢客戶資料。

問:這跟主資料管理的關係是?
答:
在銀行的日常作業當中,有一個動作叫做「歸戶」,就是在做類似的事情。不少系統對於資料的控管上,也會以帳戶(Accounts)做為基本操作觀念。像銀行就是以使用者申請的帳戶為基礎,電信業則是用電話號碼、門號作為單位,但近年來有件事越來越常發生,你可能在同一家公司同時擁有多個產品,這就會造成上述主資料不一致。

從客戶或從企業來看,系統設計上將完全不一樣,因此歸戶的系統即是在處理這樣的狀況。

但主資料管理的差異在於,企業應該積極去彙整,而不只是成立單一資料儲存庫,然後被動地放入資料供人查詢。客戶資料散落在各處是事實,如果能從單一系統查詢,即可看到最新、正確的資訊,會很理想。

這種資料的即時性比資料倉儲好,它能做到近乎即時,甚至是即時,這有賴於建置方式。企業不一定需要更接近當下資料內容的資料倉儲系統,但即時性正是主資料管理要做到的。

要特別注意的是,這種資料管理方式不單很接近目前分析系統所採用的一些技術,MDM本身也同時用到交易系統的觀念,以便去支援企業實際的商業行為。但資料倉儲不同,它是一種統合、批次執行,而且是被動的處理形態。在歸戶或處理ODS時所變更的資料,並不會回饋到前端系統的資料庫,因此相關內容不會因此即時調整。

主資料管理的特色是內容經常更新,就像交易系統的資料。只要前端更新一次,系統就會自動去同步全部的主檔資料。換句話說,如果客戶端要變更資料內容,就只要在這個系統上修改、確認就好,不用去特別理會客戶本身與該公司的產品線數量是否有關。因為產品線的數量,只代表有多少個對應的系統資料需要更新。

與既有系統共存,而非全面取代

問:主資料管理涵蓋的資料類型究竟有哪些?
答:
其實主資料管理是把很多先前的觀念融合在一起。我認為從字面上來看就很明顯了。包含客戶資料在內的所有主資料,都可能散布在各系統內,企業要關切的是,有沒有一套系統能把這些性質類似的主資料全部放在一起。

IBM認為,企業考量的主資料可以分成4種:Party(關係人)、Product(產品)、Location(地點)和Account(帳戶)。

在不同的行業裡面,有些類型的主資料特別重要。像Party是關於人的主資料,包含顧客、員工、合作廠商等,都跟群體有關,對銀行來說,這可能是客戶資料;對製造業來說,產品比較重要,雖然客戶也會造成影響,但並不是最要緊的;至於客戶的住址、產品的所在地,即所謂的地點。

上述這三種全部合在一起叫做帳戶,概念是「哪些人擁有產品的類型,而他/它們的地點是什麼(例如帳單的寄送地址)」。傳統系統處理資料時,大多是以帳號為基礎,所以帳號原本就是既有系統處理的部分,但你實際導入主資料管理時,還是要把這些資料重新分類,再以人、產品與地址等要項加以歸類。

問:如果要做到這樣的效果,企業是否需要重新改造既有的系統?在導入新的系統時,假如也想一併實施這樣的概念,該怎麼處理?
答:
提供這些功能的平臺,能否具備某些特性就很重要了,例如它必須能夠很輕易地整合既有系統。如果它只是ERP系統的某一個元件,對於其他應用系統可能會有適用性的問題;雖然這麼做能和ERP系統緊密結合,可是在供應鏈管理系統等其他系統當中,就可能因為這些系統和ERP無關,而導致這部分的整合相當困難。而且,即使它號稱可以做到相容,但實際上不一定很好。

你需要的可能是一個比較中立(Neutral)的平臺,它必須要去支援各種標準,例如可能要支援SOA。

有一點很重要,我想再特別提醒。這種系統雖然不是為了取代原來系統的運作而存在,但這些現有系統還是需要修改,而變動幅度的大小,通常牽涉到架構設計的方式。

問:如果MDM要與既有系統同時運用,會以何種方式組成架構?
答:
一般來說,前端通常是面對客戶的任何系統,可能是電話客服中心、網路銀行或一般分行,這裡會有一個專員或業務代表;後端通常會有一些核心系統,例如ERP、Core Banking,然後前後端之間會有EAI,然後每個系統都會有一個自己所專屬的客戶資料檔(Customer Information File,CIF),而主資料管理針對的就是這個位置。

概念上,當電話客服中心在查詢客戶資料時,相關服務人員並非直接存取特定業務的系統,而是到MDM系統去查詢,從這裡就可以提供360度的檢視,然後將資料傳回去給既有的應用系統。

舉例來說,有個名為Tom的客戶撥電話向公司尋求協助,他在這家公司裡面擁有4個產品,當Tom詢問跟這些產品有關的資訊時,服務人員需要看到這個產品和客戶的細部資訊。當你點選這個項目時,主資料管理可以做到:使系統自動切換、繞送到相對應的客戶資料管理系統,再把這個帳戶有關的細部資訊(Detail Information)傳回來,也就是說,這裡所處理的,都是細部資訊。

問:你的意思是,企業需要把既有的客戶資料,全部都放到主資料裡面?
答:
不,這樣的話,主檔資料就會變成一個龐然大物,仍然沒有解決問題。整合是這種資料管理方式的另一項重要目標,而MDM所提供的是摘要資訊(Summary Information),至於細部資訊還是放在原來的系統,因此這些系統仍繼續運作,不會被取代。實際上,這些做法仍因每家企業的狀況而異,因為他們各自對資料、流程、系統的定義,可能相當不同。整理⊙李宗翰


主資料管理的4種樣式

規模小、數量不多的系統,只要用同步的概念就可以解決需求,因為複雜性還不會太高,所以能用這種方式達到效果;但相反地,不同系統之間的同步路徑與規則處理,就可能會很亂,就需要主資料管理系統的解決方案來處理。

不過主資料管理系統之間仍有差異,根據Gartner的研究,他們訂出4種樣式(Style,指資料用途的類型),用來描述企業遇到這種問題時的解決方式。它們分別是統合(Consolidation)、登錄(Registry)、共存(Coexistence)、交易(Transaction)。

登錄樣式的MDM做法上較不複雜,它透過新建資料庫,然後置入所有連結的Key值,但並不存放其他資料。例如擁有不同產品線的銀行,他們會將這個人的通用編號(例如身分證字號)放到新的資料庫裡;假如這個客戶在銀行裡擁有3個產品,只存Key值──產品代號,處理程序上可以簡單許多。在共存樣式上,企業需專門為主資料建立一個實體的資料庫,然後想辦法去同步主資料的資料庫與既有資料本身的資料庫,負擔相對較大。交易樣式則是最終目標。

逐漸往右邊去,越來越複雜。實際上,很難就一次到達這裡,理想上應該是慢慢地演進過去。巫介唐坦承,要完成這樣的工作,現實要花不少時間,甚至要10年、20年後。因為主資料管理架構一旦牽涉到既有企業應用系統,而這些目前還是直接去存取後端資料庫,改路徑需要時間,因此更重要的是,如何從既有的架構,走向未來的架構。

這4種樣式之外,巫介唐還附帶提到「外部參考樣式(External Reference Style)」,它整合的對象是購自其他管道的客戶資料,之所以沒被歸到分類中,是因為它無法提供集中化、以資料庫系統為基礎的客戶資料系統,供企業內部使用。他說,一般企業可以用上述4種樣式內運用外部資料。但在臺灣這種用法並不普遍,因為買賣客戶資料目前仍有合法性爭議。


點小圖看大圖


Advertisement

更多 iThome相關內容