CEO要做決策,不能只靠資料,而需要你提供由資料萃取的智慧。新一代資料庫將往應用靠攏,不再只是儲存資料的容器,更要幫助你從資料中萃取可供決策的智慧。

新一代資料庫交戰
近幾年IT技術飛躍,資訊蒐集能力遽增,資料庫的資料量跨過Gigabyte,站上Terabyte,更有研究單位預估會達到Petabyte。企業面臨管理資料的挑戰不只是站穩,還要向前航行。因此,主流資料庫供應商如甲骨文、微軟、IBM、Sybase紛紛推出新版,協助企業因應這一波資訊浪潮的衝擊。

5大主流資料庫新版本發展趨勢
甲骨文
Oracle資料庫11g一次新增450項新功能
Oracle資料庫11g主要來協助企業解決使用人數、應用規模和資料量的大幅增長,其新增功能涵蓋四個面向:增強各種資料形式的支援,對資料高成長的管理、低成本的高品質服務以及對變動管理趨勢的因應。

微軟
微軟SQL Server 2008延續介面優勢改善集中管理
SQL Server 2008將會採用整合式政策設定(Policy Based)的管理方式,如同AD作為統整的帳號控管,使用一臺SQL Server分配管理政策。

IBM
IBM DB2 v9.0原生支援XML
IBM去年推出的DB 2 9.0版更是主打原生XML資料庫的口號,今年第4季繼續推出DB2 9.0升級版Viper 2,新增壓縮技術,透過資料減量來降低成本。

Sybase
Sybase兵分三路,強化專門應用效能
Sybase採與取其他廠商不同的策略,將企業的資料庫應用區分成三個部分,第一是傳統線上交易資料庫(OLTP),第二是針對資料倉儲或商業智慧的OLAP產品,以及第三是行動裝置上的資料庫。

IBM Informix
IBM Informix v.11持續更新開發不中斷
強調不中斷的服務,Informix新版強化對高可用性與效能的改善。除了延伸HDR的技術,更新增了RSS伺服器(Remote Standalone Secondary)可以跨越地區,進行遠端的資料庫複製,達到異地備援的效果。新一代資料庫交戰

資料庫是企業重要資產,除非極必要,否則企業不會輕易升級,連帶資料庫系統的改版速度也相對緩慢。但近幾年IT技術飛躍,資訊蒐集能力遽增,資料庫的資料量跨過Gigabyte,站上Terabyte,更有研究單位預估會達到Petabyte。企業面臨管理資料的挑戰不只是站穩,還要向前航行。在資訊海中,立即決定下一步要往那個方向前進。因此,主流資料庫供應商如甲骨文、微軟、IBM、Sybase紛紛推出新版,協助企業因應這一波資訊浪潮的衝擊。新一代資料庫卡位戰就此展開。

兩個量變匯流形成資料庫應用的質變
資料庫的發展與儲存技術的發展息息相關。過去資料價值受到儲存技術的限制,搜尋引擎找不到的網站,好像是不存在一樣,資訊若沒有保留下來,就無法產生價值。由於早期儲存技術不佳,讀取速度慢,保存期限也不長。為能加快資料的存取速度,確保資料庫的可用性,能夠經常備份,預防資料遺失,因而衍生出不斷切割,到處備份的發展趨勢。

但這種將資料庫越分越細的缺點,導致資料庫維護的複雜性越來越高,版本維護與查詢時所需的整合難度也越大。對企業而言,確保資料的穩定性,成為第一要務,沒有多餘的心思來思考要如何善用資料。

但近幾年儲存技術的快速發展,使得企業這樣的使用習慣開始出現轉變的跡象。恆逸資訊資深講師胡百敬認為:「硬碟資料量的發展已經追過企業產生資料量的成長,這個黃金交叉將導致資料庫的應用轉變」。

這意味這企業處理資料的方式,可以不用像過去那樣斤斤計較,過去浪費大量磁碟空間,犧牲資料讀取效能,就只是為了確保資料。然而,現在除去這個限制之後,企業擁有了彈性規畫的空間。企業的使用需要開始超越保存資料的重要性,這使得企業可以打破資料保存的局限,從業務所需,來思考資料庫的設計,這也開始促使資料萃取技術應用的成熟。

諸如資料採礦或商業智慧的資料萃取技術早在十多年前,已經蓬勃發展。但過去資料庫的效能不足,加上為確保資料而衍生的資料分割,使得資料萃取技術的實作難上加難,往往跑出一個報表就需要耗費數小時,甚至數天。錯過了時效性,就無法即時提供企業決策之用,這就失去了資料萃取原本的目的。因此即使有技術,但仍難以普及。

在資源苛刻的挑剔下,資料萃取技術也才得以精進。等到儲存技術與價格的門檻大幅降低,資料萃取技術已經具備實務上的可行性,就等企業的需要。

資料庫成為企業價值創造的利器
影響企業需要資料萃取技術的原因,來自資料量的增長。企業對資訊的蒐集能力隨數位化技術的提升而越來越強,可以輕易從各種裝置、元件、偵測器或使用記錄上,取得大量且各種形式都有的資料,造成相當的壓力。企業拿到一堆資料後,開始問下一步能作什麼。另外一方面,全球化的競爭態勢,企業需要掌握更多訊息,而且是能夠即時滿足決策所需的資訊,資料不再只是訊息,而是能夠影響企業生死的智慧。資訊長必須能告訴執行長,根據趨勢和特徵,企業下一步往哪裡去,不再只是透過大腦的灰色小細胞就足以勝任。因而資料庫的地位從一種必需品(資料確保)的層次,晉升到價值創造的重要地位。

了解技術趨勢與資料趨勢的變化轉折,就不難理解資料庫供應商為何近兩年紛紛更新版本,推出新功能。進一步可從資料庫廠商如何因應,可以了解未來企業將面臨的資料庫挑戰。

先強化效能與高可用性,再追求商業智慧
甲骨文日前發表新一代資料庫管理系統最新版本11g,新增功能可分成四個面向:增強對各種資料形式的支援,對資料高成長的管理、低成本的高品質服務以及對變動管理趨勢的因應。新增功能例如新壓縮技術、線上更新與修補、真實應用測試(Real Application Testing)、資料守衛(Data Guard)、檔案快速存取、完整回憶(Total Recall)、OLAP的實體檢視模式、連續的查詢通知等。

微軟的SQL Server 2008則延續SQL Server 2005的整體規畫,改版幅度並不大,強化多臺伺服器集中管理機制、增加開發彈性與便利性的Entities(實體)概念,強化商業智慧應用的報表呈現與資料整合查詢技術。

IBM旗下兩套資料庫產品,DB2主打對原生XML格式的支援,重視壓縮技術,提高資料庫效能。而Informix則維持高效能之下,追求不中斷的服務,提供更多高可用性的機制。

Sybase則兵分三路,分別從傳統線上交易資料庫、商業智慧和行動資料庫提供不同產品,期能更貼近企業實際使用需求,進行高度的效能最佳化。

總攬各家強調的功能,不難發現,不論是資料量、格式種類、資料庫整合衍生的複雜性的處理,要能夠取得更好的效能,還要能提供更深入的分析訊息,提供企業隨時都能取得需要的訊息。資料庫必須滿足企業應用上,而不只是做好基本的保存而已。

資料庫集中化才能發掘企業價值
為能對資料作更深入的交叉分析,臺灣澳圖美德資訊長杜奕鋒認為:「企業需要開始將資料集中管理,甚至建立資料倉儲,集中後可以減少資料匯整的難度,以及減少資料轉移的時間差。」這是降低複雜性來提高效能和品質的解決方式,也就是整合。胡百敬也同意整合是趨勢,他表示:「資料分散,CIO就很難有整體觀,就無法告訴CEO企業的價值在哪裡,資料能夠整合,才能告訴CEO決策上需要的資訊,才能預測。但他擔心整合是一種全新經驗,與過去不同不斷切割資料庫的思維不同,他指出:「這種思維,大家都經驗不足。」庫柏資訊技術總監林蔭峰則表示:「企業必須越來越了解自己的使用模式,才能真正善用資料庫。」現在資料庫的發展趨勢,迫使企業必須審視自己的需求和使用歷程,重新調整或設計資料庫的建置模式。

林蔭峰從整體IT的發展來看:「早期資料處理,中期自動化系統,到現在IT走向更多應用和價值提供。」資料庫的發展只是隨此浪潮,也走向應用,也就是邁向商業智慧之類的應用,但他指出伴隨而來的必要之惡,例如管理負擔和複雜增加,或是安全議題也會越來越重視。這正需要透過工具來協助,也是資料庫不可避免的趨勢。文⊙王宏仁Oracle資料庫11g一次新增450項新功能

自2004年發表網格技術後,甲骨文資料庫11g是使用者等待甚久的改版。甲骨文總裁Charles Phillips表示11g新增功能涵蓋四個面向:增強各種資料形式的支援,對資料高成長的管理、低成本的高品質服務以及對變動管理趨勢的因應。

甲骨文公司大中華區資料庫銷售顧問高級總監李穎聰表示:「11g主要來協助企業解決使用人數、應用規模和資料量的大幅增長。」但超大規模資料庫管理的困難之一是對變更的管理,因此11g特別新增變更管理的功能,包括真實應用測試(Real Application Testing)功能、SQL效能分析、工作流程自動化診斷、資料重演(Database Replay)、與自動更新修補。可供資料庫管理者進行資料庫系統異動時的測試環境建置與升級先導準備。李穎聰表示:「能夠捕捉過去資料庫的實際使用情形,來測試未來功能的使用,讓企業對Business的遷移,能夠有更快的響應能力。」

11g也增加對非結構性資料格式的支援,如RFID標籤資料、醫療數位影像、3D空間資訊等格式的支援,此外也延續10g的XML格式,新增對二進位XML格式的支援,來解決XML查詢緩慢的問題。11g新增的壓縮技術,除針對關連式資料庫的壓縮外,也能將非結構資料壓縮成Securefiles這種資料格式,除可減少資料量,也能提高查詢速度,甲骨文表示可以讓資料庫的讀取逼近檔案系統的讀取速度。

11g的資料表切割(Partition)技術可依據設定的條件,將超大型表格切割成小型資料表,達到方便管理和快速查詢的目的。11g的自動化切割工具,可依據時間間隔與參考架構設定切割方式。也能依據資料的使用情形,按照資料的特徵清單(List)、範圍條件(Range)、或兩者的雙重結合來作為切割資料表的條件。管理者可依據實際使用率,將切割後的資料表,存放在不同效能的儲存體中,達到善用資源的效果。

低成本的高品質服務則有三項:更快的OLAP實體檢視方式、更安全的備份與稽核機制、更多種資料保存的高可用性技術。這些高可用技術例如只要在SQL查詢中增加as of指令,就可回到任何時間狀態的Total Recall、或能放棄交易結果回到原來狀態的Flashback、以及改良後的Data Guard。Data Guard能賦予備用資料庫具備讀取和測試的功能,除提供線上資料庫的備援,也能分擔資料庫的使用量。

甲骨文表示本版新增功能高達4百多項,雖不是一種跳躍性的改版,但多是更貼近使用者所需功能。甲骨文表示在未來策略上,將繼續延續網格運算,更適應商務流程、嵌入商業智慧、結合甲骨文相關中介軟體與應用的整合。臺灣澳圖美德資訊長杜奕鋒認為:「11g主要是針對效能的改善,將會是企業升級的誘因。」文⊙王宏仁微軟SQL Server 2008延續介面優勢改善集中管理

相較於SQL Server 2005,微軟SQL Server 2008的改版幅度並不大,其中4大功能,主要是針對安全、管理、開發以及系統效能進行強化。主要沿著SQL Server 2005的整體規畫,予以功能上的強化或補足。目前SQL Server 2008的功能尚未確定,微軟表示至少要等到9月功能才會定型。

管理面上,過去為安全和效能考量,企業多半針對一種應用就使用一套SQL Server,經常同時有上百臺SQL Server需要維護,同樣的管理政策要落實時,需逐一設定,非常麻煩。SQL Server 2008將會採用整合式政策設定(Policy Based)的管理方式,如同AD作為統整的帳號控管,使用一臺SQL Server分配管理政策。例如新增物件時,資料庫會自動依據這些政策規範執行動作。過去經常需要寫程式來判斷查核,現在只要作好政策和規則設定就可以,可以大幅簡化資料庫日常管理所耗的時間,也較容易達到一致性的管理。

在開發層面,SQL Server 2008因應資料複雜性的需求,採取類似物件的Entities(實體)概念,作為應用程式和資料庫內容的中介層。應用程式只需和實體溝通,而資料和實體間的對應則由資料庫來管理,以ERP系統為例,例如換成別的資料庫系統,應用程式也無須修改,只要重新建議實體與新資料庫系統的連結即可。以ERP為例,只要資料庫管理人員定義好標準實體,開發人員無須了解上萬個資料表間的複雜結構,也足以開發應用。即使更換資料庫系統,也只是變更實體與資料庫的對應關係,無須修改任何應用端的程式碼。

商業智慧的強化也是重要更新之一,如增加T-SQL對資料倉儲與資料超市(Data Mart)常用的表格合併指令MERGE;強化Reporting Servies,連使用者都可以自行使用Office建立所需報表,不用再透過開發人員寫程式。

微軟表示未來每2~3年 就會推出新的資料庫版本。SQL Server 2005推出1年多來,目前已經有30%用戶完成升級。因為SQL Server 2000的產品支援預計明年4月停止,明年第二季SQL Server 2008推出後,預期會引發一波升級需求。文⊙王宏仁



微軟MS SQL 2008 新功能

社群技術預覽版增強功能 未來方向

 

 

普及洞察力 動態開發 企業資料平台 超越關連
將各種資料整合到資料倉儲,用商業智慧平台傳遞資訊給使用者,增強使用者行動洞察力 透過Entities(實體資料)加速開發,能夠從任何地方同步資料 安全與信任的平台、最佳化與預測系統效能、使用政策為基礎(Policy-based)的基礎架構管理方式 儲存和使用任何資料式,在應用程式中能夠提供智慧型定位
7月 ●企業報表引擎
●時間序列的分析服務
●T-SQL改善

 

●效能資料收集
●延伸事件

●資料庫鏡像改善
●ORDPATH(階層式標籤Scheme)
●大型使用者自訂型別
●DATA/TIME資料型別
●改善XML支援
6月 ●VS應用工具支援指令碼任務和元件
●SSAS分析服務的多維度設計
●Star join查詢的優化
●MERGE的SQL陳述指令
●資料異動捕捉(CDC)
●表格屬性參數

 

●宣告管理框架

 

 

 
資料來源:微軟,iThome整理

IBM DB2 v9.0原生支援XML

XML資料的使用在企業資料中所佔的比例越來越高,許多電子交換格式例如金融業的FIX、保險業的ACORD或醫療業電子病歷格式HL7等,多採XML格式來規範。近2年,許多資料庫系統也紛紛開始支援XML格式,其中IBM去年推出的DB 2 9.0版更是主打原生XML資料庫的口號。今年第4季繼續推出DB2 9.0升級版Viper 2,新增壓縮技術,透過資料減量來降低成本。

IBM軟體產品處經理林世偉表示:「資料庫已經發展的很成熟,不諱言開始有陷入價格戰的趨勢。所以IBM專注原生XML,試圖創造新優勢。

一般處理XML的方式有兩種,一種是直接當XML當成物件(Blob或Clob),直接將檔案放進來,但難以直接存取檔案內容,另外一種方式Shredding,勢將XML檔案內容拆解到表格的資料欄位中,但缺點是,每當XML檔案內容修改或描述欄位修改時,就要從新拆解資料,調整相關資料表的欄位差異,進行資料表正規化,維護上非常麻煩。

DB2定義一個專門存放XML檔案的XML Table格式。使用者放入XML檔案時,資料庫系統會擷取出自我描述語言,設計成一個對應表格,查詢時直接透過這個對應找到檔案中的資料,不需整個檔案取出再尋找。XML有異動時,也只需更新對應表格。IBM軟體產品處經理林世偉說:「相較其他資料庫處理XML的方式,DB 2維護上的效率高很多。」

對於年底將推出的Viper 2,林世偉表示:「基本架構和原本的DB2 9.0 沒有差異,主要是增加壓縮技術。」,其他則是修正錯誤增加穩定性以及管理介面的改善。

Viper 2的壓縮技術,是透過對應表格(Mapping Table),將原始資料轉換成特定資料的對應位元,查詢時再透過對應表格,轉換回實際資料。在每一筆資料寫入資料庫時,都會同時進行壓縮的運算,林世偉表示:「對效能的影響低於0.01%。」但是針對有特殊考量的企業,如有需大量的資料表,企業還是可以自行設定,啟用或關閉資料表的壓縮功能。IBM會提供壓縮的評估工具,事先計算實際資料庫壓縮的比例,提供企業參考。對資料庫管理人員而言,只需於建立資料庫時進行設定,後續維護不需處理,壓縮和解壓縮的過程都由資料庫自動處理。

目前臺灣地區DB2用戶採用7版以後的比例大約是95%,多數還在8.0。而使用的產業,以政府機構、銀行、或高科技的建廠系統較多。IBM去年所有軟體改採Value Unit的計價方式,依據處理器運算能力不同來計價, 9版以後還可使用End User(也就是帳號人數)計價,企業可依據需求使用最划算的計價方案。文⊙王宏仁Sybase兵分三路,強化專門應用效能

Sybase是這一波資料庫更新中較早推出新版的資料庫廠商。Sybase採與取其他廠商不同的策略,將企業的資料庫應用區分成三個部分,第一是傳統線上交易資料庫(OLTP),第二是針對資料倉儲或商業智慧的OLAP產品,以及第三是行動裝置上的資料庫。Sybase系統顧問朱聖亭表示:「要拉高BI的速度,會影響到OLTP的效能,要把OLTP的效能調整到最好,勢必會增加硬體或維護上的成本,所以Sybase將兩個產品區分。」

甫上任的Sybase總經理張登士表示:「Sybase依據不同應用區分產品,是希望針對特定應用最佳化,來提高效能也降低硬體成本。」他以交通工具為例,表示Sybase是想根據使用者需求,提供轎車、休旅車、貨車等不同的交通工具。「只針對商務需要的功能加強,而非提供很多複雜功能,所以,Sybase資料庫的程式碼較精簡,產品效能也能提高,硬體需求也較低。」張登士說。

Sybase行動資料庫具備離線作業,連線自動更新的功能,可提供行動裝置例如麥當勞稽核盤點時的手持裝置或快遞的電子簽收裝置,可於無法連線時,進行本地端的資料庫讀寫,待回公司連線時,再將交易情形更新回中央資料庫系統中。過去離線上線的同步作業,多需開發複雜的程式處理,Sybase產品則可在資料庫內部自行處理。

Sybase的商業智慧產品IQ,透過針對資料欄位的垂直分割(Vertical Architecture)、Bit-Wise Indexing及平行擴充(Multiplex)模式等專利技術,減少磁碟I/O次數,來加快查詢的速度。另外Sybase的IQ不僅可針對自家產品作分析,也能有效連結各種資料庫產品,例如臺灣彩券的資料庫雖採用Oracle,但開獎後的分布報表,則採用Sybase IQ處理。

ASE 15版則特別針對資料庫進行原生的加密措施,直接加密資料庫內容,即使備份檔案被竊取,也無法存取。年底將進一步提供多臺伺服器叢集的功能(Shared Disk Cluster),彼此可作負載平衡,共享一份資料檔案。

在磁碟叢集中的每一個節點(ASE伺服器)對資料存取的權限是平等的。當同時有寫入和讀取動作時,接到寫入要求的伺服器,會先將寫入的結果送至叢集中其他節點伺服器中的暫存區,提供其他伺服器的讀取之用,再寫入實體磁碟中。

目前計價方式採處理器和使用者計算,若購買維護合約,則可免費升級至最新版。文⊙王宏仁IBM Informix v.11持續更新開發不中斷

去年甫推出10版的Informix Dynamic Server,今年又將發表11版,強調不中斷的服務,增加對高可用性與效能的改善。

Informix是臺灣最早一套在Unix上的資料庫系統。生活中個人身分資訊如戶籍資料、兵役資料或電話資料多半都存在Informix資料庫系統中。產業應用主要以中小企業、製造業(如鴻海、華碩)、電信業與政府機構居多,中華電信去年也簽了3年合約,將Informix作為內部的標準資料庫。Informix已經成為IBM軟體中成長最快的產品,去年就有超過30%的成長。

Informix過去即提供多項穩定性與高可用性的功能,如高可用性資料複製(High Availability Data Replication,HDR),或是針對兩台獨立Informix伺服器之間作資料複製的企業複製(Enterprise Replication,ER)功能。而HDR技術是針對兩個具有相同設定和作業系統的伺服器獨立實體(Instances)之間的資料同步,透過資料交易Log紀錄的傳遞,進行兩個實體之間的資料庫內容同步。

在Informix 11版中,為了避免RAC的Overhead問題來設計。延伸HDR的技術,更新增了RSS伺服器(Remote Standalone Secondary)可以跨越地區,進行遠端的資料庫複製,達到異地備援的效果。RSS伺服器同樣透過Log紀錄更新內容,並且可提供資料查詢。也可以像HDR的附屬伺服器(Secondary)能夠在主要伺服器故障時,升級為主要伺服器接手工作。針對主要伺服器的支援,新增一種共享磁碟的附屬伺服器(Shared Disk Secondary,SDS),可以分擔主要伺服器的查詢或唯讀性質的服務功能。SDS提供企業更大的彈性,能夠因應資料庫的使用情形平衡負載,很適合使用在刀鋒伺服器。例如在假期高峰期間,直接增加一刀伺服器執行SDS,就能立即上線分擔流量。

Informix與DB2同樣可按CPU運算能力不同,換算Value Unit來計價,讓硬體選擇更彈性。不同的是Informix還可按線上共同使用者(Concurrent User)的數量計價,而非註冊人數。目前臺灣超過50%的使用者能停留在9.0版。文⊙王宏仁

熱門新聞

Advertisement