數(shù)據(jù)倉庫的邏輯物理結(jié)構(gòu)及OLAP分析
數(shù)據(jù)倉庫是存儲數(shù)據(jù)的一種組織形式，它從傳統(tǒng)數(shù)據(jù)庫中獲得原始數(shù)據(jù)，先按輔助決策的主題要求形成當(dāng)前基本數(shù)據(jù)層，再按綜合決策的要求形成綜合數(shù)據(jù)層(又可分為輕度綜合層和高度綜合層)。隨著時(shí)間的推移，由時(shí)間控制機(jī)制將當(dāng)前基本數(shù)據(jù)層轉(zhuǎn)為歷史數(shù)據(jù)層。可見數(shù)據(jù)倉庫中邏輯結(jié)構(gòu)數(shù)據(jù)由3層到4層數(shù)據(jù)組成，它們均由元數(shù)據(jù)(Meta Data) 組織而成。數(shù)據(jù)倉庫中數(shù)據(jù)的物理存儲形式有多維數(shù)據(jù)庫組織形式(空間超立方體形式)和基于關(guān)系數(shù)據(jù)庫組織形式(由關(guān)系型事實(shí)表和維表組成)。
數(shù)據(jù)倉庫系統(tǒng)(DWS)由數(shù)據(jù)倉庫、倉庫管理和分析工具三部分組成。
源數(shù)據(jù)：數(shù)據(jù)倉庫的數(shù)據(jù)來源于多個(gè)數(shù)據(jù)源，包括企業(yè)內(nèi)部數(shù)據(jù)、市場調(diào)查報(bào)告及各種文檔之類的外部數(shù)據(jù)。
倉庫管理: 在確定數(shù)據(jù)倉庫信息需求后，首先進(jìn)行數(shù)據(jù)建模，然后確定從源數(shù)據(jù)到數(shù)據(jù)倉庫的數(shù)據(jù)抽取、清理和轉(zhuǎn)換過程，最后劃分維數(shù)及確定數(shù)據(jù)倉庫的物理存儲結(jié)構(gòu)。元數(shù)據(jù)是數(shù)據(jù)倉庫的核心，它用于存儲數(shù)據(jù)模型和定義數(shù)據(jù)結(jié)構(gòu)、轉(zhuǎn)換規(guī)劃、倉庫結(jié)構(gòu)、控制信息等。
數(shù)據(jù)倉庫: 包括對數(shù)據(jù)的安全、歸檔、備份、維護(hù)、恢復(fù)等工作，這些工作需要利用數(shù)據(jù)庫管理系統(tǒng)(DBMS)的功能。
分析工具用于完成實(shí)際決策問題所需的各種查詢檢索工具、多維數(shù)據(jù)的OLAP分析工具、數(shù)據(jù)開采DM工具等，以實(shí)現(xiàn)決策支持系統(tǒng)的各種要求。
數(shù)據(jù)倉庫應(yīng)用是一個(gè)典型的C/S結(jié)構(gòu)。其客戶端的工作包括客戶交互、格式化查詢及結(jié)果和報(bào)表生成等。服務(wù)器端完成各種輔助決策的SQL查詢、復(fù)雜的計(jì)算和各類綜合功能等。現(xiàn)在，一種越來越普遍的形式是三層結(jié)構(gòu)，即在客戶與服務(wù)器之間增加一個(gè)多維數(shù)據(jù)分析服務(wù)器。OLAP服務(wù)器能加強(qiáng)和規(guī)范決策支持的服務(wù)工作，集中和簡化原客戶端和DW服務(wù)器的部分工作，降低系統(tǒng)數(shù)據(jù)傳輸量，因此工作效率更高。
什么是OLAP(聯(lián)機(jī)分析處理)
聯(lián)機(jī)分析處理 (OLAP) 的概念最早是由關(guān)系數(shù)據(jù)庫之父E.F.Codd于1993年提出的，他同時(shí)提出了關(guān)于OLAP的12條準(zhǔn)則。OLAP的提出引起了很大的反響，OLAP作為一類產(chǎn)品同聯(lián)機(jī)事務(wù)處理 (OLTP) 明顯區(qū)分開來。
當(dāng)今的數(shù)據(jù)處理大致可以分成兩大類：聯(lián)機(jī)事務(wù)處理OLTP(on-line transaction processing)、聯(lián)機(jī)分析處理OLAP(On-Line Analytical Processing)。OLTP是傳統(tǒng)的關(guān)系型數(shù)據(jù)庫的主要應(yīng)用，主要是基本的、日常的事務(wù)處理，例如銀行交易。OLAP是數(shù)據(jù)倉庫系統(tǒng)的主要應(yīng)用，支持復(fù)雜的分析操作，側(cè)重決策支持，并且提供直觀易懂的查詢結(jié)果。下表列出了OLTP與OLAP之間的比較。
OLAP是使分析人員、管理人員或執(zhí)行人員能夠從多角度對信息進(jìn)行快速、一致、交互地存取,從而獲得對數(shù)據(jù)的更深入了解的一類軟件技術(shù)。OLAP的目標(biāo)是滿足決策支持或者滿足在多維環(huán)境下特定的查詢和報(bào)表需求,它的技術(shù)核心是"維"這個(gè)概念。
“維”是人們觀察客觀世界的角度,是一種高層次的類型劃分。“維”一般包含著層次關(guān)系,這種層次關(guān)系有時(shí)會相當(dāng)復(fù)雜。通過把一個(gè)實(shí)體的多項(xiàng)重要的屬性定義為多個(gè)維(dimension)，使用戶能對不同維上的數(shù)據(jù)進(jìn)行比較。因此OLAP也可以說是多維數(shù)據(jù)分析工具的集合。
OLAP的基本多維分析操作有鉆取(roll up和drill down)、切片(slice)和切塊(dice)、以及旋轉(zhuǎn)(pivot)、drill across、drill through等。
◆鉆取是改變維的層次，變換分析的粒度。它包括向上鉆取(roll up)和向下鉆取(drill down)。roll up是在某一維上將低層次的細(xì)節(jié)數(shù)據(jù)概括到高層次的匯總數(shù)據(jù)，或者減少維數(shù);而drill down則相反，它從匯總數(shù)據(jù)深入到細(xì)節(jié)數(shù)據(jù)進(jìn)行觀察或增加新維。
◆切片和切塊是在一部分維上選定值后，關(guān)心度量數(shù)據(jù)在剩余維上的分布。如果剩余的維只有兩個(gè)，則是切片;如果有三個(gè)，則是切塊。
◆旋轉(zhuǎn)是變換維的方向，即在表格中重新安排維的放置(例如行列互換)。
OLAP有多種實(shí)現(xiàn)方法，根據(jù)存儲數(shù)據(jù)的方式不同可以分為ROLAP、MOLAP、HOLAP。
ROLAP 表示基于關(guān)系數(shù)據(jù)庫的OLAP實(shí)現(xiàn)(Relational OLAP)。以關(guān)系數(shù)據(jù)庫為核心,以關(guān)系型結(jié)構(gòu)進(jìn)行多維數(shù)據(jù)的表示和存儲。ROLAP將多維數(shù)據(jù)庫的多維結(jié)構(gòu)劃分為兩類表:一類是事實(shí)表,用來存儲數(shù)據(jù)和維關(guān)鍵字;另一類是維表,即對每個(gè)維至少使用一個(gè)表來存放維的層次、成員類別等維的描述信息。維表和事實(shí)表通過主關(guān)鍵字和外關(guān)鍵字聯(lián)系在一起,形成了"星型模式"。對于層次復(fù)雜的維,為避免冗余數(shù)據(jù)占用過大的存儲空間,可以使用多個(gè)表來描述,這種星型模式的擴(kuò)展稱為"雪花模式"。
MOLAP 表示基于多維數(shù)據(jù)組織的OLAP實(shí)現(xiàn)(Multidimensional OLAP)。以多維數(shù)據(jù)組織方式為核心,也就是說,MOLAP使用多維數(shù)組存儲數(shù)據(jù)。多維數(shù)據(jù)在存儲中將形成"立方塊(Cube)"的結(jié)構(gòu),在MOLAP 中對"立方塊"的"旋轉(zhuǎn)"、"切塊"、"切片"是產(chǎn)生多維數(shù)據(jù)報(bào)表的主要技術(shù)。
HOLAP表示基于混合數(shù)據(jù)組織的OLAP實(shí)現(xiàn)(Hybrid OLAP)。如低層是關(guān)系型的，高層是多維矩陣型的。這種方式具有更好的靈活性。
還有其他的一些實(shí)現(xiàn)OLAP的方法，如提供一個(gè)專用的SQL Server，對某些存儲模式(如星型、雪片型)提供對SQL查詢的特殊支持。
OLAP 工具是針對特定問題的聯(lián)機(jī)數(shù)據(jù)訪問與分析。它通過多維的方式對數(shù)據(jù)進(jìn)行分析、查詢和報(bào)表。維是人們觀察數(shù)據(jù)的特定角度。例如，一個(gè)企業(yè)在考慮產(chǎn)品的銷售情況時(shí)，通常從時(shí)間、地區(qū)和產(chǎn)品的不同角度來深入觀察產(chǎn)品的銷售情況。這里的時(shí)間、地區(qū)和產(chǎn)品就是維。而這些維的不同組合和所考察的度量指標(biāo)構(gòu)成的多維數(shù)組則是OLAP分析的基礎(chǔ)，可形式化表示為(維1，維2，……，維n，度量指標(biāo))，如(地區(qū)、時(shí)間、產(chǎn)品、銷售額)。多維分析是指對以多維形式組織起來的數(shù)據(jù)采取切片(Slice)、切塊(Dice)、鉆取(Drill-down和Roll-up)、旋轉(zhuǎn)(Pivot)等各種分析動作，以求剖析數(shù)據(jù)，使用戶能從多個(gè)角度、多側(cè)面地觀察數(shù)據(jù)庫中的數(shù)據(jù)，從而深入理解包含在數(shù)據(jù)中的信息。
根據(jù)綜合性數(shù)據(jù)的組織方式的不同，目前常見的OLAP主要有基于多維數(shù)據(jù)庫的MOLAP及基于關(guān)系數(shù)據(jù)庫的ROLAP兩種。MOLAP是以多維的方式組織和存儲數(shù)據(jù)，ROLAP則利用現(xiàn)有的關(guān)系數(shù)據(jù)庫技術(shù)來模擬多維數(shù)據(jù)。在數(shù)據(jù)倉庫應(yīng)用中，OLAP應(yīng)用一般是數(shù)據(jù)倉庫應(yīng)用的前端工具，同時(shí)OLAP工具還可以同數(shù)據(jù)挖掘工具、統(tǒng)計(jì)分析工具配合使用，增強(qiáng)決策分析功能。
【編輯推薦】
