基于Oracle数据仓库应用技术的研究与实现(4)

本文介绍了数据仓库系统的设计与实现方法。

武汉科技大学硕学论士位文

第9页

础，用来指导在建立和管理数据仓库平台时必须制定的大多数决策。通常可分为两个主要类型：三层结构和两层结构。 251三层结构 ..在 设计中，三层结构的第一层由已存在的事务处理系统构成，用来收集发生在原由M S I系统中所有事件的数据，提供给数据仓库应用。这种结构的第二层和第三层分别是数据仓库和数据集市，如图23 .所示。

黑

查询分析终端

昙

第一层

图Z三层数 J据仓库结构

建立大型的数据仓库环境通常有两种不同的功能需 要：数据合并 (汇集数据)和数据分析 (获取信息)。数据仓库层负责数据合并活动，从操作系统中获取数据。数据合并是指从异类的、不统一的操作系统中抽取、清理和转换数据，成为一个统一的仓库.同时，

将合并数据的各部分供给各个数据集市，完成数据分析活动。数据分析是指允许最终用户访问、处理和一般分析数据以寻找有用信息。于这两种不同需要，因此由分布在两个不同层上使这种结构更加可扩展。数据仓库层由多种操作系统供给数据，需执行所需的抽取和转换，而数据集市层从数据仓库中提取数据.数据仓库 层以非概括化的、详细的形式保存数据，可以设计成一种类似于传统第三范式

模式( aii a hr一o lf sh帕)数据库模式，来充分 t dto lti nr r n d m o ce的 a翔应用该范式中最小化数据冗余的优越性叫。数据仓库必须担当一种存储仓库，用来存储来自不同机构和不同主题领域的大量数据。数据集市中的数据是概括、子集和样本。数据集市可以使用维数模型和星型模式设计。

三 层数据仓库结构的主要优点是高性能和高度扩展性。高性能允许分割不同查询的作业量给不同的数据集市，这意味着某个数据集市的用户不会受其它数据集市作业量的影响；高扩展性是指第二层和第三层可以单独扩增〔。] 5 1但是，该 结构的代价是成本很高。因为设计数据仓库是个复杂的过程，须花费时间来合并多种主题，而建立数据仓库又需要相当的时间和资源，同时成本也很高。

本文介绍了数据仓库系统的设计与实现方法。

兰皿些252两层结构 ..

_

_

武科大士位文汉技学硕学论

有两种方法可 用来建立两层结构。第一种方法是只建立企业级数据仓库，而不是建立

数集市，种方据这法没有从根本上摆脱建立仓库所需数据要承担的杂性和复难度。一另种方法比较常见，就是只建立数据集市，数据集市不依赖于数据仓库而独立存在。这种结构代价是很小的，因为数据集市只有一个或两个主题域的数据，设计和实现上有更小的复杂性，可以处理少量数据源和较少数据，同时硬件上需求也降低了.其结构示意图如图 24 .所示。

查询分析终端

第一层

第二层

图 2两层数据仓库结构 . 4

但是这种结构存在着严重的问题。首先是可扩展性差，已存在的数据集市不能满足其

它外的部门求，另外，需对每个部门需求建立数据集市也是件可怕的事情。253可扩展结构 ..

以 种系统结构似乎都不是最佳的。上介绍的两可扩展结构利用两层结构简单和廉价的优点，从逻辑上设计一个三层结构，但最初使用两层结构来实现，如图25 .所示。当数据集市增长到包含更多主题领域时，最终转换成三层结构。

业务处理终端

查询分析终端

图25可扩展的 .数据仓库结构

本文介绍了数据仓库系统的设计与实现方法。

武汉科技大学硕学论士位文

第n页

在最初的两层结构中的第二层上 ( 即可扩展的数据集市层)必须有两种类型的数据库，第一种类型数据库是“小型数据仓库”,而第二种类型的数据库是从属的数据集市。小型数据仓库应该看作是一个还没有组装完成的企业数据仓库，开始于一个单一主题领域和以一种规范化的模式来存储详

细 (非概括化的)数据，因此这个小型数据仓库应该有一个逻辑数据模型。从属的数据集市从小型数据仓库中抽取数据、概括和聚集数据，然后存储到数据集市表格中。实际上这两个逻辑上数据库通常作为一个物理数据库来执行。随着主题领域数量的增长，数据仓库组件也随之增长，并且有更多的数据集市从中抽 取数据.此时，数据仓库可以独立出来，形成了三层结构。由于数据集市的数据全部从数

据仓库中取，不需要加读所以增其它的抽取处理洲。值得注意的是，型小数据仓库立时建应该确定从操作系统中抽取数据的贯穿主题领域公用线索，确保基于这些线索来实现集成，例如，在商业上一个公用线索是商品销售。 26数据仓库系统设计方法 .

一般而言， 在操作型环境中，系统设计人员能够清晰地了解应用的需求和数据流程，系统设计一般采用系统生命周期法 SL( se eeomn ieC。e,而在分析型 DCS tmDvlpetLf yl) y环境中，设计人员要在与用户不断交流的基础上，逐步明确与完善系统需求，因此数据仓库采用的是与SL不同的CD( ce i Dvl n sse方法， DC LSC l Lf eeo t ytm y e卿e )也可以称为数据仓库生命周期 (wC。 DL两种方法之比 )较见图267 .] l f:数据仓库是一个面向分析型处理的数据环境， 从数据组织到面向主题的数据处理与传统数据库有较大的区别，这决定了进行数据仓库系统设计时，不能照搬传统数据库系统的开发方法。

s￡祛 D方 I。5法山方图26SL方法和C璐方法 . D C L

由图26 .可见，数据库系统设计的SL方法有独立的收集需求和分析需求的 D c阶段，而

本文介绍了数据仓库系统的设计与实现方法。

第1 2页个设计过程中。

武科学硕学论汉技大士位文

数据仓库设计采用的 cD方法则没有这样独立的阶 L S段，而是将需求分析的构成贯穿于整 27数据仓库设计步骤 .数据仓库设计是在现存数据库系统基础上开发，着眼于有效的抽取、综合、集成和挖 掘已有数据库的数据资源，服务于企业高层领导管理决策分析的需要，是一种解决问题的过程叫。大体分为以下几步： (制定计 划及建立 ) 1技术环境建立开发数据仓库的目 标和计划，包括数据范围、责任、方法和工程调度等。选择实现数据仓库的软硬件资源，

包括开发平台、 BS DM、网络通信和开发工具等。 2确定分 () 析主题并建立模型根据决策需求建立主要的分析主题， 在反馈和循环中逐渐建立其它分析主题.选择数据源，对数据仓库组织进行逻辑结构设计。主题是数据归类的标准，每个主题对应一个客观分析领域。

(设 ) 3计数据仓库中的对象依据用户需求， 着重于分析主题，开发数据仓库中的数据物理存储结构，设计数据仓库中数据对象事实表和维表。 ()计数据转换程序 4设实现从数据 源中抽取数据、清理数据、一致化数据、综合数据和装载数据等过程的设计。

(管 ) 5理元数据定义数据的意义及系统各组成部分的关系。 元数据包括关键字、属性、数据描述、物

理据构源据构、射转规、合法、码、值、全求变数结、数结映及换则综算代缺省安要、化及时限等。

6选择或设计数据分析工 () 具用于决策支 持系统的分析工具主要包括优化查询工具，统计分析工具， L工具及各 OA P种数据开采工具。 28数据仓 .库关键技术28IEL .. T

E (t c T n o一 a缩 t r s r L d的写，数抽转装 TEr一afmo L xa即据取、换、载的程作 B o过 )为 lw/ B n“ tl n ( i“I l g e的心灵能按统的则成提数的值 s ue n ic e e )核和魂，够照一规集并 …… 此处隐藏：3039字，全部文档内容请下载后查看。喜欢就下载吧 ……