数据仓库技术白皮书之二(2)

（1）数据源：为数据仓库提供源数据(source data)，如各种生产系统数据库，联机事务处理系统(OLTP)的操作型(operational)数据，外部数据源等都可以作为数据仓库的数据源。

（2）数据抽取(extraction)、转换(transformation)、装载(load)和刷新(refresh)工具：其功能是从数据源中抽取数据，对数据进行检验和整理，并根据数据仓库的设计要求，对数据进行重新组织和加工，装载到数据仓库的目标数据库中，并且可以周期性地刷新数据仓库以反映源的变化以及将数据仓库中的数据作转储。

（3）数据建模工具(modeling tools)：用于为数据仓库的源数据库(source database)和目标数据库建立信息模型，以描述数据检验、整理、加工的需求和相应过程及步骤。随着企业的业务发展，数据仓库管理人员可以通过使用数据建模工具，根据企业决策和综合分析的需要，对数据的检验、整理、加工和重新组织的过程进行调整和优化。

（4）元数据仓储(metadata repository)：用于存储数据模型和元数据。其中，元数据描述了数据仓库中源数据和目标数据本身的信息，定义了从源数据到目标数据的转换过程。

（5）数据仓库监控(monitoring)和管理(administration)工具：对数据仓库的运行提供监控和管理手段，包括系统资源的使用情况、用户操作的合法性、安全管理、存储管理等多方面的内容。

（6）数据仓库及数据集市(data marts)的目标数据库(target database)：存储经检验、整理、加工和重新组织后的数据。它可以是关系数据库(ROLAP）或多维数据库(MOLAP）。

（7）OLAP服务器：是功能强大的多用户的数据操纵引擎，特别用来支持和操作多维数据结构，为前端工具提供多维数据视图及服务。

（8）前端数据访问和分析工具：供业务分析和决策人员访问目标数据库中的数据，并作进一步的深入分析之用。数据访问和分析工具不但要提供一般的数据访问功能，如查询、汇总、统计等，还要提供对数据的深入分析功能，即数据挖掘(data mining)的功能，如数据的比较、趋势分析、模式识别等。而数据仓库的数据访问和分析要在一定程度上面向企业的业务需求，所提供的数据是在业务上有意义的信息，而不只是通用的数据查询和操作功能。

右图示出了一个数据仓库的一般体系结构。

数据仓库技术白皮书之二

当然，并不是所有数据仓库系统都必须具有以上所述的各个部分。在实现数据仓库的时候，往往需要根据企业的特殊需求，定义自己的数据仓库体系结构。有可能会更加强调某一部分的功能，简化甚至忽略某一部分的功能，或者将某几部分的功能进行组合。因此，当我们分析数据仓库产业界及学术界的各种数据仓库体系结构时，往往并不能看到完全统一的体系结构。

5 OLAP与数据仓库技术

“联机分析处理(OnLine Analysis Processing，简称OLAP)”的概念首先是由关系数据库之父E.F.Codd提出来的。根据OLAP委员会的定义，OLAP是使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解并真实反映企业特性的信息进行快速、一致、交互地存取，从而获得对数据的更深入了解的一类软件技术。OLAP是利用数据仓库技术的真正价值所在。OLAP的目标是满足决策支持或多维环境特定的查询和报表需求，它的技术核心是“维”这个概念，因此OLAP也可以说是多维数据分析工具的集合。

具体来说，维是人们观察数据的特定角度。例如，企业常常关心产品销售数据随着时间推移而产生的变化情况,这时它是从时间的角度来观察产品的销售,所以时间就是一个维（时间维）。企业也时常关心自己的产品在不同的地区的销售分布情况，这时他是从地理分布的角度来观察产品的销售，所以地理分布也是一个维（地理维）。而多维分析是指对以多维形式组织起来的数据采取切片(Slice)、切块(Dice)、旋转(Pivot)、向上归纳(roll－up)、向下考察(drill－down)等各种分析动作，以求剖析数据，使最终用户能从多个角度、多侧面地观察数据库中的数据，从而深入地了解包含在数据中的信息、内涵。

OLAP是以数据库或数据仓库为基础的，其最终数据来源与所谓的联机事务处理(OLTP)一样均来自底层的数据库系统，但由于OLTP面对的是操作人员和低层管理人员，而OLAP面对的是决策人员和高层管理人员，二者所面对的用户不同，因而数据的特点与处理也明显不同：

表1

从实现上说，目前对OLAP工具并没有统一的分类标准。大致上，我们可以把OLAP工具分成多维数据库工具(multidimensional database，简称MOLAP)和关系型OLAP工具(relational OLAP，简称ROLAP)和桌面型OLAP工具等三大类。

多维数据库工具的数据存储不采用传统关系模型所使用的记录、表等方式，而采用矩阵(可能是多维的矩阵)的方式来存储数据。市场上已有一些产品，基本上各自为政，遵循自己定义的标准，按照各自厂商对市场用户需求的理解，从不同的角度不同程度上支持用户的决策制定过程。

ROLAP工具使用关系型数据库来进行多维分析，相关的技术和产品发展得很快。由于许多厂商都看好这个市场，因而这类工具的产品比较丰富。与多维数据

数据仓库技术白皮书之二

库工具相比，关系型的OLAP工具在数据库层次上有标准的关系模型，有标准的数据访问方式(SQL)及其编程接口，工具与数据库的可互联性比较好。而且，由于关系型数据库技术十分成熟，应用面很广，在今后一段时间内，关系型OLAP工具将作为OLAP工具的一个主流市场。

所谓桌面型OLAP工具是指在微机环境下开发的支持简单多维分析的用户工具。这些工具没有自己的数据存储，它们把用户提交的查询翻译为对数据源的查询，然后把从数据源得到的结果数据合成最终的结果，返回给用户。这些工具的功能和可用性都比较好，但主要问题在于所支持的应用规模有限，而且不能完全支持OLAP的所有特性。

在数据仓库工程中，如何选择合适的工具，是工程技术人员经常面临的难题。在选择OLAP工具的时候，一般应从产品的功能、适用性、性能、可伸缩性(scalability)和未来的发展趋势等五个方面综合考虑。

6 数据挖掘与OLAP

据有关统计，全世界在业务管理、政府管理、科学与工程数据管理和其它应用领域方面所使用的数据库数以百万计。而且，随着数据库技术的发展，数据库的数量和规模还在迅速增加。特别是数据仓库的出现，使得原有的数据库工具已无法满足用户的需求，用户不仅需要一般的查询、报表工具，更需要的是那些能够帮助他们从浩瀚的数据海洋中提取出高质量信息的工具。这种状况导致了对数据挖掘技术的需求。数据挖掘技术与数据库中的知识发现的目标就是要智能化和自动化地把数据转换为有用的信息和知识。

一般认为，数据库中的知识发现(knowledge discovery in databases，简称KDD)是识别数据中有效的、新颖的、潜在有用的和最终可被理解的模式的非平凡过程。而数据挖掘(data mining)是KDD过程的一个步骤，它是在现实可接受的计算效率限制下，应用数据分析和发现算法，在数据的基础上，对模式的特定枚举。在这里，模式是指从数据中抽取的模式或模型。而KDD过程则是对数据库加以必要的选择、预处理、抽样和变换，应用数据挖掘方法(算法)枚举模式，并评价数据挖掘的结果以确定所枚举的模式中的子集，这些子集被称为知识。

现在，数据挖掘与KDD已经成为一个非常重要和非常活跃的研究领域，这主要是由于数据挖掘能为决策者提供重要的、极有价值的信息或知识，从而产生不 …… 此处隐藏：3022字，全部文档内容请下载后查看。喜欢就下载吧 ……