zafu数据仓库和数据挖掘技术复习提纲(2011-2012-2)

好辛苦整理的

一．数据库、数据库管理系统与数据仓库

1． 从传统数据库到数据仓库、数据仓库与传统数据库的区别。（P2，表1.1）

宏观层面：①数据太多，信息贫乏②异构环境数据的转换和共享③利用数据进行事物处理转变为利用数据支持决策 微观层面：①系统响应2.数据集成3.数据综合4.历史数据5.数据访问

对比数据仓库：1. 面向主题2. 数据是综合或提炼的3. 保存过去和现在的数据4. 数据不更新5. 操作需求是临时决定的6. 一个操作存取一个集合7. 数据时常冗余8. 操作相对不频繁9. 查询的是经过加工的数据10. 决策分析需要过去现在的数据11. 很多复杂的计算12. 支持决策分析

2． 数据仓库的定义及其基本特征。（特征的含义）

数据仓库是面向主题的、集成的、稳定的、不同时间的数据集合，用于支持经营管理中决策制定过程。

特征：1.面向主题：主题是数据归类的标准，每个主题基本对应一个客观分析领域

2.集成：数据进入仓库之前，必须经过加工与集成 3.稳定：数据经集成进入数据仓库后是极少或根本不更行4.随时间变化：数据仓库的数据时限在5-10年，只保存当前数据 5.数据量很大L数据量为10GB，甚至100GB

6.软硬件要求高：需要一个巨大的硬件平台和一个并行的数据库系统

3． 数据仓库与数据挖掘的联系和区别。（区别在于定义）

数据仓库是一种存储技术，包含大量的历史数据、当前的详细数据以及综合数据，能适应不同用户对不同决策需要提供所需的数据和信息。

数据挖掘是从人工智能机器学习中发展起来的，它研究各种方法和技术，从大量的数据中挖掘出有用的信息和知识 联系：在数据仓库系统的前端的分析工具中，数据挖掘是其中重要工具之一。它可以帮助决策用户挖掘数据仓库的数据中隐含的规律性

二．数据仓库原理

1． 数据仓库概念结构、总体层次结构及其结构模式（幻灯片图）

数据仓库的总体层次结构应该由数据仓库基本功能层、数据仓库管理层和数据仓库环境支持层组成。

结构模式：（1）数据仓库的自顶向下结构，这是最早提出的数据仓库结构。

（2）数据仓库的自底向上结构，核心是通过独立开发的数据集市逐渐构建数据仓库。

2． 数据集市概念、结构及其特性。

①数据集市（Data Marts）是一种更小、更集中的数据仓库，为公司提供分析商业数据的一条廉价途径。

②数据集市有两种：独立的数据集市和从属的数据集市。

③数据集市的特性：1、规模是小的2、特定的应用3、面向部门4、由业务部门定义，设计和开发

5、由业务部门管理和维护6、快速实现7、购买较便宜8、投资快速回收

9、更详细的、预先存在的数据仓库的摘要子集10、可升级到完整的数据仓库

3． 数据仓库系统的组成。

数据仓库系统由数据仓库、仓库管理和分析工具3部分组成。

4． 数据仓库的数据组织。

数据仓库数据组织形式包括当前基本数据，历史基本数据，轻度综合数据，高度综合数据和元数据。

5． ★粒度是指数据仓库的数据单元中保存数据的细化或综合程度的级别。细化程度越详细，粒度级就越低。（幻灯片） 细化程度越高，粒度级就越小；细化程度越低，粒度级就越大。

粒度——细节的级别

粒度的划分决定了数据仓库中数据量的大小和查询的详细程度。

6． 数据仓库模型、星型模型、物理模型的性能问题。

性能问题：依据数据仓库数据量大但是操作单一的特点，可以采取以下一些技术来进行数据仓库的物理数据模型设计。

（1）合并表（物理上存放在一起）（2）建立数据序列（按照数据处理的顺序调整数据的存放位置）

（3）引入冗余（改变表的结构）冗余：有些表的属性在多个主题中都要用到就可省去连结操作，增加冗余

（4）表的物理分割（将表按访问顺序进行分割）（5）生成导出数据（6）建立广义索引

7． 元数据的定义、分类及作用。

好辛苦整理的

元数据是关于数据、操纵数据的进程和应用程序的结构和意义的描述信息，其主要目标是提供数据资源的全面指南。 元数据定义为数据的数据，即元数据描述了数据仓库的数据和环境。

分类：1.关于数据源的元数据 2.关于数据模型的元数据、3.关于数据映射的元数据4.关于数据仓库使用的元数据 主要作用：（1）改善与系统的交互（2）提高数据质量（3）支持系统集成（4）支持系统的分析、设计和维护

（5）增加灵活性

三．数据仓库设计与开发

1． 数据仓库需求分析、逻辑模型设计的主要工作，星型模型设计的步骤。

①.确定主题域 明确对于决策分析最有价值的主题领域有哪些？

②.支持决策的数据来源 哪些源数据（操作型）与商品主题有关？

需求分析就是要说明用哪些数据经过分析来实现用户的决策支持需求。

逻辑模型主要工作为：

（1）进行概念模型（E—R图）到逻辑模型（星型模型）的转换（2）粒度层次划分（3）关系模式定义（4）定义记录系统

星型模型的设计步骤如下：

（1）确定决策分析需求决策需求是建立多维数据模型的依据。（2）从需求中识别出事实选择或设计反映决策主题业务的表，如在“商品”主题中，以“销售业务”作为事实表。（3）确定维确定影响事实的各种因素，对销售业务的维包括商店，地区，城市，时间，商品等，如图3.2所示。（4）确定数据汇总水平数据仓库中对数据不同粒度的集成和综合，形成了多层次的数据结构。例如，对于时间维，可以以“年”、“月”或者“日”等不同水平进行汇总。

（5）设计事实表和维表 设计事实表和维表的具体属性。在事实表中应该记录哪些属性是由维表的数量决定的。一般来说，与事实表相关的维表的数量应该适中，太少的维表会影响查询的质量，用户得不到需要的数据，太多的维表又会增加存储空间。（6）按使用的DBMS和分析用户工具，正是设计方案的有效性：根据使用的DBMS，确定事实表和唯表的具体实现，由于不同的DBMS对数据存储有不同的要求，因此设计方案是否有效，还要放在DMBS中进行检验 （7）随着需求变化修改设计方案 随着应用需求的变化，整个数据仓库的数据模式也可能会发生变化。因此在设计之初，充分考虑数据模型的可修改性可以节省系统维护的代价

2． 数据仓库开发过程。（4个阶段12个具体步骤，P79）

分析设计阶段：1.需求分析2.概念设计3.逻辑设计4.物理设计数据获取阶段1.数据抽取2.数据转换3.数据转载决策支持阶段：1、信息查询2.知识探索维护与评估阶段：1.数据仓库增长2.数据仓库维护3.数据仓库评估

四．联机分析处理

1． OLAP 的相关概念及主要特征。

联机分析处理是一种软件技术，使分析人员能够迅速、一致、交互地从各个方面观察信息，以达到深入理解数据的目的。

（1）快速性：用户对OLAP的快速反应能力有很高的要求。 （2）可分析性：OLAP系统应能处理任何逻辑分析和统计分析。 （3）多维性：系统必须提供对数据分析的多维视图和分析。（4）信息性：不管数据量有多大，也不管数据存储在何处，OLAP系统应能及时获得信息，并且管理大容量的信息。 （5）共享性

2． OLAP的数据模型。

MOLAP：数据存取速度：快；数据存储容量：小；多维计算能力：支持；维度变化适应性：差；数据变化的适应性：低；软件评估的适应性：差；元数据管理：将元数据作为其内在数据 ROLAP将元数据作为应用开 …… 此处隐藏：2945字，全部文档内容请下载后查看。喜欢就下载吧 ……