数据挖掘软件分析

一、数据挖掘概念----定义

数据挖掘--从大量数据中寻找其规律的技术， 是统计学、数据库技术和人工智能技术的综合。

数据挖掘与统计学

数据挖掘与人工智能

数据挖掘与数据库技术

数据挖掘与KDD

2

一、数据挖掘概念----原由

国民经济和社会的信息化

社会信息化后，社会的运转是软件的运转

社会信息化后，社会的历史是数据的历史 因此政府提出 “信息化”和“发展软件产业”

3

一、数据挖掘概念----原由

数据库越来越大 数据挖掘

可怕的数据

4

有价值的知识

一、数据挖掘概念----原由

苦恼: 淹没在数据中 ; 不能制定合适的决策!

数据

知识

决策

金融 经济 政府 POS. 人口统计 生命周期

模式 趋势 事实 关系 模型 关联规则 序列

目标市场 资金分配 贸易选择 在哪儿做广告 销售的地理位置

数据爆炸，知识贫乏 5

一、数据挖掘概念----发展

1989 IJCAI会议： 数据库中的知识发现讨论专题 – Knowledge Discovery in Databases (G. Piatetsky-Shapiro and W. Frawley, 1991) 1991-1994 KDD讨论专题 – Advances in Knowledge Discovery and Data Mining (U. Fayyad, G. Piatetsky-Shapiro, P. Smyth, and R. Uthurusamy, 1996) 1995-1998 KDD国际会议 (KDD’95-98) – Journal of Data Mining and Knowledge Discovery (1997) 1998 ACM SIGKDD, SIGKDD’1999-2002 会议,以及SIGKDD Explorations 数据挖掘方面更多的国际会议

6 (IEEE) ICDM, DaWaK, – PAKDD, PKDD, SIAM-Data Mining,

一、数据挖掘概念----技术

技术分类

– 预言（Predication）：用历史预测未来 – 描述（Description）：了解数据中潜在的规律

数据挖掘技术

– 关联分析 – 序列模式 – 分类（预言）

– 聚集

– 异常检测

7

二、数据挖掘软件的发展

Robert Grossman， National Center for Data Mining University of Illinois at Chicago 的观点

代 第一 代 特征 数据挖掘算法 集成 分布计算 模型 单个机器 数据模型

作为一个独 立的应用

支持一个或者 多个算法

独立的系统

向量数据

第二 代

和数据库以 及数据仓库 集成

和预言模型 系统集成

多个算法：能 够挖掘一次不 能放进内存的 数据

多个算法

数据管理系 统，包括数 据库和数据 仓库

数据管理和 预言模型系 统

同质、局 部区域的 计算机群 集

intranet/e xtranet网 络计算

有些系统支持 对象,文本和 连续的媒体数 据

支持半结构化 数据和web数 据

第三 代

第四 代

和移动数据/ 各种计算设 备的数据联 合

多个算法

数据管理、 预言模型、 移动系统8

移动和各 种计算设 备

普遍存在的计 算模型

二、数据挖掘软件的发展

第一代数据挖掘软件

特点 –支持一个或少数几个数