数据挖掘（偶然看到比较好的--大数据平台下的数据挖掘解决方案）

大数据平台下的数据挖掘解决方案V3.0

大数据平台下的数据挖掘

解 决 方 案

大数据平台下的数据挖掘解决方案V3.0

目 录

一 数据管理的现状 .................................................................................. 1 二 数据挖掘的概述 .................................................................................. 2

（一） （二）

数据挖掘概念 ........................................................................................ 2 数据挖掘目标 ........................................................................................ 3

三 数据挖掘体系 ..................................................................................... 3 四 数据挖掘核心领域 ............................................................................... 4

（一） （二） （三） （四） （五） （六） （七）

数据模型 .............................................................................................. 4 数据生命周期 ........................................................................................ 5 数据标准 .............................................................................................. 6 主数据 .................................................................................................. 8 数据质量 .............................................................................................. 9 数据服务 ............................................................................................ 11 数据安全 ............................................................................................ 12

五 数据挖掘保障机制 ............................................................................. 13

（一）

(1) (2) (3) （二）

制度章程 ............................................................................................ 13 规章制度 ............................................................................................ 13 管控办法 ............................................................................................ 13 考核机制 ............................................................................................ 13 数据挖掘组织 ...................................................................................... 15

大数据平台下的数据挖掘解决方案V3.0

(1) (2) (3) （三） （四）

(1) (2)

组织架构 ............................................................................................ 15 组织层次 ............................................................................................ 16 组织职责 ............................................................................................ 17 流程管理 ............................................................................................ 19 IT技术应用 ......................................................................................... 20 支撑平台 ............................................................................................ 20 技术规范 ............................................................................................ 22

附件A 数据管理规范 ............................................................................ 23 附件B 数据质量评估办法 ....................................................................... 41 附件C 数据质量管理流程 ....................................................................... 45

大数据平台下的数据挖掘解决方案V3.0

关于数据挖掘的理解

数据管理的现状

根据行业信息化发展的现状，结合当今行业数据挖掘的要求，

大型集团或政务管理部门现阶段数据管理方面存在以下的不足：

（1） 数据多头管理，缺少专门对数据管理进行监督和控制的组织。信息系统的建设和管理职能分散在各部门，致使数据管理的职责分散，权责不明确。组织机构各部门关注数据的角度不一样，缺少一个组织从全局的视角对数据进行管理，导致无法建立统一的数据管理规程、标准等，相应的数据管理监督措施无法得到落实。组织机构的数据考核体系也尚未建立，无法保障数据管理标准和规程的有效执行。

（2） 多系统分散建设，没有规范统一的省级数据标准和数据模型。组织机构为应对迅速变化的市场和社会需求，逐步建立了各自的信息系统，各部门站在各自的立场生产、使用和管理数据，使得数据分散在不同的部门和信息系统中，缺乏统一的数据规划、可信的数据来源和数据标准，导致数据不规范、不一致、冗余、无法共享等问题出现，组织机构各部门对数据的理解难以应用一致的语言来描述，导致理解不一致。

（3） 缺少统一的主数据，组织机构核心系统间的人员等主要

第1页

大数据平台下的数据挖掘解决方案V3.0

信息并不是存储在一个独立的系统中，或者不是通过统一的业务管理流程在系统间维护。缺乏对集团公司或政务单位主数据的管理，就无法保障主数据在整个业务范围内保持一致、完整和可控，导致业务数据正确性无法得到保障。

（4） 缺乏统一的集团型数据质量管理流程体系。当前现状中数据质量管理主要由各组织部门分头进行；跨局跨部门的数据质量沟通机制不完善；缺乏清晰的跨局跨部门的数据质量管控规范与标准，数据分析随机性强，存在业务需求不清的现象，影响数据质量；数据的自动采集尚未全面实现，处理过程存在人为干预问题，很多部门存在数据质量管理人员不足、知识与经验不够、监管方式不全面等问题；缺乏完善的数据质量管控流程和系统支撑能力。

（5） 数据全生命周期管理不完整。目前，大型集团或政务单位，数据的产生、使用、维护、备份到过时被销毁的数据生命周期管理规范和流程还不完善，不能确定过期和无效数据的识别条件，且非结构化数据未纳入数据生命周期的管理范畴；无信息化工具支撑数据生命周期状态的查询，未有效利用元数据管理。

数据挖掘的概述

2.1 数据挖掘概念

数据挖掘是指将数据作为组织资产而展开的一系列的具体化工作,是对数据的全生命周期管理。

第2页