数据挖掘（偶然看到比较好的--大数据平台下的数据挖掘解决方案）(2)

大数据平台下的数据挖掘解决方案V3.0

数据挖掘体系是指从组织架构、管理制度、操作规范、IT应用技术、绩效考核支持等多个维度对组织的数据模型、数据架构、数据质量、数据安全、数据生命周期等各方面进行全面的梳理、建设以及持续改进的体系。 2.2 数据挖掘目标

数据挖掘的目标是提高数据的质量（准确性和完整性），保证数据的安全性（保密性、完整性及可用性），实现数据资源在各组织机构部门的共享；推进信息资源的整合、对接和共享，从而提升集团公司或政务单位信息化水平，充分发挥信息化作用。

数据挖掘体系

数据挖掘体系包含两个方面，一是数据质量核心领域，二是数据质量保障机制。

具体两者内容及相互关系可以参见下图：

第3页

大数据平台下的数据挖掘解决方案V3.0

数据挖掘核心领域

为了有效管理信息资源，必须构集团级数据挖掘体系。数据挖掘体系包含数据挖掘组织、数据构架管理、主数据管理、数据质量管理、数据服务管理及数据安全管理内容，这些内容既有机结合，又相互支撑。

4.1 数据模型

数据模型是数据构架中重要一部分，包括概念数据模型和逻辑数据模型，是数据挖掘的关键、重点。理想的数据模型应该具有非冗余、稳定、一致、易用等特征。逻辑数据模型能涵盖整个集团的业务范围，以一种清晰的表达方式记录跟踪集团单位的重要数据元

第4页

大数据平台下的数据挖掘解决方案V3.0

素及其变动，并利用它们之间各种可能的限制条件和关系来表达重要的业务规则。数据模型必须在设计过程中保持统一的业务定义。为了满足将来不同的应用分析需要，逻辑数据模型的设计应该能够支持最小粒度的详细数据的存储，以支持各种可能的分析查询。同时保障逻辑数据模型能够最大程度上减少冗余，并保障结构具有足够的灵活性和扩展性

4.2 数据生命周期

一般包括数据生成及传输、数据存储、数据处理及应用、数据销毁四个方面。

（1）数据生成及传输

数据应该能够按照数据质量标准和发展需要产生，应采取措施保证数据的准确性和完整性，业务系统上线前应该进行必要的安全测试，以保证上述措施的有效性。对于手工流程中产生的数据在相关制度中明确要求，并通过事中复核、事后检查等手段保证其准确性和完整性。数据传输过程中需要考虑保密性和完整性的问题，对不同种类的数据分别采取不同的措施防止数据泄漏或数据被篡改。

（2）数据存储

这个阶段除了关注保密性、完整性之外，更要关心数据的可用性，对于大部分数据应采取分级存储的方式，不仅存储在本地磁盘上，还应该在磁带上，甚至远程复制到磁盘阵列中，或者采用光盘

第5页

大数据平台下的数据挖掘解决方案V3.0

库进行存储。对于存储备份的数据要定期进行测试，确保其可访问其数据完整。数据的备份恢复策略应该由数据的责任部门或责任人负责制定，信息化管理部门可以给予相应的支持。同时还需要注意因为部门需要或故障处理的需要，可能对数据进行修改，必须在数据管理办法中明确数据修改的申请审批流程，审慎对待后台数据修改。

（3）数据处理和应用

信息化相关部门需要对数据进行分析处理，以挖掘出对于管理及业务开展有价值的信息，为保证过程中数据的安全性，一般应采用联机处理，系统只输出分析处理的结果。但是实际中，因为相关数据分析系统建设不到位，需要从数据库中提取数据后再对数据进行必要的分析处理，在这个过程中就需要关注数据提取操作是否可能对数据库造成破坏、提取出的数据在交付给分析处理人员的过程中其安全性是否会降低、数据分析处理的环境安全性等等。

（4）数据销毁

这个阶段主要涉及数据的保密性。应明确数据销毁的流程，采用必要的工具，数据的销毁应该有完整的记录。尤其是对于需要送出外部修理的存储设备，送修之前应该对数据进行可靠的销毁。

4.3 数据标准

数据标准是集团单位建立的一套符合自身实际，涵盖定义、操

第6页

大数据平台下的数据挖掘解决方案V3.0

作、应用多层次数据的标准化体系。

数据标准的建立是集团单位信息化、数字化建设的一项重要工作，行业的各类数据必须遵循一个统一的标准进行组织，才能构成一个可流通、可共享的信息平台。

数据挖掘对标准的需求可以划分为两类，即基础性标准和应用性标准。前者主要用于在不同系统间，形成信息的一致理解和统一的坐标参照系统，是信息汇集、交换以及应用的基础，包括数据分类与编码、数据字典、数字地图标准；后者是为平台功能发挥所涉及的各个环节，提供一定的标准规范，以保证信息的高效汇集和交换，包括元数据标准、数据交换技术规范、数据传输协议、数据质量标准等。

（1）数据分类与编码

数据分类与编码标准是信息化建设中标准化的一项基础工作，该类标准规定平台汇集、交换相关信息统一的分类系统和排列顺序以及编码规则，目的是在不同系统和用户之间建立交通数据的一致参照，对提高数据采集、处理和数据交换效率具有重要作用。数据分类与编码标准的制定将有力推进平台标准化及交通信息化建设标准化的进程。

（2）数据字典

针对实际需求，定义数据集，建立各个领域的数据字典，规范

第7页