数据挖掘（偶然看到比较好的--大数据平台下的数据挖掘解决方案）(3)

大数据平台下的数据挖掘解决方案V3.0

数据概念和数据定义。在此基础上，形成完备的集团单位数据集和数据字典。

（3）元数据标准

元数据标准是描述数据资源的具体对象时所有规则的集合，它包括了完整描述一个具体数据对象时所需要的数据项集合。针对各种信息资源分别制定适当的元数据标准，可为信息的管理、发现和获取提供一种实际而简便的方法，从而提高数据交换效率。

（4）数据交换标准

为了保证数据共享和交换的顺利实现，必须明确定义和规范数据交换的相关标准。数据交换的标准规范是集团单位综合信息平台的核心标准。其中应当包括数据交换内容、数据交换格式、数据传输方式、各类中心间数据接口的标准化等方面。

（5）数据质量标准

由于数据采集任务通常由其他二级平台完成，数据挖掘平台的标准方法主要集中在数据的加工和管理上。应该重点开发的一个领域是数据质量控制方法。应当从三个方面对数据质量方法进行研究：“ 坏数据”或“不可靠数据”的识别，错误数据的编辑方法，以及缺少值的处理。

4.4 主数据

主数据管理要做的就是从各部门的多个业务系统中整合最核心

第8页

大数据平台下的数据挖掘解决方案V3.0

的、最需要共享的数据（主数据），集中进行数据的清洗和丰富，并且以服务的方式把统一的、完整的、准确的、具有权威性的主数据传送给集团单位范围内需要使用这些数据的操作型应用系统和分析型应用系统。

主数据管理的信息流应为：

1) 某个业务系统触发对主数据的改动；

2) 主数据管理系统将整合之后完整、准确的主数据传送给所有有关的应用系统

3) 主数据管理系统为决策支持和数据仓库系统提供准确的数据源。

因此对于主数据管理要考虑运用主数据管理系统实现，主数据管理系统的建设，要从建设初期就考虑整体的平台框架和技术实现。

4.5 数据质量

数据质量不高将影响数据仓库应用程度不高。低下的数据质量往往造成开发出来的系统与用户的预期大相径庭，数据质量关系建设有关分析型信息系统成败，同时数据资源是集团单位的战略资源，合理有效的使用正确的数据能指导集团单位做出正确的决策，提高省综合竞争力。不合理的使用不正确的数据（即差的数据质量）可导致决策的失败，正可谓差之毫厘、谬以千里。

数据质量管理包含对数据的绝对质量管理、过程质量管理。绝

第9页

大数据平台下的数据挖掘解决方案V3.0

对质量即数据的真实性、完备性、自治性是数据本身应具有的属性。过程质量即使用质量、存储质量和传输质量，数据的使用质量是指数据被正确的使用。再正确的数据，如果被错误的使用，就不可能得出正确的结论。数据的存贮质量指数据被安全的存贮在适当的介质上。所谓存贮在适当的介质上是指当需要数据的时候能及时方便的取出。数据的传输质量是指数据在传输过程中的效率和正确性。

高质量的交通运输行业数据至少有如下几项要求：

一是正确性，在转换、分析、存储、传输、应用流程中不存在错误；

二是完整性，数据库应用或要求的所有记录、字段都存在； 三是一致性，体现在整个数据库的定义和维护方面，确保数据在使用的整个过程中是一致的；

四是时效性，衡量指标是在指定的数据与真实的业务情况同步的时间容忍度内，即指定的更新频度内，及时被刷新的数据的百分比；

五是可靠性，提供数据的数据源必须能够可靠稳定地提供数据。 数据质量管理的规划和实施包括以下内容：

一是数据质量管控体系的建立，包括数据质量的评估体系，定期评估数据质量状况；

二是在部门各个应用系统中的落实，包括每个应用系统中的数

第10页

大数据平台下的数据挖掘解决方案V3.0

据质量检查等；

三是在最开始建立数据质量管理系统的时候，借助数据挖掘平台上，通过建立数据质量管理的规则来集中化地建立数据质量管理系统，发现问题并持续改进；

四是数据质量管理与业务稽核的结合，通过业务规则的稽核来发现数据质量深层次的问题，将数据质量与业务一线结合起来，使业务人员对数据质量问题有更加清晰和明确的认识。

完善的数据质量管理是保障各项数据挖掘工作能够得到有效落实，达到数据准确、完整的目标，并能够提供有效的增值服务的重要基础。

4.6 数据服务

数据整理最终目的就是要服务于各部门单位、人员等，能更准确更快更方便的服务是数据服务管理的目标。

数据服务管理是指针对内部积累多年的数据，研究如何能够充分利用这些数据，分析行业业务流程优化业务流程。数据使用的方式通常包括对数据的深度加工和分析，包括通过各种报表、工具来分析运营层面的问题，还包括通过数据挖掘等工具对数据进行深度加工，从而更好的管理者服务。通过建立统一的数据服务平台来满足针对跨部门、跨系统的数据应用。通过统一的数据服务平台来统一数据源，变多源为单源，加快数据流转速度，提升数据服务的效

第11页

大数据平台下的数据挖掘解决方案V3.0

率。

4.7 数据安全

由于集团单位的重要且敏感信息大部分集中在应用系统中，数据安全更是至关重要。如何保障数据不被泄露和非法访问，是非常关键的问题。数据安全管理主要解决的就是数据在保存、使用和交换过程中的安全问题。

数据安全管理主要体现在以下六个方面：

一是数据使用的安全性，包括基础数据的保存、访问和权限管理；

二是数据隐私问题，系统中采集的证件号码、银行账号等信息在下游分析系统和内部管理系统中，是否要进行加密，以避免数据被非法访问；

三是访问权限统一管理，包括单点登录问题及用户名、数据和应用的访问授权统一管理；

四是数据安全审计，为数据修改、使用等环节设臵审计方法，事后进行审计和责任追究；

五是制度及流程建立，逐步建立数据安全性的管理办法、系统开发规范、数据隐私管理办法及相应的应用系统规范、在管理决策和分析类系统中的审计管理办法等；

六是应用系统权限的访问控制，建立集团级权限管理系统，增

第12页