数据挖掘与云计算——专访中国科学院计算技术研究所+何清+博士

数据挖掘与云计算——专访中国科学院计算技术研究所+何清+博士

!"#$%&%'(#)**+#!""!,$-./#."!!#"$#"".

数据挖掘与云计算

专访中国科学院计算技术研究所0何0清0博士

数字通信 记者 张0诚 郭0毅

与的计算模式 其计算资源 计算能力 存储能力 交互能力 是动态 可伸缩 且被虚拟化的 而且以服务的方式提供

云计算给软件带来的变革主要表现在122* 软件即服务 软件的单机安装将逐渐被云计算平台部署所代替 用户只需通过网络浏览器便可享受快速高质的云服务 中小企业既可以在公共云计算平台上使用云服务软件 也可以在硬件开支不大的情况下部署自己的云计算平台 从而实现高性能 低成本的计算 随着云计算的发展 很多公共需求的服务将会日益满足大众需求 普惠各个行业

数据挖掘远比信息搜索要复杂 过去对海量数据的处理主要是通过高性能机或者更大规模的

中国科学院计算技术研究所0何0清0博士

计算设备来实现 现在通过基于云计算的数据挖掘能更好地达到目的 采用云计算模式有许多好处 成本低廉 容错性强 计算速度快 程序开发便捷 节点的增加更容易等 可以说云计算是数据挖掘中普遍适用较为理想的计算模式 也是我们从海量数据中找到有用 可理解的知识的技术手段 数字通信 数据挖掘技术经历了怎样一个发展过程 何0清 数据挖掘 32425)+)+6 又称为数据库中的知识发现 就是从大量数据中获取有效的 新颖的 潜在有用的 最终可理解的模式的过程 目前 数据挖掘技术已在金融 医疗 军事 管理等诸多领域的决策分析中被广泛应用

数据挖掘技术的发展经历了五个阶段 第一代

7

数字通信 当今世界处于一个数据爆炸时代 如何有效地从海量数据中找到有用 可理解的知识正考验人类智慧 我们是否拥有应对这一挑战的技术手段

何0清 人类社会信息正以 每!-个月产生的数量等于过去几千年的总和 的速度不断增加 如此浩瀚的数据在带给人们大量信息的同时 也极大地增加了人们从海量数据中发现有用知识的难度 而解决这一问题的努力促进了云计算和数据挖掘技术的结合和快速发展

按照中国电子学会云计算专家委员会的技术白皮书阐述 云计算是一种基于互联网的 大众参

数据挖掘与云计算——专访中国科学院计算技术研究所+何清+博士

是单独算法&单个系统&单个机器$采用的是向量数据%第二代是与数据库相结合$支持多个算法%第三代是与预测模型相集成$支持89:数据&半结构化的数据$是一种网络化计算%第四代是分布式数据挖掘$是基于网格计算的多种算法$分布在多个节点上的方式%第五代是现在基于云计算的并行数据挖掘与服务的模式$同一个算法可以分布在多个节点上$多个算法之间是并行的$多个节点的计算资源实行按需分配$而且分布式计算模型采用云现了&倍的性能%#

:的研究$近期中国科学院计算技关于面向89

术研究所开发了数据挖掘云服务平台EN51%EN51))数据管理&任务管理&用户管理系统有四部分)

和系统帮助模块$提供基于云计算的并行数据挖掘云服务模式%系统可以把任务的输入输出参数设定好$配置平台的数据$按照工作流的方式可再添加另外任务%在执行任务过程当中$对52@'A9BCD9的进程是可视的$这就是一种数据挖掘云服务%计算模式$数据用3;1或者<=>1?$编程模式采用了52@'A9BCD9

这种方式%EFC942G在HIJ1.""&上发表了一篇文章$他们采用52@'A9BCD9编程完成了很多机器学习方法$这是一项有非常重要意义的工作$不过他们的运算环境是基于多核系统的%目前$基于<2BKK@的数据挖掘开源项目有52FKC4$这个项目致力于数据挖掘并行化$是以云计算方式来做数据挖掘的开源项目%

通过云计算的海量数据存储和分布计算$为云计算环境下的海量数据挖掘提供了新方法和手段$有效解决了海量数据挖掘的分布存储和高效计算问题%开展基于云计算的数据挖掘方法的研究$可以为更多&更复杂的海量数据挖掘提供新的理论与支撑工具%而作为传统数据挖掘向云计算的延伸将推动互联网技术成果服务于大众$是促进信息资源的深度分享和可持续利用的新方法&新途径%数字通信 目前研发进展和行业应用如何

何0清 在中国$基于云计算的数据挖掘工作开始于中国移动的"大云#云计算平台建设%.""-年底中国科学院计算技术研究所与中国移动合作开发完成了基于云计算的数据挖掘软件J35)+9A$软件集成了多种算法$可有效解决多种云计算问题%该系统包含?

LM组件和数据挖掘组件$?LM算法具有线性加速比$挖掘效率随节点增加而增加$多个任务工作流之间互不干扰$不同节点间可同时启动$可以处理失败的节点$具有容错能力$架构具有开放性$算法可方便地配置加载到平台上$达到了商用软件精度$成为中国移动数据挖掘分析支撑工具%中国移动通信研究院黄晓庆院长在.""%年云计算大会上对该系统的评论是!"用!'&的成本实)&)

!"#"$%&'())*+"'%$"(+,-.//01

数字通信 时下 最热门的话题非云计算和物联网莫属 数据挖掘在物联网中又将扮演怎样的角色 何0清 物联网就是"物物相连的互联网#)))LF9I+49A+94KOLF)+6*$它是通过射频识别'P;I3(装置&

红外感应器&全球定位系统&激光扫描器等信息传感设备$按约定的协议$把任何物品与互联网相连接$通过信息交换实现智能化识别&定位&跟踪&监控和管理的一种网络%

物联网层次结构包含!感知层)))将物品信息进行识别&采集*传输层)))通过现有的.Q&$Q以及未来/Q通信网络将信息进行可靠传输*信息处理层)))通过后台系统来进行智能分析和管理%物联网的核心任务就是数据的采集&识别&传输&分析和管理$任何时候都离不开数据挖掘%

李国杰院士认为!智能电网&智能物流&智能交通等应用涉及到十分复杂的动态环境优化问题$不是装几个传感器就能轻松解决的$而是一个十分困难的系统科学问题%发展物联网和嵌入式系统的关键是看系统的智能体现在什么地方%

物联网和嵌入式系统有两个基本模式$即云计算模式和物计算模式%云计算模式是通过分布式的架构采集数据$然后集中进行信息处理%此模式一般用于宏观决策等信息处理的过程中$如智能电网&智能交通&智能物流&智能医疗等%系统的智能主要体现在处理中心$即需要较强的集中计算能力和高带宽$但终端设备比较简单%物计算模式强调实时控制$对终端设备的性能要求较高$如智能化的汽车电子&数控机床&安全监控系统&智能家居等%系统的智能主要体现在终端设备上$对集中处理能力和系统带宽要求比较低%

数据挖掘与云计算——专访中国科学院计算技术研究所+何清+博士

由此可见$数据挖掘是物联网的重要一环$只有通过数据挖掘实现系统的智能化$才能建立起一个巨大的物联网产业%

数字通信 基于云计算的数据挖掘工作面临哪些问题与挑战

何0清 首先$数据挖掘采用怎样的算法设计和方案制定是一个需要认真思考的问题$只有选择合适的算法$并采取适当的并行策略$才能提高效率%势 您的研判是

何0清 数据挖掘技术的研究门槛将降低$这表现在公共的数据挖掘服务为数据挖掘算法的研究提供了研究&比较&测试的平台%在这个平台上研究者可以 …… 此处隐藏：3239字，全部文档内容请下载后查看。喜欢就下载吧 ……