基于hadoop的分布式存储平台的搭建与验证

毕业设计（论文）

中文题目:基于hadoop的分布式存储

平台的搭建与验证

英文题目: Setuping and verification distributed storage platform

based on hadoop

学 院： 计算机与信息技术 专 业： 信息安全 学生姓名： 学 号： 指导教师：

月 日

任务书

题 目： 基于hadoop的分布式文件系统的实现与验证 适合专业： 信息安全 指导教师（签名）： 提交日期： 2013 年 3 月 8 日

学院： 计算机与信息技术学院 专业： 信息安全

学生姓名： 学号：

毕业设计（论文）基本内容和要求：

本项目的目的是要在单独的一台计算机上实现Hadoop多节点分布式

计算系统。

基本原理及基本要求如下：

1. 实现一个NameNode

NameNode 是一个通常在 HDFS 实例中的单独机器上运行的软件。它负

责管理文件系统名称空间和控制外部客户机的访问。NameNode 决定是否将

文件映射到 DataNode 上的复制块上。

实际的 I/O 事务并没有经过 NameNode，只有表示 DataNode 和块的

文件映射的元数据经过 NameNode。当外部客户机发送请求要求创建文件

时，NameNode 会以块标识和该块的第一个副本的 DataNode IP 地址作为

响应。这个 NameNode 还会通知其他将要接收该块的副本的 DataNode。

2。实现若干个DataNode

DataNode 也是一个通常在 HDFS 实例中的单独机器上运行的软件。

Hadoop 集群包含一个 NameNode 和大量 DataNode。DataNode 通常以机架

的形式组织，机架通过一个交换机将所有系统连接起来。Hadoop 的一个假

设是：机架内部节点之间的传输速度快于机架间节点的传输速度。

DataNode 响应来自 HDFS 客户机的读写请求。它们还响应来自

NameNode 的创建、删除和复制块的命令。NameNode 依赖来自每个

DataNode 的定期心跳（heartbeat）消息。每条消息都包含一个块报告，

北京交通大学毕业设计(任务书)

DataNode 不能发送心跳消息，NameNode 将采取修复措施，重新复制在该 节点上丢失的块。 具体设计模块如下： 1、 在虚拟机上安装多个 linux 系统。并将其中之一拟作为 namenode,其 余系统拟作为 datanode 2、 在上述所有系统中安装 ssh,以确保不同节点之间可以实现无密钥安 全通信。 3、 在上述系统中安装 hadoop,以确保各个系统都可作为 hadoop 系统的 其中一个节点。

毕业设计(论文)重点研究的问题： 1. 2. 3. 4. 基于 windows 环境，完成虚拟机上一个 linux 系统下 hadoop 的实现。 基于系统克隆技术实现 hadoop 节点的复制。 在上述基础上实现节点间无密钥安全通信。 基于上述系统上运行 wordcount 以验证基于 hadoop 的分布式

文件系统 的有效性。 5. 分析 handoop 现有的安全机制可能存在的安全隐患并提出相应的解 决措施。

-4-

北京交通大学毕业设计(任务书)

毕业设计(论文)应完成的工作： 1。 了解整个系统的结构， 针对系统所要完成的各项工作进行该方面的学 习，掌握基于 hadoop 的分布式文件系统设计和实现方法。 2。 完成系统中必备的各个配置步骤。 3。 在系统上运行 wordcount 并进行系统性能分析。 4。 完成该项目所涉及代码及配置步骤的记录。 5。 对 handoop 现有的安全机制存在的安全隐患提出相应的解决措施。 6。 毕业论文。

参考资料推荐： ⑴ Tom White 著，曾大聃，周傲英译，《Hadoop 权威指南》[专著],北 京:清华大学出版社，2010 ⑵陈勇[著],《基于 hadoop 平台的通信数据分布式查询算法的设计与实 现》[硕士学位论文],北京:北京交通大学计算机学院，2009 ⑶ 周品主编，《hadoop 云计算实战》[专著]。北京:清华大学出版社， 2012 ⑷ 赵书兰编著，《典型 hadoop 云计算》[专著] 。北京: 电子工业出版 社, 2013

-5-

北京交通大学毕业设计(任务书)

其他要说明的问题：

-6-

题 目： 基于hadoop的分布式文件系统的实现与验证 学院： 计算机 专业: 信息安全 学生姓名： 学号：

北京交通大学毕业设计(论文)开题报告文献综述：

Hadoop分布式文件系统是遵循Google文件系统原理进行开发和实 现的，受到IT业界极大关注，并已被广泛应用。鉴于当前缺乏从系统设 计理论的角度对其开展的相关研究，本文从Hadoop分布式文件系统架构 的建模人手.通过对模型各组成部分进行分析.并将其与传统的分布式 文件系统进行比较。总结出Hadoop分布式文件系统具有的海量、高可扩 展性、高可靠性、高性能等面向云计算领域应用的霞要特征。本文有助 于研究者系统、深入地研究Hadoop分布式文件系统的设计与实现。并为 云计算背景下的分布式文件系统设计提供雨要的参考。

云计算 是一种新兴的计算模型，它是并行计算、分布式计算、网 格计算的综合发展，或者说是这些计算科学概念的商业实现。它的基本 原理是将计算、存储及软硬件等服务分布在非本地的大量计算机构成的 资源池上，用户通过网络获得相应的服务，从而有效的提高资源利用率， 实现了真正的按需获取。目前云计算模型众多，但多为商业模型，而 Hadoop作为开源的云计算模型，它模仿和实现了Google云计算的主要技 术，并且使用Java语言编写，可移植性强，为个人和企业进行云计算方 面的研究和应用奠定了基础。

Hadoop 分布式文件系统(Hadoop Distributed Fil

e System,HDFS) 高可靠性和高可扩展性的分布式文件系统.能够提供海量的文件存储能 力。 它的开发和实现遵循了 Coogle 文件系统(Google file system, GFS) 的核心原理，而 GFS 作为 Google 云计算核心技术体系的底层，为相关2

北京交通大学毕业设计(论文)开题报告技术如 MapReduee 分布式计算模型、Bigtable 分布式数据库等)的实现 提供了有效的支撑。同样，Hdfs 本身以及以它为基础的一系列开源软件 技术的研究和开发，已被业界广泛应用到云计算的具体实践中.获得了 非常好的效果。当前.针对 HDFS 的研究普遍关注其具体的技术细节和 实施效果.尚缺乏对其进行系统设计理论上的分析和比较。本文从模型 分析的角度人入手.首先介绍在业界获得普遍认同的分布式文件系统的 用户需求和架构模型. 然后针对 HDFS 的体系架构进行实现， 最后将 HDFS 与传统的分布式文件系统进行比较.总结了 HDFS 在云计算领域中应用 的优势及存在的安全问题。并对其设计和应用提出建议。 从模型的角度出发.可以分析出 HDFS 在设计和实现上的主要特征。 1 采用专用的服务器提供目录服务。Namenode 对文件元数据进行管 理.能够维护统一的文件名字空间供用户访问以及从全局上对系统进行 控制.提高了系统的透明性和可扩展性：同时。Namenode 不承担文件内 容的供给，减轻了节点压力。 2 采用数目众多的服务器提供扁平文件服务。 多个 Datanode 可以同 时为用户提供文件数据块服务。它们分布广泛并互为备份.提高了系统 在节点级的可靠性。因此.单个节点可以由普通的 PC 服务器担当。有 利于降低系统成本。 3 采用文件数据分块和数据块复制机制。文件数据被划为多个数据 块，有利于对其内容进行查找和定位，同时数据块的多个拷贝能够 …… 此处隐藏：6229字，全部文档内容请下载后查看。喜欢就下载吧 ……