高性能集群计算系统的构建

2卷 第1期 第3

012年1月 2地 震EARTHQUAKE Vol.32,No.1 ,Jan.2012

高性能集群计算系统的构建*

2,李圣强1,李闽峰2,刘桂平2,王 斌2,吴 婷2,王 浩2

(中国科学技术大学地球与空间科学学院,安徽合肥 21.30026;

)中国地震局地震预测研究所,北京 12.00036

/摘要:高性能集群计算系统因其具有强大的运算能力、较高的IO性能、高性能管理和较强的

系统扩展能力而广受关注。本文简要介绍了高性能计算的发展现状和高性能集群计算系统构

成,比较详细地描述了系统环境、系统性能及集群管理与应用情况,对高性能计算的新技术进

/行展望。并以一个实例阐述了集群系统构建等内容。该系统由192个计算节点、4个IO节点、

/1个登录节点、1个管理节点、1个Windows集群服务节点、1组盘阵、1组计算与IO网络和

1组管理网络组成。系统计算能力在2009年和2010年中国高性能计算机性能TOP100排行榜

分别为第36位和第63位,具有相当的竞争力,能够在近几年内为地震科研提供有力支持。

关键词:拓朴结构;系统环境;集群管理;高性能计算系统

()中图分类号:P315.6 文献标识码:A 文章编号:10003274201201014406---

引言

我国是世界上地震活动最强烈的国家之一。而地震预测又是极大减轻地震灾害的重要基础,因此开展以震源环境、地震过程和震源破裂机理等地震科学基础研究为理论依据的动力地震预测模型的研究,是提高实际地震预测水平的重要的技术途径。但地壳内部结构非常复杂,开展动力预测模型的各种研究都将面临复杂的计算和庞大的运算量,而且地球科学是观测的科学,作为地球科学基础理论的地震科学研究离不开大量地球观测数据信息。随着观测仪器的数字化,观测精度的提高,产出了海量观测数据,因此高性能计算系

1~3]。本文从高性能计算需求及现状、系统构统是开展此类研究必不可少的技术支撑平台[

建、技术特点以及高性能计算发展等方面进行分析研究,这对了解高性能集群计算系统以及提高系统的应用具有现实意义。

1 发展现状

计算机技术的发展历程表明,从早期的标量计算机、向量机、并行计算机,到如今的PC集群、超级计算机等,每一项技术的出现都使得相应时期的地震数据处理工作得到快

;修改回日期:2010121420111008*收稿日期:----

)基金项目:中国地震局地震预测研究所基本科研业务费(0207690210

,男,福建松溪人,副研究员,主要从事计算机应用等研究。作者简介:李圣强(1969-)

速发展,然而,通过提高处理器工作频率来增强计算性能已经不能满足实际需求,因此由传统的单核CPU向多核方向发展。如今广泛使用的微机已普遍采用较高主频的双核或四核CPU。而走在计算机前列的高性能计算机,所拥有的CPU数目更多。

随着对地震认识的深入,海量地震数据及其数据运算规模对处理器的浮点运算能力、/IO性能、内存容量以及带宽都有较高的要求。而高性能集群计算系统因其具有强大的运

/算能力、较高的IO性能、高性能管理和较强的系统扩展能力而得到人们的青睐。本文以

中国地震局地震预测研究所高性能集群计算系统为例阐述系统构成、系统环境、硬件构成及应用。

2 系统构成

/92个计算节点、4个IO节点、1 地震预测研究所高性能集群计算系统硬件主要由1

/个登录节点、1个管理节点、1个Windows集群服务节点、1组盘阵、1组计算与IO网

)。图1络、1组管理网络组成(

考虑到费用成本及交换性能,本文选择采用DELL模式构建,但对走线方式进行优化3]。具体配置如表1所示。和改进[

表1 高性能计算系统硬件配置

设备类型配置

CPU:双路Xeon四核,主频2.83G

内存:8GB全缓冲DDR2

硬盘:2*146GBSAS热插拔

12个M1000e刀片服务器机箱

每个机箱内插16个DELL M600刀片服务器

CPU:E54402.83G*2

内存:16GBECCDDR2400SDRAM -

硬盘:146GBSAS热插拔*2

CPU:E54302.66G*2

内存:16GBECCDDR2400SDRAM -

硬盘:转热插拔450GB15000SAS *5

光纤盘:20T

:0TSATA盘4

配置108个端口,每个端口带宽为20GB

内置的Infiniband交换模块配置24口,其中16口用于内

,联刀片服务器8口用于上联主交换机

13个具有2个万兆上联端口、24个千兆下联端口,其中

12个用于连接刀片服务器的交换机内置在刀片机箱内,

大大减少了外联网线;另外1个交换机用于外联其他设备和网络数量计算节点DELL M1000e刀片服务器192/IO节点DELLPE2950 机架式服务器4登录、管理节点盘阵/计算与IO网络主交换机交换模块DELLPE2950 机架式服务器/DELLEMCCX4120 -Infiniband交换机Qloic9120 gInfiniband交换模块21112管理网络DELLPC6220 交换机1

3 系统环境

3.1 集群双系统

为了满足不同的需求,高性能集群计算系统采用Linux集群和Windows集群并存的双系统方式集成。一般情况下,系统启动可同时提供128个计算节点的Linux集群服务和

64个计算节点的Windows集群服务;但遇到需要超过128个计算节点的特殊任务时,可以将系统启动为全部192个计算节点的Linux集群服务。Linux机群采用的管理系统是

),它科学地集成了资源管理、作CHESS(ClusterTechHPCEnvironmentSoftwareStack

//编业调度、用户环境、网络/并行文件系统、消息传递库、GCC(CC++,Fortran7790)

译器、数学函数库、并行调试、性能分析等软件模块,为高性能集群计算提供了最佳无缝

[]

整合的、高度结构化的软件平台;Windows集群管理系统采用WCCS20083。

图1 高性能集群计算系统拓扑结构示意

3.2 系统存储及编译环境

地震科学计算中往往会涉及地震波形数据这种大数据量的存取访问和处理,如果在系统构建中不采取有效的技术途径就可能造成整个系统大的瓶颈,为此,集群系统在均衡考虑资源条件、存储可靠、应用效率以及构建成本等因素的基础上,采用多种模式并存的方式来构建实际的存储系统。

/首先,采用双路20GbInfiniband网卡实现4个IO节点和盘阵之间的物理连接,最

/大限度获取物理带宽。其次,将20T的光纤盘分成4堆后分别独立地连接到4个IO节点

上,这部分空间的可靠性是最高的,用来分配给用户来保存长久使用的程序代码、数据等。

/之后,由40T的SATA盘阵均匀分堆后和4个IO节点连接且采用并行文件软件PVFS2

构建有4个并行通道的并行文件系统,可以用来存储地震波形数据、遥感图像和电子地图等大型数据;同时应该知道,PVFS2虽然是一个被普遍使用的并行文件软件,但毕竟是一个开放软件,数据存储的可靠性值得考虑,所以在此存储的数据通常还需要以其他的方式保存其备份。最后,由128个独立Linux集群中刀片服务器的内置硬盘采用PVFS2构建一个128并行通道的并行文件系统,其存储的效率是最高的,用来作为访问处理最频繁的临

3,4]。时存储空间[

/为了充分发挥系统资源的应用效率,集群系统配置了IntelC++,Fortran7790编译

器以提高用户编译后的程序执行速度;同时,还配置了TotalView调试器用来帮助用户更

5,6]。方便地调试自己的程序[

4 系统性能及管理

4.1 系统性能

集群系统测试使用HPL2.0测试软件,HPL是APortableImlementationofHih pg

LinackBenckmark,其前身称为HPC(Linack′sHihlParallelComutinPerformance ppgypg

)。编译器使 …… 此处隐藏：6316字，全部文档内容请下载后查看。喜欢就下载吧 ……