高性能并行集群的性能测试与优化研究

高性能并行集群的性能测试与优化研究

赵玖玲，田先斌

（第二炮兵工程学院４０１教研室

陕西西安

７１００２５）

摘要：以ＩＢＭＢｌａｄｅＣｅｎｔｅｒ高性能集群系统性能测试为背景，研究大规模集群的性能测试与优化方法。通过对基于区

域分解大规模线性方程组中并行求解算法在４个测试方棠下的测试和分析，得到了其加速性能随计算节点数的变化曲线。结果表明，该高性能计算机集群具有很好的加速性能、稳定性，达到了预期的测试目标，为基于该并行平台的进一步并行开

发研究奠定了基础。

关键词：性能测试；ＰＣＧ；并行计算；ＭＰＩＯｐｅｎＭＰ；ＰＧＩ

中图分类号：ＴＰ２７４

文献标识码：Ａ

文章编号：１００４—３７３Ｘ（２００９）１２—０９１—０４

ＰｅｒｆｏｒｍａｎｃｅＴｅｓｔａｎｄＯｐｔｉｍｉｚａｔｉｏｎＳｔｕｄｙｏｆＨｉｇｈＰｅｒｆｏｒｍａｎｃｅＰａｒａｌｌｅｌＣｌｕｓｔｅｒＳｙｓｔｅｍ

ＺＨＡＯ

（Ｔｅａｃｈｉｎｇ＆Ｒｅｓｅａｒｃｈ

Ｊｉｕｌｉｎｇ，ＴＩＡＮＸｉａｎｂｉｎ

Ｏｆｆｉｃｅ４０１，ＳｅｃｏｎｄＡｒｔｉｌｌｅｒｙＥｎｇｉｎｅｅｒｉｎｇＩｎｓｔｉｔｕｔｅ．Ｘｉ’ａｎ，７１００２５，Ｃｈｉｎａ）

Ａｂｓｔｒａｃｔ：Ｔｈｉｓａｒｔｉｃｌｅｓｔｕｄｉｅｓｔｈｅ

ｐｅｒｆｏｒｍａｎｃｅｏｐｔｉｍｉｚａｔｉｏｎｏｆｔｈｅｌａｒｇｅ—ｓｃａｌｅｃｌｕｓｔｅｒｓｙｓｔｅｍｂｙｔｈｅｐｅｒｆｏｒｍａｎｃｅ

ｔｅｓｔ

ｔｅｓｔ

ｆｏｒ

ＩＢＭＢｌａｄｅＣｅｎｔｅｒｈｉｇｈｐｅｒｆｏｒｍａｎｃｅｃｌｕｓｔｅｒｓｙｓｔｅｍ．Ｔｈｅｅｆｆｉｃｉｅｎｃｙｏｆｔｈｉｓｓｙｓｔｅｍｉｓｅｘｈｉｂｉｔｅｄｔｈｒｏｕｇｈｔｈｅ

ｔｈｉｓｃｌｕｓｔｅｒｓｙｓｔｅｍｂｙｒｕｎｎｉｎｇｔｈｅ

ｔｅｓｔ

ａｎｄａｎａｌｙｓｉｓｆｏｒ

ｐｅｒｆｏｒｍａｎｃｅ

ｓｏｆｔｗａｒｅｉｎ

ｄｉｆｆｅｒｅｎｔｐａｒａｌｌｅｌ

ｅｎｖｉｒｏｎｍｅｎｔ．Ｒｅｓｕｌｔｓ

ａ

ｐｒｏｖｅ

ｔｈａｔｔｈｅｈｉｇｈ

ｃｏｍｐｕｔｅｒｃｌｕｓｔｅｒｈａｓａｃｃｅｌｅｒａｔｉｏｎｆｕｎｃｔｉｏｎａｎｄｓｔａｂｉｌｉｔｙ．Ｔｈｅｓｅｒｅｓｕｌｔｓｏｆｆｅｒ

Ｋｅｙｗｏｒｄｓ：ｐｅｒｆｏｒｍａｎｃｅｔｅｓｔ；ＰＣＧｐａｒａｌｌｅｌｃｏｍｐｕｔｉｎｇ

ｆｏｕｎｄａｔｉｏｎｆｏｒｔｈｅｅｘｐｌｏｉｔｕｒｅａｎｄｓｔｕｄｙ．

ＭＰＩ；ＯｐｅｎＭＰ；ＰＧｌ

０引言

高的计算速度。但是这些计算机硬件成本高，管理和维护花销大，一般机构难以承担。随着网络技术的发展，利用网络将多台计算机连接起来，组成集群系统进行并行计算的方式逐渐成为并行计算机发展的一个趋势。组建集群系统的方式通常有２种：一种是利用常见的局域网技术，将多台ＰＣ或服务器连接在一起组成的。这种组建方式可以最大限度利用局域网内的计算资源，降低组建集群系统的成本。另一种是利用专业的网络，将经过优化配置后的服务器连接在一起组成集群系统。这种方式成本高，但是比前一种方式具有更高的计算效率、更大网络通信带宽、更低的数据通信时延和更稳定的系统服务。刀片式服务器就是属于后者的一种高可

用高密度（ＨｉｇｈＡｖａｉｌａｂｉｌｉｔｙＨｉｇｈＤｅｎｓｉｔｙ，ＨＡＨＤ）的

随着科研学术活动的不断深入，研究对象越来越复杂，尤其在数值仿真方面，由于研究模型越来越复杂，仿真时产生的计算量和数据量也越来越庞大。面对如此庞大的计算负荷，使用集群系统，利用并行技术是解决计算时间的一个理想方案Ⅲ。

为了能够进行工程中的大规模数值计算，缩短科研周期，新近购置了ＩＢＭ刀片式大规模并行计算集群系统，为了测试该系统的工程计算能力，实现了在科学计算中常用的大型线性方程组并行算法，测试并分析了并行集群下不同并行模型的计算时间及并行性能和优化措施。

１系统硬件架构

计算机系统的性能取决于其软硬件的配置。在对系统进行有针对性的优化前，必须了解其软硬件组成。１．１硬件配置

目前大型并行计算机系统种类很多，许多高性能并行机如ＩＢＭ“蓝色基因”计算机、曙光５０００Ａ等具有极

收稿日期：２００８—０９—２８

基金项目：国家重大安全基础研究资助项目（９７３—６１３３８）

低成本集群服务器平台，是专门为特殊应用行业和高密度计算机环境设计的，它与其他商业集群服务器（如机柜式服务器）相比，具有成本低，占地小，升级简单等优势，是目前搭建集群的发展趋势。在２００６年底发布的全球高性能计算机（ＨＰＣ）ＴＯＰ５００排名中，就有７０套是ＩＢＭＢｌａｄｅＣｅｎｔｅｒ刀片式服务器，而在我国ＨＰＣ的ＴＯＰｌ００的前１０名中就有６台是刀片式服务器ｎ］。权威人士预测到２００９年底，刀片服务器将占据服务器市场份额的１／４以上。

９１

万方数据

这里的高性能集群系统是ＩＢＭＢｌａｄｅＣｅｎｔｅｒ刀片服务器系列，其具体配置如表１所示。

裹１集群系统硬件配置衰

萎壹ｃＰｕ型号第萎

内存硬盘

莱囊

薹羹

４

ＧＢ

两个ｏｐｅｎ结点

２．０２７ＧｏＨｚ２个

‘，Ｉ。ＰＣ３２００２．５”ＳＣＳＩ

２４个

．

／１ＭＬ２Ｉ）ＤＲ

７３．４

ＧＢ硬盘

处理器

ＡＭＤＯｐｔｅｒｏｎ

霪量２．６结点

．

ＧＨ２２５／；ＭＢ１

Ｌ２

２本１

‘’。

Ｋ４。Ｇ。Ｂ。。ｕ两辫４＂－ＨＳ。。个处理器ＤＤＲ７３．４‘弑Ｉ硬盘

ＡＭＤＯｐｔｅｒｏｎ

霪董２．６４ＧＢ

２．１ＴＢ的

结点

．

ＧＨ２ｚ／５２１ＭＢ

Ｌ２

２个

‘，Ｉ。

ＰＣ３２００ＤＳ４００磁盘

１个

ＤＤＲ

阵列

该系统总共包含计算单元９６个，系统总体浮点运算的理论峰值达到４００Ｇｆｌｏｐｓ，系统总体内存达到

１０４

ＧＢ，存储器总容量接近６

ＴＢ。

１．２软件平台

该系统中的各个节点都采用Ｌｉｎｕｘ

Ｒｅｄ

Ｈａｔ

４（ＡＳ）Ｕｐｄａｔｅ

５作为操作系统，使用ＰＢＳＰｒｏ作为进程

调度管理软件，在管理节点和存储节点上还安装了管理软件ＸＣａｔ。

为了方便进行科学计算与配合其他科学计算软件的运行，系统中配置安装ＧＯＴＯ数学库。为了提高系统的并行编译器的性能，该集群系统安装ＰｏｒｔｌａｎｄＧｒｏｕｐ开发的高性能、并行Ｆｏｒｔｒａｎ，Ｃ和Ｃ＋＋编译器ＰＧＩ。此外还配置安装了目前并行计算领域常用的并行环境ＯｐｅｎＭＰ（ＰＧｌ支持）和ＭＰＩ。２并行计算性能评判准则

要测试集群的性能，就需要评判标准。通用方法用于记录不同环境下机器运行程序的响应时间口，计算程序运行的加速比Ｓ，和并行效率Ｅ，。给出测试结果。

２．１

响应时间

时间是计算机性能测量的主要标准。响应时间也称周转时间，是计算机完成某一任务所花的全部时间，其公式如下：

口一ｔ。＋ｔｌ／（）

（１）

式中：ｔ。是一 …… 此处隐藏：5814字，全部文档内容请下载后查看。喜欢就下载吧 ……