基于x86集群的并行编程模型的实践

　　结构健康监测是通过对结构的物理力学性能进行无损监测，对结构的服役情况、可靠性、耐久性和承载能力进行智能评估，结构健康监测数据的规模相当大。目前已存在专门的工程数据处理软件，例如Matlab、Famos等，这些软件都是基于串行算法实现的，对于结构工程试验产生的大规模的海量数据进行处理时则往往效率低下。

　　Hadoop 技术已经在互联网领域得以广泛的应用，同时也得到研究界的普遍关注，DryadLINQ已经在微软内部得到广泛应用。网格中心从结构工程领域中海量结构健康监测数据处理的应用出发，在分析Hadoop和DryadLINQ两种并行编程框架特点的基础上，搭建了两种并行编程框架的集群系统，集群使用IBM HS21刀片服务器，操作系统使用微软的Windows HPC Server 2008 R2。在集群系统中使用两种并行编程框架对大规模结构工程试验数据进行快速傅里叶变换，以测试其性能。

　　通过测试结果分析出不同规模数据在Hadoop集群和DryadLINQ集群上的运行时间，随着数据量的加大，运行时间在增长，但时间增大的幅度在减缓。但随着数据规模的增大DryadLINQ的运行优势越明显，例如数据量为1G的运行时间为250.03秒，而3G的数据量运行时间为310.53秒，仅为1G数据量的1.25倍，所以数据量越大越适合采用DryadLINQ的并行计算方式。对于Hadoop集群也是如此，随着数据量的不断增加，虽然执行时间继续增加，但增加的幅度变小。

　　应用实践表明，无论是采用基于Hadoop系统的MapReduce并行编程还是采用基于Dryad平台的DryadLINQ并行编程，对于大规模数据在处理效率上有了很大的提高。

　　X10是IBM 研究部门与多家学术科研机构共同开发的面向现代体系结构的并行编程语言。相比传统的并行编程语言，如MPI或者OpenMP，X10有更高的编程效率，更好的语义抽象以适应不同的体系结构和不同的数据访问方式。同时，X10也能够获得很好的并行度。网格中心阶段性参与IBM中国研究院对X10与Hadoop、Twister等编程模型对比和性能分析的研究，负责实验环境的搭建。

　　在实验测试和系统性能分析时，网格中心的老师和研究生与IBM研究人员一起讨论实验结果，分析出现问题的原因，提出建议和想法。

　　(作者单位为北京工业大学网格中心)