OpenPower VS X86 Hadoop基准测试报告

OpenPower VS X86 Hadoop基准测试报告 版本<1.1> 修订文档历史记录 日期 版本 说明 作者 2016.04.06 1.0 创建此文档 徐亚 2016.04.11 1.1 根据各方反馈意见修订此文档 徐亚                                 目录 1.    简介    4 1.1    背景    4 1.2    目标    4 1.3    系统视图    4 2.    测试环境    4 2.1    基本硬件测试环境及系统环境    5 2.2    软件环境    5 2.3    Hadoop集群服务    5 2.4    Hadoop参数配置    6 3.    测试内容    6 3.1    测试任务及测试命令    6 3.2    测试对比项    7 3.3    监控数据采样及分析工具    7 3.4    测试人员（仅内部文档记录）    7 4.    测试数据及结果分析（详细）    7 4.1    TeraGen    7 4.2    TeraSort    7 4.2.1    运行时间对比    7 4.2.2    CPU使用率对比    8 4.2.3    其他硬件参数    9 5.    总体测试结论汇总及小结    10 6.    附录    10 1. 简介 背景 IBM近年在不断拓展其在大数据、高性能等领域应用生态建设，并与政府及相关企业达成合作，构建“中国POWER技术联盟”，建设OpenPower生态。 本次测试的主要目的是为了验证Power CPU相关服务器在Hadoop大数据环境下的基准性能。 目标 本次测试通过联合中太（OpenPower国产PowerCPU+国产服务器）、IBM（Power技术厂商）两种不同厂商的Power服务器对比公司现有生产环境下的X86架构服务器，分别进行在Hadoop标准性能测试中的测试数据，对比性能差异。 本次测试最终目标：基于两种不同CPU架构服务器搭建的Hadoop测试集群下，测试以TeraSort为基准任务的集群性能，获取相关测试数据，并结合数据对比分析给出结论； 系统视图 图1.1 系统平台组成架构 上图搭建起的测试集群为1*Master+3*Slaves的硬件组合，各节点对应开启的服务如上图所示。 2. 测试环境 基本硬件测试环境及系统环境 本次测试共有三家厂商，Power系列产品两家（IBM、无锡中太，厂商送测），X86对比服务器产品一家（浪潮，集群选测）。 1 服务器基本配置 配置 IBM Power S822L X86 Compare 中太C210 机器数量 4 4 4 机器型号 IBM Power S822L Inspur NF5280M4 RedPOWER C210 CPU型号 POWER8E (raw) Intel(R) Xeon(R) CPU E5-2650 v3 POWER8 (raw) 物理CPU个数 2 2 2 物理CPU核数 10 10 8 SMT/Hyperthread 8 2 8 CPU频率 3.69 GHz 2.30GHz 3.86GHz 内存 128GB/256GB(optimize) 128GB 512GB 内存类型 DDR3 DDR4 DDR3 内存容量(单根) 16GB 16GB 16GB 内存频率 1600MHz 2133MHz 1600MHz 本地存储 700 GB SSD for System 10 x 1.2 TB(2.5” 10K) HDD for HDFS and MapReduce 600GB HDD for System 12 x 4 TB HDD for HDFS and MapReduce 2 x500GB(2.5” SATA ) HDD for System 8 x 2TB(3.5” SATA) HDD for HDFSand MapReduce 网络 Public 1Gbps, Private 10Gbps Public 1Gbps, Private 10Gbps Public 1Gbps, Private 10Gbps 操作系统 CentOS Linux release 7.2.1511 (AltArch) CentOS Linux release 7.2.1511 (Core) CentOS Linux release 7.2.1511 (AltArch) 内核版本 3.10.0-327.el7.ppc64le 3.10.0-327.el7.x86_64 3.10.0-327.el7.ppc64le         以上HDD硬盘未注明的均为SAS盘，转速未注明的均为7.2K。 软件环境 表2 软件环境 JavaVersion HadoopVersion jdk1.7.0_55 hadoop-2.6.0     注：Power与X86由于架构不同,其对应的$HADOOP-VERSION/lib/native下*.so需要分别编译，不可互用。 Hadoop集群服务 表3 测试集群各节点开启服务项 Service Master Slave1 Slave2 Slave3 NameNode √ × × × JobhistoryServer √ × × × ResourceManager √ × × × NodeManager × √ √ √ DataNode × √ √ √           Hadoop参数配置 Hadoop主要配置参数包括core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml。由于测试机器内存、磁盘等差异，根据优化建议，各测试机器对相关参数进行了调整，其他参数基本一致。 以下含各组测试中的文件。 表4 Hadoop配置参数 配置项 IBM Power S822L X86 Compare 中太C210 core-site hdfs-site mapred-site yarn-site         3. 测试内容 测试任务及测试命令 本次测试为基准测试，测试任务选取Hadoop基准测试中较为常用的TeraSort进行(大数据分布式排序测试。数据由TeraGen产生。其各阶段对CPU、网络、磁盘都有不同的需求，较为符合基准测试的需求；同时生产环境也存在相关类似的任务，可以在不进行生产环境任务测试前，对基本性能进行初步评估)。根据实际调优结果，各服务器集群reduce有所差异，分别如下表所示： 表5测试任务及命令 测试分类 IBM Power S822L X86 Compare 中太C210 测试数据大小 DataSize 1TB/ BlockSize 512MB TeraGen time hadoop jar /opt/hadoop-2.6.0-cdh5.6.0/share/hadoop/mapreduce2/hadoop-mapreduce-examples-2.6.0-cdh5.6.0.jar teragen -Dmapreduce.job.maps=160 10995116277 /terasort/1T-input TeraSort hadoop jar /opt/hadoop/share/hadoop/mapreduce2/hadoop-mapreduce-examples-2.6.0-cdh5.6.0.jar terasort -Dmapreduce.job.reduces=450 /terasort/1T-input /tersort/1T-output hadoop jar /opt/hadoop-2.6.0-cdh5.6.0/share/hadoop/mapreduce2/hadoop-mapreduce-examples-2.6.0-cdh5.6.0.jar terasort -Dmapreduce.job.reduces=179 /terasort/1T-input /tersort/1T-output hadoop jar /opt/hadoop/share/hadoop/mapreduce2/hadoop-mapreduce-examples-2.6.0-cdh5.6.0.jar terasort -Dmapreduce.job.reduces=330/terasort/1T-input /tersort/1T-output         测试对比项 ● TeraGen ? Job运行时间对比 ● TeraSort ? Job运行时间对比 ? Job运行各项硬件参数均值数据对比 ? Map阶段CPU数据对比 ? Reduce阶段CPU数据对比 监控数据采样及分析工具 本次测试中对各项性能指标监控使用nmon；数据分析工具使用nmon对应的nmon analyser v34a.xls 进行自动化分析。 任务运行信息通过日志记录并收集。 4. 测试数据及结果分析（详细） 注：在阅读以下表格数据前，请详细阅读附录表格对参数项的解释！ TeraGen 对比1TB数据TeraGen生成所需时间，该项为数据生成阶段，只运行一次。同时该任务对CPU的使用率相对较低，对磁盘IO会有更大的需求更高。 表6 TeraGen运行时间对比 配置机型 X86 Compare (128GB) IBM Power S822L (128GB) IBM Power S822L (256GB) 中太C210 (512GB) 运行时间 15m40s 12m15s 13m18s / 相对提升率(X86基准) / 21.81% 15.11% /           针对数据生成的时间单一对比，可以看出： ①PowerS822L下，TeraGen数据生成的时间要快于X86； ②不改变生成数据的任务数相同的情况下，通过加倍内存，并不会带来速度的提升(S822L[128GB] VS S822L[256GB])。 TeraSort 运行时间对比 表7 TeraSort运行时间记录表 配置机型 X86 Compare (128GB) IBM Power S822L (128GB) IBM Power S822L (256GB) 中太C210 (512GB) 1 30m34s 30m16s 27m6s 37m58s 2 32m31s 26m33s 3 30m16s 26m51s 运行时间 31m7s 30m16s 26m50s 37m58s 平均相对提升率(X86基准) / 2.73% 13.77% -22.01% 附最快执行任务日志           针对HadoopTeraSort任务的运行时间对比，我们至少可以得出以下几点： ①X86(128GB)与Power S822L (128GB)运行耗时基本接近（2.73%），最快运行时间一致。 ②PowerS822L(128GB) VS PowerS822L(256GB)，通过观察，运行时间上，256GB相比128GB 提升11.34%，有所提速。分析可以看出，通过加倍内存，可以增加集群并发task数，在CPU未完全发挥出性能前，优化配置对运行速度是有提升作用的，同时也包括CPU使用率的提升(见4.2.2 CPU使用率对比)。 ③中太C210运行时间相比X86基线出现负增长，相对下降了22.01%，性能下降过大。 CPU使用率对比 注：CPU使用率为程序运行占用CPU资源，由于CPU设计从底层架构到指令集等等，存在较多差异，不同的任务实际运行使用率各有不同，这里仅针对TeraSort任务的测试结果进行记录对比。同时，以下数据中，选取Job在各集群最佳运行时间下的采样数据进行统计。 CPU综合使用均值对比 表8 TeraSortCPU总体平均使用率对比 配置机型 X86 Compare (128GB) IBM Power S822L (128GB) IBM Power S822L (256GB) 中太C210 (512GB) %user 62.13 32.94 40.94 56.65 %system 12.27 1.72 2.24 3.54 %wait 13.3 11.34 13.35 18.65 %user+%system 74.4 34.66 43.18 60.19 平均相对下降率(X86基准) / 53.41% 41.96% 19.10%           针对各机型最佳调优结果，可以看到： ①CPU使用率排名，X86 compare最高，S822L(128GB)最低。平均CPU(%user+%system)使用率排名如下，X86 Compare(128GB)>中太C210(512GB)>IBM Power S822L(256GB)>IBM Power S822L(128GB)。