isilon存储性能测试报告


- 1 - isilon 存储测试 目 录 二、测试目的 ................................................................................................................................ - 3 - 三、测试环境 ................................................................................................................................ - 4 - 3.1、存储系统环境 ............................................................................................................. - 4 - 3.2、客户端.......................................................................................................................... - 4 - 3.3、测试软件 ..................................................................................................................... - 4 - 四、测试步骤 ................................................................................................................................ - 5 - 4.1、客户端与存储系统的连接 ......................................................................................... - 5 - 4.2、安装测试软件 ............................................................................................................. - 5 - 4.3、测试用例 ..................................................................................................................... - 5 - Test 1............................................................................................................................ - 5 - Test 2............................................................................................................................ - 5 - Test 3............................................................................................................................ - 5 - Test 4............................................................................................................................ - 5 - 五、测试结果 ................................................................................................................................ - 6 - 5.1、IOR 测试结果 .............................................................................................................. - 6 - 5.2、HPIO 测试结果 ............................................................................................................ - 6 - 5.3、MPI_IO_TEST 测试结果 .............................................................................................. - 7 - 5.4、Mdtest 测试结果 ........................................................................................................ - 8 - 六、总结分析 .............................................................................................................................. - 12 - - 2 - 一、测试项目 此次测试的项目为测试 isilon 存储系统的稳定性和 IO 性能。 - 3 - 二、测试目的 此次测试的目的为:测试在不同数量的客户端连接到 isilon 存储系统,读、写不同大 小的数据时,存储系统表现的性能与瓶颈,包括以下几点: 1、 IO 吞吐量 2、 元数据操作 3、 顺序读写 4、 大数据块读写 通过这些测试,将会看到存储系统在实际应用中表现的性能与瓶颈,以便在规划存储使 用的过程中提供有力参考,提供存储系统与客户端(节点)之间最有效的配比。(最优的性 能与最佳的数量配比) - 4 - 三、测试环境 3.1、存储系统环境 群集节点:5 台 36000X 的 isilon 节点; 群集名称:ifshk5。 操作系统:Isilon OneFS v5.5.7.9 CPU:Intel Quad-Core,L5410,2.33GHz MEM: 16G 内部网络连接:10GB infiniband 交换机 外部网络连接:10GB 光纤网络 外部 IP:10.236.4.71 10.236.4.72 10.236.4.73 10.236.4.74 10.236.4.75 3.2、客户端 刀片服务器:HP ProLiant BL460c G7 操作系统:CentOS release 5.5 (Final) CPU:12 Intel(R) Xeon(R) CPU X5650 @ 2.67GHz MEM:32G 网络连接:千兆网络 3.3、测试软件 1、 IOR、HPIO、mpi_io_test 2、 Mdtest - 5 - 四、测试步骤 4.1、客户端与存储系统的连接 客户端通过千兆网络 nfs mount 到存储系统进行连接。 4.2、安装测试软件 注意 MPI 并行环境的配置和软件对 MPI 的调用 4.3、测试用例 Test 1 使用 IOR,依次增加 client 节点数量。分别读写 32GB 数据文件测试 在 client 使用 IOR 对存储集群进行顺序读写操作: mpirun -np 64 -machinefile /ifshk5/testio/hosts1 /mnt/linhui/IOR/src/C/IOR -a POSIX -b 1G -t 128k -o /mnt/linhui/IOR/src/C/iotest -e -g -s 32 -i 1 -F -vv | tee /ifshk1/pub/linhui/iotest/IOR-62.txt Test 2 使用 HPIO 软件,依次增加 client 节点数量。进行数据的顺序读写和随机读写测试 在 client 使用 HPIO 对存储集群进行读写操作: mpirun -np 62 -machinefile /ifshk5/testio/hosts1 /mnt/linhui/hpio/hpio -n 1111 -m 11 -b 111 -f 1 -O 11 -d /mnt/linhui/hpio/ | tee /ifshk1/pub/linhui/iotest/ hpio-62.txt Test 3 使用 mpi_io_test 软件,依次增加 client 节点数量。分别进行 32GB 数据文件的顺序读 写和随机读写测试 在 client 使用 mpi_io_test 命令对存储集群进行顺序读写操作: mpirun -np 62 -machinefile /ifshk5/testio/hosts1 /mnt/linhui/mpi_io_test/test_fs/src/fs_test.x -type 2 –strided 1 -size 1073741824 -nobj 32 -target /mnt/linhui/mpi_io_test/test_file_t2 -touch 2 –check 2 -sync -collective –deletefile | tee /ifshk1/pub/linhui/iotest/ mpi_io_test-62-32G.txt Test 4 使用 Mdtest 软件,依次增加 client 节点数量。分别进行元数据操作测试 每项任务创建一个目录树。目录中,每个树有一个深度为3和分支因素5。10个文件/ 文 件夹操作在每个树的每个节点。 mpirun -np 62 -machinefile /ifshk5/testio/hosts1 /mnt/linhui/mdtest/mdtest -I 10 -z 5 -b 3 -L -u -d /mnt/linhui/mdtest/ - 6 - 五、测试结果 5.1、IOR测试结果 以下为使用IOR,依次增加client节点数量。分别顺序读写32GB数据文件测试数据, 在52个节点并发进行测试的时候得到读写的峰值,分别为写操作896.75 MiB/sec、读操 作1019.7 MiB/sec。随后在增加client节点的情况下性能平缓下降。 以下为测试详细数据: client 1 2 4 8 16 24 32 40 Max Write(MiB/sec) 62.49 116.45 233.05 410.52 661.62 763.39 837.7 857.1 Max Read(MiB/sec) 56.5 114.07 221.24 441.74 761.9 843.35 949.2 959.7 client 48 50 52 53 56 57 64 Max Write(MiB/sec) 872.42 888.48 896.75 847.84 871.76 807.35 791 Max Read(MiB/sec) 944.58 1027.5 1019.7 948.64 939.18 830.11 788 5.2、HPIO测试结果 以下为使用HPIO软件,依次增加client节点数量。进行数据的顺序读写测试结果显 示,在client节点递增的情况下读写总带宽也缓慢增加,由于节点数量的限制没有测试 到瓶颈后性能下滑。在63个节点并行进行测试的时候得到最高值,写操作为972.191 MB/s、 读操作为790.517 MB/s。 0 200 400 600 800 1000 1200 1 2 4 8 16 24 32 40 48 50 52 53 56 57 64 Max Write(MiB/sec) Max Read(MiB/sec) - 7 - 以下为测试详细数据: client 1 2 4 8 16 24 Max Write (MB/s) 98.491 184.071 387.7 674.256 724.045 762.018 Max Read (MB/s) 106.294 206.037 390.125 500.189 483.592 595.567 client 32 40 48 56 63 Max Write (MB/s) 824.954 827.139 856.519 941.751 972.191 Max Read (MB/s) 655.227 630.809 500.769 771.491 790.517 5.3、MPI_IO_TEST测试结果 使用mpi_io_test软件,依次增加client节点数量。分别进行32GB数据文件的顺序 读写测试结果显示,在38个节点并行进行测试的时候得到了读写峰值,分别为写操作 981.22 Mbytes/s、读操作878.19 Mbytes/s。随后在节点数量增加情况下的读写性能平 滑下降。 以下为测试详细数据: 0 100 200 300 400 500 600 700 800 900 1000 1 2 4 8 16 24 32 40 48 56 63 Max Write (MB/s) Max Read (MB/s) - 8 - client 1 2 4 8 16 24 32 34 Max Write(Mbytes/s) 89.83 165.46 323.63 533.02 665.31 800.78 853.95 794.89 Max Read(Mbytes/s) 52.33 103.76 200.29 389.07 652.66 862.78 738.49 701.29 client 36 38 39 40 48 56 63 Max Write(Mbytes/s) 930.63 981.22 952.49 853.71 917.08 863.46 900.60 Max Read(Mbytes/s) 836.56 878.19 846.44 747.84 861.11 747.00 770.10 5.4、Mdtest测试结果 使用Mdtest软件,依次增加client节点数量。分别进行元数据操作测试结果显示在 client递增的情况下Directory和File的操作测试数据递增,但是Tree的操作测试数据 在下降。 client 1 2 4 8 16 24 Directory creation 1541 3017 4021 7281 10891 12319 Directory stat 179452 388658 687699 1525983 2949911 4415695 Directory removal 1773 3689 3434 4248 5714 7388 File creation 1376 2828 4134 6013 9749 11416 File stat 177882 374005 229327 173529 308615 380780 File removal 939 1913 2723 3813 4864 6455 Tree creation 1114 989 737 584 446 346 Tree removal 1262 1333 585 474 309 246 0.00 100.00 200.00 300.00 400.00 500.00 600.00 700.00 800.00 900.00 1000.00 1 2 4 8 16 24 32 34 36 38 39 40 48 56 63 Max Write(Mbytes/s) Max Read(Mbytes/s) - 9 - client 32 40 48 56 64 Directory creation 14036 14106 13844 15275 15573 Directory stat 5645004 7029452 7075877 9960006 11352314 Directory removal 9321 9676 9295 11551 12537 File creation 12465 12906 12524 13857 14170 File stat 387751 366872 361810 439451 427740 File removal 7309 7610 7410 8362 8672 Tree creation 281 229 219 171 156 Tree removal 188 135 151 120 103 0 2000 4000 6000 8000 10000 12000 14000 16000 1 2 4 8 16 24 32 40 48 56 64 1541 3017 4021 7281 10891 12319 14036 14106 13844 15275 15573 Directory creation 0 2000000 4000000 6000000 8000000 10000000 12000000 1 2 4 8 16 24 32 40 48 56 64 179452 388658 687699 1525983 2949911 4415695 5645004 7029452 7075877 9960006 11352314 Directory stat - 10 - 0 2000 4000 6000 8000 10000 12000 14000 1 2 4 8 16 24 32 40 48 56 64 1773 3689 3434 4248 5714 7388 9321 9676 9295 11551 12537 Directory removal 0 2000 4000 6000 8000 10000 12000 14000 16000 1 2 4 8 16 24 32 40 48 56 64 1376 2828 4134 6013 9749 11416 12465 12906 12524 13857 14170 File creation 0 50000 100000 150000 200000 250000 300000 350000 400000 450000 1 2 4 8 16 24 32 40 48 56 64 177882 374005 229327 173529 308615 380780 387751 366872 361810 439451 427740 File stat - 11 - 0 1000 2000 3000 4000 5000 6000 7000 8000 9000 1 2 4 8 16 24 32 40 48 56 64 939 1913 2723 3813 4864 6455 7309 7610 7410 8362 8672 File removal 0 200 400 600 800 1000 1200 1400 1 2 4 8 16 24 32 40 48 56 64 1262 1333 585 474 309 246 188 135 151 120 103 Tree removal - 12 - 六、总结分析 通过本次测试,可以归纳出以下几点: 一、5 台 isilon 存储集群递增 client 节点读写 32G 数据测试得到顺序写的极值为 981.22 M/s,读极值 1027.5 M/s。 二、isilon 存储集群在 client 递增的时候读写性能在到达一个峰值后会根据 client 数 量的递增性能会递减。 三、isilon 存储集群在文件系统元数据操作方面在 64 台节点情况下,随着节点数量的增 加 Directory 和 File 的操作测试数据递增,但是 Tree 的操作测试数据在下降。
还剩11页未读

继续阅读

下载pdf到电脑,查找使用更方便

pdf的实际排版效果,会与网站的显示效果略有不同!!

需要 5 金币 [ 分享pdf获得金币 ] 3 人已下载

下载pdf

pdf贡献者

wujiandeyu

贡献于2013-08-03

下载需要 5 金币 [金币充值 ]
亲,您也可以通过 分享原创pdf 来获得金币奖励!
下载pdf