如何最快搭建LINUX服务器集群


如何最快搭建LINUX服务器集群 1.什么是服务器集群 随着Internet的爆炸性增长,Internet与人的生活越来越息息相关,通过Internet上 进行交易也就越来越受关注。近几年,电子商务的年增长均超过100%。服务器的 工作量也迅速增长,所以服务器(特别是一个受人欢迎的WEB服务器)很容易在访问 高峰时期过载。 而另一方面,计算机从1946年单纯的科学计算任务到现在大量纷繁复杂的信息处 理,工作量越来越大,需要越来越快的处理能力。所以计算机界就不得不不断研究 更快的处理器,存储器,以适应这一需求。 然而,科学家们意识到,单块处理器的速度发展空间是有限的,为什么不能让计算 机象人一样协同工作,“群策群力”地将工作完成好呢!这时,就掀起了“并行计算”的 研究。 举个例子来说,我们架设了一台WWW服务器,上面构建了一个电子商务网站,然 而随着时间的推移,名声越来越大,这时点击率也就越来越高,WWW服务器的负 载也就越来越高。这种情况下,我们就必须提升WWW服务器的能力,以满足以益 增长的服务请求。这时,我们就面临两种选择: 1)升级WWW服务器,采用更快的CPU,增加更多的内存,使其更具有POWER;但日 益增长的服务请求又会使服务器再次过载,需要再次升级,这样就陷入了升级的怪 圈。还有,升级时还得考虑到服务如何接续,能否中止! 2)增加WWW服务器,让多台服务器来完成相同的服务。 这种方法就是服务器集群,通过并行技术来大大提升系统性能。也就是这一章的主 要内容,这种方法具有很好的扩展性,而且可以最大限度地利用已有投资。 1.1.集群的概念 集群,是一组独立的计算机系统构成一个松耦合的多处理器系统,它们之间通过网 络实现进程间的通信。应用程序可以通过网络共享内存进行消息传送,实现分布式 计算机。 近几年来,微处理器、内存、总线技术、网络技术有了非常大的进步,软件的并行 技术也有了非常大的进步,这使得让一组廉价的个人电脑与工作站协同工作成为可 能,甚至可以与拥有强大的芯片处理能力的超级计算机竞争。 P 1 / 6 如何最快搭建LINUX服务器集群 比如,16个普通微处理器组成的集群系统可以达到亿次级浮点计算机能力,而且 总的成本小于40万元。 不幸的是,建造一个集群并不是一件简单的事件。集群的组成部分必须根据要运行 的主要应用进行调整,以使之运行在最佳状态。这此因素带来的结果就是,建造集 群系统不是只有一个标准的方案,在本章中,我们就会看到许多种建造方案。 集群技术是计算机系统结构的前沿领域,笔者也仅是略有了解,希望本文能起到抛 砖引玉之用。 1.2.并行技术 这是一个非常简单的建造四节点的小集群系统的例子,它是构建在Linux操作系统 上,通过MPICH软件包实现的,希望这个小例子能让大家对集群系统的构建有一 个最基本的了解。 2.使用MPICH构建一个四节点的集群系统 这是一个非常简单的建造四节点的小集群系统的例子,它是构建在Linux操作系统 上,通过MPICH软件包实现的,希望这个小例子能让大家对集群系统的构建有一 个最基本的了解。 2.1 所需设备 1).4台采用Pentium II处理器的PC机,每台配 置64M内存,2GB以上的硬盘,和EIDE接口的光盘驱动器。 2).5块100M快速以太网卡,如SMC 9332 Eth[Munched]ower 10/100(其中四块卡 用于连接集群中的结点,另外一块用于将集群中的其中的一个节点与其它网络连接 。) 3).5根足够连接集群系统中每个节点的,使用5类非屏蔽双绞线制作的RJ45缆线 4).1个快速以太网(100BASE-Tx)的集线器或交换机 5).1张Linux安装盘 2.2 构建说明 P 2 / 6 如何最快搭建LINUX服务器集群 对计算机硬件不熟的人,实施以下这些构建步骤会感到吃力。如果是这样,请找一 些有经验的专业人士寻求帮助。 1. 准备好要使用的采用Pentium II处理器的PC机。确信所有的PC机都还没有接上 电源,打开PC机的机箱,在准备与网络上的其它设备连接的PC机上安装上两块快 速以太网卡,在其它的 PC机上安装上一块快速以太网卡。当然别忘了要加上附加 的内存。确定完成后盖上机箱,接上电源。 2. 使用4根RJ45线缆将四台PC机连到快速以太网的集线器或交换机上。使用剩下的 1根RJ45线将额外的以太网卡(用于与其它网络相连的那块,这样机构就可以用上集 群)连接到机构的局域网上(假定你的机构局域网也是快速以太网),然后打开电源。 3. 使用LINUX安装盘在每一台PC机上安装。请确信在LINUX系统中安装了C编译器 和C的LIB库。当你配置TCP/IP时,建议你为四台PC分别指定为192.168.1.1、192.1 68.1.2、192.168.1.3、192.168.1.4。第一台PC为你的服务器节点(拥有两块网卡的 那台)。在这个服务器节点上的那块与机构局域网相连的网卡,你应该为其指定一 个与机构局域网吻合的IP地址。 4.当所有PC都装好Linux系统后,编辑每台机器的/etc/hosts文件,让其包含以下几 行: 分页标题 192.168.1.1 node1 server 192.168.1.2 node2 192.168.1.3 node3 192.168.1.4 node4 编辑每台机器的/etc/hosts.equiv文件,使其包含以下几行: node1 node2 node3 P 3 / 6 如何最快搭建LINUX服务器集群 node4 $p# 以下的这些配置是为了让其能使用MPICH’s p4策略去执行分布式的并行处理应用。 1. 在服务器节点 ,建一个/mirror目录,并将其配置成为NFS服务器,并在/etc/exports文件中增加 一行: /mirror node1(rw) node2(rw) node3(rw) node4(rw) 2. 在其他节点上,也建一个/mirror目录,关在/etc/fstab文件中增加一行: server:/mirror /mirror nfs rw,bg,soft 0 0 3. /mirror这个目录从服务器上输出,装载在各个客户端,以便在各个节点间进行 软件任务的分发。 4. 在服务器节点上,安装MPICH。MPICH的文档可在 5.任何一个集群用户(你必须在每一个节点新建一个相同的用户),必须在/mirror目 录下建一个属于它的子目录,如 /mirror/username,用来存放MPI程序和共享数 据文件。这种情况,用户仅仅需要在服务器节点上编译MPI程序,然后将编译后的 程序拷贝到在/mirror目录下属于它的的子目录中,然后从他在/mirror目录下属于 它的的子目录下使用p4 MPI策略运行MPI程序。 2.3 MPICH安装指南 1.如果你有gunzip,就d下载mpich.tar.gz,要不然就下载mpich.tar.Z。你可以到ht tp://www.mcs.anl.gov/mpi/mpich/downloa下载,也可以使用匿名FTP到ftp.mcs.a nl.gov的pub/mpi目录拿。(如果你觉得这个东西太大,你可以到pub/mpi/mpisplit 中取分隔成块的几个小包,然后用cat命令将它们合并) 2.解压:gunzip ;c mpich.tar.gz tar xovf-(或zcat mpich.tar.Z tar xovf-) 3.进入mpich目录 P 4 / 6 如何最快搭建LINUX服务器集群 4.执行:./configure为MPICH选择一套适合你的实际软硬件环境的参数组,如果你 对这些默认选择的参数不满意,可以自己进行配置(具体参见MPICH的配置文档)。 最好选择一个指定的目录来安装和配置MPICH,例如: ./configure -prefix=/usr/local/mpich-1.2.0 5.执行:make >&make.log 这会花一段较长的时间,不同的硬件环境花的时间也 就不同,可能从10分钟到1个小时,甚至更多。 6.(可选)在工作站网络,或是一台单独的工作站,编辑mpich/util/machines/machi nes.xxx(xxx是MPICH对你机器体系结构取的名称,你能很容易的认出来)以反映你 工作站的当地主机名。你完全可以跳过这一步。在集群中,这一步不需要。 7.(可选)编译、运行一个简单的测试程序: cd examples/basic make cpi ln ;s ../../bin/mpirun mpirun ./mpirun ;np 4 cpi 此时,你就在你的系统上运行了一个MPI程序。 8.(可选)构建MPICH其余的环境,为ch_p4策略使 用安全的服务会使得任何启动速度加快,你可以执行以下命令构建: make serv_p4 (serv_p4是一个较新的P4安全服务的版本,它包含在MPICH 1.2.0版中),nupshot程序是upshot程序的一个更快版本,但他需要tk 3.6版的源代码。如果你有这个包,你就用以下命令可以构建它: make nupshot 9.(可选)如果你想将MPICH安装到一个公用的地方让其它人使用它,你可以执行: P 5 / 6 如何最快搭建LINUX服务器集群 make install 或 bin/mpiinstall 你可以使用-prefix选项指定MPICH安装目录。安装后将生成include、lib、bin、sb in、www和man目录以及一个小小的示例目录, (可选)到此你可以通告所有的用户如何编译、执行一个MPI程序。 Powered by TCPDF (www.tcpdf.org) P 6 / 6
还剩5页未读

继续阅读

下载pdf到电脑,查找使用更方便

pdf的实际排版效果,会与网站的显示效果略有不同!!

需要 8 金币 [ 分享pdf获得金币 ] 0 人已下载

下载pdf

pdf贡献者

墨痕YHZ

贡献于2014-11-29

下载需要 8 金币 [金币充值 ]
亲,您也可以通过 分享原创pdf 来获得金币奖励!
下载pdf