集群NAS技术架构


集群 NAS 技术架构 文章地址:http://blog.csdn.net/liuaigui/article/details/6422700 1 什么是集群 NAS? 集群(Cluster)是由多个节点构成的一种松散耦合的计算节点集合,协同起 来 对外提供服务。集群主要分为高性能集群 HPC(High Performance Cluster)、高 可用集群 HAC(High Availablity Cluster)和负载均衡集群 LBC(Load Balancing Cluster)。集群 NAS 是指协同多个节点(即通常所称的 NAS 机头)提供高性能、 高可用或高负载均衡的 NAS(NFS/CIFS)服务。 非结构化数据目前呈现快速增长趋势,IDC 研究报告分析指出,到 2012 年非结 构化数据将占到数据存储总量的 80%以上。集群 NAS 是一种横向扩展 (Scale-out) 存储架构,具有容量和性能线性扩展的优势,已经得到全球市场的认可。从 EMC 对 ISILON、HP 对 IBRIX、DELL 对 Exanet 等收购事件,以及 IBM 推出 SONAS、NetApp 发布 Data ONTAP 8,都可以看出集群 NAS 已经成为主流存储技术之一。在国内, 我们也看到 UIT UFS、龙存 LoongStore、九州初志 CZSS、美地森 YFS 等集群 NAS 解决方案。集群 NAS 的未来潜在市场巨大,在高性能计算 HPC、广电 IPTV、视 频监控、云存储等行业领域将逐步得到广泛应用。 2 集群 NAS 的三种主流技术架构 从整体架构来看,集群 NAS 由存储子系统、NAS 集群(机头)、客户 端和网络组 成。存储子系统可以采用存储区域网络 SAN、直接连接存储 DAS 或者面向对象存 储设备 OSD 的存储架构,SAN 和 DAS 架构方式需要通过存储集 群来管理后端存 储介质,并以 SAN 文件系统或集群文件系统的方式为 NAS 集群提供标准文件访问 接口。在基于 OSD 架构中,NAS 集群管理元数据,客户端直 接与 OSD 设备直接 交互进行数据访问,这就是并行 NAS,即 pNFS/NFSv4.1。NAS 集群是 NFS/CIS 网 关,为客户端提供标准文件级的 NAS 服务。对于 SAN 和 DAS 架构,NAS 集群同时 承担元数据和 I/O 数据访问功能,而 OSD 架构方式仅需要承担元数据访问功能。 根据所采用的后端存储子系统 的不同,可以把集群 NAS 分为三种技术架构,即 SAN 共享存储架构、集群文件系统架构和 pNFS/NFSv4.1 架构。 (1)SAN 共享存储架构 这种架构(如图 1 所示)后端存储采用 SAN,所有 NAS 集群节点通过光纤连接 到 SAN,共享所有的存储设备,通常采用 SAN 并行文件系统管理并输出 POSIX 接口 到NAS 集群。SAN并行文件系统通常需要元数据控制服务器,可以是 专用的 MDC, 也可以采用完全分布的方式分布到 SAN 客户端上。NAS 集群上安装 SAN 文件系统 客户端即可实现对 SAN 共享存储的并发访问,然后运行 NFS/CIFS 服务为客户端 提供服务。这里前端网络采用以太网,后面存储连接则采用 SAN 网络。 图 1 SAN 共享存储集群 NAS 架构 由于采用了高性能的 SAN 存储网络,这种集群 NAS 架构可以提供稳定的高带宽和 IOPS 性能,而且可以通过增加存储盘阵或 NAS 集群节点实现存储容 量和性能单 独扩展。客户端可以直接连接具体的 NAS 集群节点,并采用集群管理软件来实现 高可用性;也可以采用 DNS 或 LVS 实现负载均衡和高可用性,客户 端使用虚拟 IP 进行连接。SAN 存储网络和并行文件系统成本都比较高,因此这种集群 NAS 架构的缺点就是成本较高,同时也继承了 SAN 存储架构的缺点,比 如部署管理 复杂、扩展规模有限等。采用这种架构的集群 NAS 典型案例是 IBM SONAS(图 2) 和 Symantec FileStore。 图 2 SONAS (2)集群文件系统架构 这种架构(如图 3 所示)后端存储采用 DAS,每个存储服务器直连各自的存储系 统, 通常为一组 SATA 磁盘,然后由集群文件系统统一管理物理分布的存储空间而形 成一个单一命名空间的文件系统。实际上,集群文件系统是将 RAID、 Volume、 File System 的功能三者合一了。目前的主流集群文件系统一般都需要专用元数 据服务或者分布式的元数据服务集群,提供元数据控制和统一名字空间,当然也 有例 外,如无元数据服务架构的 GlusterFS。NAS 集群上安装集群文件系统客户 端,实现对全局存储空间的访问,并运行 NFS/CIFS 服务对外提供 NAS 服务。NAS 集群通常与元数据服务集群或者存储节点集群运行在相同的物理节点上,从而减 少物理节点部署的规模,当然会对性能产生一定的影响。与 SAN 架构不同,集 群文件系统可能会与 NAS 服务共享 TCP/IP 网络,相互之间产生性能影响,导致 I/O 性能的抖动。诸如 ISILON 等集群文件系统存 储节点之间采用 InfiniBand 网络互联,可以消除这种影响,保持性能的稳定性。 图 3 集群文件系统集群 NAS 架构 在这种架构下,集群 NAS 的扩展通过增加存储节点来实现,往往同时扩展存储空 间和性能,很多系统可以达到接近线性地扩展。客户端访问集群 NAS 的方 式与 第一种架构方式相同,负载均衡和可用性也可以采用类似的方式。由于服务器和 存储介质都可以采用通用标准的廉价设备,在成本上有很大优势,规模可以很 大。 然而,这类设备是非常容易发生故障的,服务器或者磁盘的损坏都会导致部分数 据不可用,需要采用 HA 机制保证服务器的可用性,采用复制保证数据的可用 性, 这往往会降低系统性能和存储利用率。另外,由于服务器节点比较多,这种架构 不太适合产品化,可能更加适合于存储解决方案。用这种架构的集群 NAS 典型 案 例包括EMC ISILON、龙存LoongStore、九州初志CZSS、美地森YFS和GlusterFS(图 4)等。 图 4 GluterFS 架构 (3)pNFS/NFSv4.1 架构 这种架构(如图 5 所示)实际是并行 NAS,即 pNFS/NFSv4.1,RFC 5661 标准已于 2010.01 获得批准通过。它的后端存储采用面对对象存储设备 OSD,支持 FC/NFS/OSD 多种数据访问协议,客户端读写数据时直 接与 OSD 设备相互,而不 像上述两种架构需要通过 NAS 集群来进行数据中转。这里的 NAS 集群仅仅作为元 数据服务,I/O 数据则由 OSD 处理,实现了元数 据与数据的分离。这种架构更 像原生的并行文件系统,不仅系统架构上更加简单,而且性能上得到了极大提升, 扩展性非常好。 图 5 pNFS/NFSv4.1 集群 NAS 架构 显而易见,这种架构与上述两种有着本质的区别,pNFS 采用元数据集群解决了 传统 NAS 的单点故障和性能瓶颈问题,元数据与数据的分离则解决了性能 和扩 展性问题。这才是真正的并行 NAS,pNFS 才是集群 NAS 的真正未来。然而,毕竟 pNFS 标准获得批准才一年,目前还没有成熟的产品实现,OSD 存 储设备发展多 年也没有得到市场广泛认可和普及。Panasas 公司的 PanFS(图 6)应该是最接近 于这种集群 NAS 架构,当然 Panasas 也是 pNFS 标准的主要制定者之一。目前很 多存储公司都在研发 pNFS 产品,比如 BlueArc,笔者预测到 2012 年就会有产品 陆续推出。 图 6 PanFS 架构 3 开源解决方案 上述提到的集群 NAS 存储产品或者解决方案,大多都是商业实现,而且成本比较 昂贵。可 能有些用户想利用开源软件来实现集群 NAS,有没有这样的开源解决 方案呢?集群 NAS 的核心是底层的并行文件系统、集群文件系统或 pNFS 协议, 下面就简 单介绍开源在集群 NAS 方面的支持和实现。 (1)SAN 共享存储架构:Redhat GFS 是开源 SAN 共享文件系统,它也支持 DAS 连 接方式,然后整合 NFS/Samba 服务即可实现集群 NAS。 (2)集群文件系统架构:Lustre, Gluster, PVFS2, Ceph,这些都是优秀的集群 文件系统,Gluster 本身就是一个完整的集群 NAS 系统。类似 Gluster 实现,集 群文件系统通过 NFS/Samba 网关提供 NAS 服务,实现集群 NAS。 (3)pNFS/NFSv4.1架构:Linux 内核当前已经集成了 pNFS源码,但处于实验阶段。 另外开源 OSD 实现很少,GFS2 可以支持 pNFS。想尝新的用户可以一试,实际应 用还是要谨慎。
还剩5页未读

继续阅读

下载pdf到电脑,查找使用更方便

pdf的实际排版效果,会与网站的显示效果略有不同!!

需要 8 金币 [ 分享pdf获得金币 ] 0 人已下载

下载pdf

pdf贡献者

mx7y

贡献于2015-01-20

下载需要 8 金币 [金币充值 ]
亲,您也可以通过 分享原创pdf 来获得金币奖励!
下载pdf