基于统一交换架构的新一代数据中心解决方案


基于统一交换架构的 新一代数据中心解决方案 Copyright© 2009 杭州华三通信技术有限公司 保留一切权利 免责声明:虽然 H3C 试图在本资料中提供准确的信息,但不保证本资料的内容不含有技术性误差或印刷性错误,为此 H3C 对本资料中的准确性不承担任何责任。H3C 保留在没有任何通知或提示的情况下对本资料的内容进行修改的权利。 CN-082730-20101106-BR-SX-V2.0 数据中心是数据大集中而形成的集成 IT 应用环 境,是各种业务的提供中心,是数据处理、数据存储 和数据交换的中心。近年来,数据中心建设已成为全 球各行业的 IT 建设重点,国内数据中心建设的投资 年增长率更是超过 20%。金融、制造业、政府、能源、 交通、教育、互联网和运营商等各个行业正在规划、 建设和改造各自的数据中心。随着企业信息化的深入 和新技术的广泛使用,传统数据中心已经无法满足后 数据中心时代高效、敏捷、易维护的需求。 H3C 基于数据通信领域的长期技术积累,推出 了新一代数据中心解决方案,涵盖网络、安全、管理 三大类产品,目标是在以太网和 IP 技术的基础上, 实现数据中心基础网络的统一架构,安全策略的统一 部署和数据中心资源的统一管理,以帮助用户简化传 统数据中心的基础架构、加固核心数据的保护、优化 数据中心的应用性能,为用户提供既可靠安全又高效 敏捷的基于统一交换架构的新一代数据中心。 前言 新一代数据中心 前言之 园区网 广域网 SAN A DC Core 部署技术: CLOS Switch IRF2 100GE DC Agg 部署技术: IRF2 FW IPS LB DC Acc(vACC) 部署技术: IRF2 FW IPS VEPA FCoE FC Switch FC Switch FC Storage FC Storage Access Switch Access Switch Access Switch Access Switch Access Switch Access Switch Aggregation Switch Core Switch L3 L2 L3/vL2 Aggregation Switch TOP Server Rack TOP Blade EOR Server Rack EOR Blade DC SAN DC Back EdgeDC FrontEdge SAN B H3C新一代数据中心解决方案 采用融合增强型以太网(CEE)和 FCoE 技术,将数据中心中基于不同协议 建设的三张异构网络——后端存储网络 (FC)、前端交换网络(以太网)和高性 能计算网络(InfiniBand)——统一在以 太网上,消除数据交换层面的障碍,并使 未来虚拟资源的迁移成为可能。 通过 H3C 的 OAA 开放应用架构,将 网络、安全和应用优化进行物理和逻辑上 的融合,使各种应用的安全、优化与业务 可以无缝的部署在数据中心之上;保证各 种新业务和应用的平滑部署和升级,满足 用户的多变需求,简化数据中心机房布线、 节省机架空间、降低能耗及维护成本,保 证数据中心的安全性和业务连续性。 采用面向服务架构(SOA)的设计理 念,将数据中心存在的资源、业务、用户、 流程进行融合统一的管理,实现一个开放 式、标准化、易扩展、可联动的数据中心 智能管理平台,为数据中心的各种关键业 务系统提供有力支撑。从而实现对数据中 心资源的全面管理、控制,有效降低数据 中心的部署和运维成本。 利用业界领先的 H3C 第二代智能弹 性架构(IRF2)技术,可以将多台设备 虚拟成逻辑上的单台设备,消除复杂的 二层协议,简化网络拓扑;并将链路的 主备模式变为效率更高的负载均衡模式, 使得网络整体利用率提升一倍,极大的 简化了数据中心的复杂度 , 满足未来计 算虚拟化对网络的苛刻要求。 虚拟化:标准化: 一体化: 智能化: 标准化 虚拟化 一体化 智能化 解决方案D CONTENTS 目录 新一代数据中心 目录之 新一代数据中心之智能化 资源管理一体化 ................................................................29 业务性能可视化 ................................................................30 运维流程规范化 ................................................................31 融合安全智能化 ................................................................32 H3C 专业的数据中心级设备介绍 .....................33 新一代数据中心解决方案典型应用 ...............................41 数据中心相关产品 ............................................................45 主要用户名单 .....................................................................47 新一代数据中心之标准化 传统数据中心的异构网络 .....................................02 标准化之统一交换架构 .........................................03 新一代数据中心虚拟化 网络虚拟化——横向整合 .....................................10 网络虚拟化——纵向分割 .....................................13 网络虚拟化——虚拟交换机 .................................16 新一代数据中心之一体化 传统数据中心的改造之苦 .....................................20 一体化之安全加固..................................................23 一体化之应用优化..................................................25 新一代数据中心 标准化之 解决方案01 新一代数据中心 标准化之 新一代数据中心 标准化之 解决方案 02 数据中心经过多年的发展和变革,已经成为企业 IT 系统的心脏,然而,随着企业信息 化发展的不断深入和信息量的爆炸式增长,数据中心正面临着前所未有的挑战。其中,传统 数据中心在不断的建设和升级过程中积累下来的繁杂、异构的网络阻碍了数据中心向高效、 敏捷的方向发展。 传统数据中心的异构网络 前端网络/ LAN InfiniBand Fiber Chanel Ethernet 异构多层 数据中心异构交换平台 ■存储资源:光纤通道 ■计算资源:InfiniBand ■交换资源:千兆以太网 存储网络 核心层 汇聚层 接入层 集群 /刀片 以上问题导致数据中心运行时,协议转换开 销大、速率不匹配、性能瓶颈明显、开发与部 署周期长、无法满足业务快速灵活部署和实 际应用的需求。 从数据中心的网络结构看,存在相对独立的三张 网:数据网(Data)、存储网(SAN)和高性能计算网 (HPC),基本现状如下: ◆ 数据中心的前端访问接口通常采用以太网进行互联而 成,构成了一张高速运转的数据网络 ◆ 数据中心的后端存储更多的是采用NAS、FC SAN等 ◆ 服务器的并行计算则大多采用Infiniband和以太网 ◆ 不同的服务器之间存在操作系统和上层软件异构、接口 与数据格式不统一 新一代数据中心 标准化之 解决方案03 在业务网络,以太网随着技术的变革一直不断向前的 发展,以满足不断变化的行业和市场的需求。自1983年以 太网开始大规模普及开始,到1995年的以太网网卡被大多 数PC所采用,再到快速以太网(100 Mbps)、千兆以太网 (1000 Mbps)以及今天的万兆以太网和即将推出的40 Gbps 和100 Gbps以太网标准,以太网经历了从终端到局域网、从 局域网到广域网、从广域网到城域网的变革,可以说以太网 正凭借着强大的生命力得到了空前的发展和壮大。 在存储领域,IP存储诞生以来快速发展,万兆存储更 将存储发展带入新纪元。IP SAN和FC SAN在数据中心存储 网络已经平分秋色。 在超级计算和高性能计算领域,2008年6月发布的世界 TOP500超级计算机排名显示,285个站点采用以太网连接, 占据57%的份额。 为了便于未来的业务整合和服务提供,简化管理,降低建设成本和运营维护成本,为了 解决传统数据中心异构网络带来的种种问题,数据中心的建设应尽量避免异构系统的存在, 应该用一个统一的标准来规划完整的数据中心网络体系。 2008年世界500强 超级计算机连接方式 以太网在业务网络 以太网在存储网络 以太网在计算网络 终端 局域网 广域网 城域网 1995年 以太网网卡被大多数PC采用 1997年 Ethernet成为局域网主流协议 1999年 广域网标准走向IP 2003年 电信级以太网技术趋于成熟 19% 其他,95 以太网,285 InfiniBand,120 57%24% 2003 iSCSI标准诞生 2004 IP SAN存储产品面市 2005 IP SAN和NAS实现一体化 2006 主流存储厂商产品均提 供对iSCSI的支持 2007 H3C万兆IP 存储发布 面向数据中心应用的融合增强 以太网标准形成 新一代数据中心 标准化之 标准化之统一交换架构 解决方案 04 Ethernet FCoE Traffic 然而,传统的以太网是一种“尽力而为”的服务模 式,当网络拥塞时有可能发生丢包,进而导致出现所丢数 据包重传或超时现象。这也就使得传统以太网无法提供像 FC一样的端到端可靠传输。为了满足存储网络的可靠传输 需求,能够通过以太网真正的实现数据中心网络的融合, 必须对现有以太网标准进行改进,需要制定一种新的方法 来使以太网具备提供无丢包服务的能力。IEEE 数据中心桥 接(Data Center Bridging)标准族提供了这一能力。随着数 据中心网络不断扩展,客户增添越来越多的服务器和交换 机,以及服务器虚拟化后虚拟机的动态迁移,会使得现有扁 平式的二层网络更加庞大,这就要求在二层实现多路径功能 来提高网络效率和可靠性,也就是说数据中心网络还必须能 够支持大型的扁平化设计。IETF组织制定的大量链路透明 互联(TRILL)标准提供了这一能力。 DCBX: 自动协商并配置链路参数 L2MP: 多路径中负载均衡 802.1Qau: DC中大流量端到端用塞管理 802.1Qaz: DC以太网中的优先级处理 不丢包的 以太网 802.1Qbb: 8条虚拟链路,流量之间互不影响 通过以上数据可以看到,以太网正以其强大的生命力逐渐成为统一数据中心网络的唯一标准 技术。以太网可以通过其性能的迅速提升,满足高性能计算对性能的需求。对于存在FC的存储网 络,以太网的性能已经具备了绝对的优势,伴随着FCoE等网络融合技术的出现,通过以太网来承 载FC数据,使IP网络和FC网络的融合成为了可能。 FCoE 技术的本质,就是将 FC 帧封装在以太网 帧中,允许 LAN 和 SAN 的业务流量在同一个以太 网中传送。 IEEE的数据中心桥接(DCB)和IETF的TRILL统称为 融合增强型以太网(CEE)。CEE标准的诞生将以太网从 “尽力而为(Best-effort)”传输模式变成更适合数据中心 环境使用的“无损网络(Lossless)”传输模式,结合FCoE 技术,彻底实现了数据中心服务器前端IP网络和服务器后端 FC网络的融合。 新一代数据中心 标准化之 解决方案05 当前的数据中心网络 Ethernet CEE and FCoE FCoE Switch Server with CNA FC FC Switch 通过FCoE进行I/O整合后 LAN SAN A SAN B LAN SAN A SAN B 可以看到,通过FCoE和CEE技术对数据中心网络架构 进行优化和融合后,服务器不再需要为LAN流量和SAN流 量安装不同的I/O适配器,而是只要安装CNA(Converged Network Adapter)即可同时支持LAN和SAN的流量。使得 FC和以太网共享一个单一的,集成的网络基础设施。使数 据中心具备了更低的总体拥有成本(TCO)和增强的业务灵 活性。 H3C新一代数据中心解决方案网络基础设施以“统一 交换架构”为基础,将传统数据中心中的计算网络、存储 网络和数据网络统一到基于100 Gbps以太网的高性能数据交 换平台,充分利用高密度的万兆以太网和融合增强型以太 网,传送数据中心内部的同步大流量、备份大流量、虚拟机 迁移大流量等等,使得数据中心内部在交换层面不再出现瓶 颈,满足新一代数据中心业务高效的需求。 Ethernet Everything Over Ethernet Everything Over IP 统一交换架构 前端网络/ LAN LAN 前端网络 HPC 集群 SAN 存储InfiniBand Fiber Chanel Ethernet 异构多层 存储网络 核心层 汇聚层 接入层 集群/刀片 新一代数据中心 标准化之 解决方案 06 H3C 基于统一交换架构的新一代数据中心,不但通过融合的手段 解决了数据、计算和存储三网割裂的技术难题,而且可以利用万兆技术, 帮助用户减少数据中心 60% 的布线,大量降低数据中心的采购和扩容 成本;整网采用简单实用的以太网技术,使得网络层次简化、消除网 络性能瓶颈、提升了业务部署的灵活性、简化了网络的维护工作量。 新一代数据中心 虚拟化之 解决方案07 新一代数据中心 虚拟化之 根据 Gartner 调查显示,2009年有 18% 的服务器工作负载是运行在虚拟化服务器上的, 这个数字到今年将达到 28%,到 2012 年将接近 50%。由于服务器虚拟化的广泛应用和明显 优势,虚拟化技术因而也迅速得到了推广,存储虚拟化、网络虚拟化⋯⋯虚拟化技术在数据 中心的应用不断深入,涉及到数据中心的每一个领域,这些都在潜移默化的影响着数据中心 的未来建设。 首先,服务器虚拟化技术已经成熟,并且在众多 行业中取得了成功应用,而服务器虚拟化技术的应用 必然伴随着虚拟机的迁移,这种迁移技术给数据中心 的网络环境带来了新的挑战和变革;同时,虚拟机的 部署和迁移,使得安全策略的部署变得复杂和无助, 这就需要一个动态的机制来对数据中心进行防护。 其次,数据中心服务器的规模不断扩大,随之而 来的就是需要增加更多的网络和安全设备,这导致数 据中心的网络规划、维护以及可靠性设计复杂度不断 提升。如何让数据中心的网络既强大又简单,就成为 了一个新课题。 再次,服务器虚拟化的部署会使数据中心增加一 个网络层次——虚拟交换层。虚拟交换层的出现将网 络与服务器的管理边界模糊化,而原有的网络系统也 无法感知虚拟服务器的存在,导致数据中心网络难以 维护。 H3C通过多年的技术积累和实践检验,为数据中 心提供了一个基于网络虚拟化技术的全新的解决方 案,有效的解决了数据中心存在的问题和将要面临的 挑战。 解决方案 08 H3C网络虚拟化技术 随着企业IT应用的展开,业务类型快速增长,运 行模式不断变化,基础网络需要不断变化、不断扩展 以适应这些变化,这给运维带来极大压力。传统的网 络规划设计依据高可靠思路,造成了冗余复杂的网状 网结构。 结构化网状网的物理拓扑在保持高可靠、故障容 错、提升性能上有着极好的优势,是通用设计规则。 这样一种依赖于纯物理冗余拓扑的架构,在实际的运 行维护中却同时也承担了极其繁冗的工作量。 新一代数据中心 虚拟化之 解决方案09 多环的二层接入、Full Mesh的路由互联、网络中各种 链路状态变化、节点运行故障都会引起预先规划配置状态 的变迁,带来运维诊断的复杂性;而应用的扩容、迁移对 网络涉及更多的改造,复杂的网络环境下甚至可能影响业 务系统的正常运行。 因此,传统网络技术在支撑业务发展的同时,对运维 人员提出的挑战是越来越严峻的。 随着上层应用不断发展,虚拟化技术、大规模集群 技术广泛应用到企业IT中,作为底层基础架构的网络,也 进入新一轮技术革新时期。网络虚拟化技术也随着数据中 心业务要求有不同的形式。多种应用承载在一张物理网络 上,通过网络虚拟化分割(称为纵向分割)功能使得不同企 业机构相互隔离,但可在同一网络上访问自身应用,从而 实现了将物理网络进行逻辑纵向分割虚拟化为多个网络; 将多个网络节点进行整合(称为横向整合),虚拟化成一台 逻辑设备,提升数据中心网络可用性、节点性能的同时将 极大简化网络架构;数据中心中存在着大量的虚拟服务 器,基于VEPA实现的虚拟以太网交换机技术的部署,将 明确界定新虚拟架构下的管理权限并深度感知虚拟服务器 的存在。 接入VLAN L2 L3 服务器网关 网络互联L3接口 ■ 汇聚层与核心全互联 ■ 汇聚交换机之间可以 只通过二层互联 ■ 生成树阻断接入交换机 上联相关链路 ■ 要求单边链路能够支撑 所有业务流 ■ 汇聚层与核心全互联 ■ 汇聚交换机之间可以只 通过二层互联 ■ 生成树与MSTP不同实例 对应,可实现一定的流量 负载分担 ■ 要求单边链路能够支撑 所有业务流 ■ 汇聚层与核心矩形 互联 ■ 汇聚交换机之间以 VLAN Trunk二层互联 ■ 同时在两汇聚交换 机之间创建一个VLAN 与用于三层连接,如上 图VLAN Red VLAN Red 数据中心是企业 IT 架构的核心领域,不论是服务器部署还是网络架构设计,都要做到 精细入微。因此,传统的数据中心网络架构由于多层结构、安全区域、安全等级、策略部署、 路由控制、VLAN 划分、二层环路、冗余设计等诸多因素,导致网络结构比较复杂,使得数 据中心基础网络的运维管理难度较高。 H3C 第二代智能弹性架构技术(IRF2,Intelligent Resilient Framework 2)以极大简化 网络逻辑架构、整合物理节点、支撑上层应用快速变化为目标,实现 IT 网络运行的简捷化, 改变了传统网络规划与设计的繁冗规则。 网络虚拟化——横向整合 CPU系统 CPU系统 CPU系统 交换芯片 交换芯片 交换芯片 交换芯片 交换芯片 交换芯片 交换芯片 交换芯片 交换芯片 交换芯片 交换芯片 交换芯片 CPU系统 CPU系统 CPU系统 交换芯片 交换芯片 交换芯片 交换芯片 交换芯片 交换芯片 交换芯片 交换芯片 交换芯片 交换芯片 交换芯片 交换芯片 N*10GE 解决方案 10 解决方案11 新一代数据中心 虚拟化之 ◆ 运营管理简化。数据中心全局网络虚拟化能够提高运营 效率,虚拟化的每一层交换机组被逻辑化为单管理点,包 括配置文件和单一网关IP地址,无需VRRP。 ◆ 整体无环设计。跨设备的链路聚合创建了简单的无环路拓 扑结构,不再依靠生成树协议(STP)。虚拟交换组内部经 由多个万兆互联,在总体设计方面提供了灵活的部署能力。 ◆ 进一步提高可靠性。虚拟化能够优化不间断通信,在 一个虚拟交换机成员发生故障时,不再需要进行L2/L3重收 使用第二代智能弹性架构虚拟化技术(IRF2),用户 可以将多台设备连接,“横向整合”起来组成一个“联合 设备”,并将这些设备看作单一设备进行管理和使用。多 个盒式设备整合类似于一台机架式设备,多台框式设备的 整合相当于增加了槽位,虚拟化整合后的设备组成了一个 逻辑单元,在网络中表现为一个网元节点,管理简单化、 配置简单化、可跨设备链路聚合,极大简化网络架构,同 时进一步增强冗余可靠性。 网络虚拟交换技术为数据中心建设提供了一个新标 准,定义了新一代网络架构,使得各种数据中心的基础网 络都能够使用这种灵活的架构,能够帮助企业在构建永续 和高度可用的状态化网络的同时,优化网络资源的使用。 在虚拟化架构上,通过OAA集成虚拟化安全,使得传 统网络中离散的安全控制点被整合进来,进一步强化并简 化了基础网络安全,网络虚拟化技术将在数据中心端到端 总体设计中发挥重要作用。 数据中心简捷化架构——横向整合的虚拟化如下图所示: 敛,能快速实现确定性虚拟交换机的恢复。 ◆ 安全整合。安全虚拟化在于将多个高性能安全节点虚拟 化为一个逻辑安全通道,安全节点之间实时同步状态化信 息,从而在一个物理安全节点故障时,另一个节点能够无 缝接管任务。 安全整合的进一步表现为OAA架构下,IRF2集成的安 全模块之间仍然延续了此虚拟化能力,使得整个数据中心 基础网络具备更为简捷的架构。 NS FW IPS LB FW IPS LB NS 上图虚拟化数据中心网络架构与传统的网络设计相比,提供了多项 显著优势: 解决方案 12 网络的横向整合主要在数据中心交换机上实现,在服务器接入 层、网络汇聚层、核心层可以分别进行部署来构建一个虚拟网络架 构,其中 H3C IRF2 技术目前已经被 H3C 全系列数据中心级交换 机所支持(包括 S12500、S9500E、S7500E、S5800、S5500、 S5120 等),H3C 可以提供端到端的虚拟化网络方案。 ◆ 横向整合为虚拟机迁移铺平道路 当虚拟机在物理服务器之间进行迁移时,为了避免 虚拟机迁移后路由的震荡和修改网络规划,迁移只能在 二层域进行,因此数据中心需要具备一个性能更高、二层 域更大的网络环境为迁移提供保障。在传统的数据中心 网络中,都是通过STP+VRRP的方式进行网络拓扑设计, 但由于STP+VRRP的设计和维护都比较复杂,这种设计在 很大程度上阻碍了其二层域的扩大,随着服务器的数量和 网络设备的增多,这种网络设计方式将会变得无法实施。 同时,虚拟机的迁移对网络的可用性要求也非常高,在 STP+VRRP的组网中,如果链路出现故障,其收敛时间都 在秒级,增加了应用系统迁移的限制。 以上问题可以通过网络虚拟化技术来解决,在数据中 心的应用中,网络虚拟化主要是通过将多台物理设备虚拟成 一台逻辑设备的方式,来减少设备节点,并通过跨设备链路 聚合技术取代传统部署方式中的STP+VRRP协议,使网络拓 扑变得简洁,具备更强的扩展性,以满足虚拟机迁移所需要 构建的二层网络环境,同时,其毫秒级的故障收敛时间为虚 拟机迁移提供了更加宽松的实现环境(如下图所示)。 vm vm vm vm vm vm vm vm vm vm OSPF ECMP LACP L3 L2 LACP L3 L2 IRF2 传统网络架构向虚拟化网络架构的转变 新一代数据中心 虚拟化之 解决方案13 网络虚拟化概念并不是什么新概念,因为多年来, 虚拟局域网(VLAN)技术作为基本隔离技术已经广泛应 用。当前在交换网络上通过VLAN来区分不同业务网段、 配合防火墙等安全产品划分安全区域,是数据中心基本设 计内容之一。 出于将多个逻辑网络隔离、整合的需要,VLAN、 MPLS-VPN、Multi-VRF技术在路由环境下实现了网络访 问的隔离,虚拟化分割的逻辑网络内部有独立的数据通 道,终端用户和上层应用均不会感知其它逻辑网络的存 在。但在每个逻辑网络内部,仍然存在安全控制需求。对 数据中心而言,访问数据流从外部进入数据中心,则表明 了数据在不同安全等级的区域之间流转,因此,有必要在 网络上提供逻辑网络内的安全策略,而不同逻辑网络的安 全策略有各自独立的要求。虚拟化安全技术,将一台安全 设备可分割成若干台逻辑安全设备(成为多个实例),从而很 好满足了虚拟化的深度强化安全要求。 如右图所示,虚拟化网络与虚拟化安全的整体结合、 通道化设计,构成了完整的数据中心基础网络架构。 当前在交换机中集成防火墙等安全业务线卡已经成为 数据中心基础安全实施的一个主流方向,这种架构促进了 数据中心网络安全的快速部署、简捷运行。 早期的数据中心网络都是按照双机冗余结构进行设计 与部署的。交换系统IRF2虚拟化环境下,防火墙等安全线 卡与两台交换机的关系有所变化。在双机冗余设备中插入 多块防火墙模块,通过IRF2对交换机进行了虚拟化整合, 这多块防火墙本质上如同插在一台交换机上。 Core Network 网络虚拟化——纵向分割 如果把一个企业网络分隔成多个不同的子网络——它们使用不同的规则和控制,用户就 可以充分利用基础网络的虚拟化路由功能,而不是部署多套网络来实现这种隔离机制。 解决方案 14 基本架构等同于一台大chassis上集成多块业务线卡 不同交换机集成安全功能变为一台交换机集成安全 功能,安全线卡只面对一台虚拟交换机、一个网络交换单 元,给设计上带来了更多方便的地方。 IPS作为线卡集成到交换机,安全检测流量是预先定 义并重定向到IPS上的,在一般的双机条件下,两台交换机 之间是一种完全松耦合的路由关系,针对不同设备上的IPS 无法起到相互备份和负载分担的作用。但是在IRF2架构下 集成多块IPS后,各IPS在整个IRF2结构上均被整合,即IPS 所在物理端口在IRF2全局可见、可被访问控制流规则所引 用,因此,多块IPS线卡集成后,可在方案设计上将其性能 叠加起来,如下图所示,多块IPS线卡如同多台IPS独立设 备可并行使用。 可以看到,通过虚拟化技术将网络与安全进行融合后 的“纵向分割”可以将网络资源进行更加细致的划分,真 正实现了数据中心内部资源的整合和动态调整,提高了数 据中心的资源利用率,增加了网络的可靠性。 新一代数据中心 虚拟化之 ◆ 纵向分割实现动态安全策略的部署 在数据中心中,安全策略的部署一直是一个有挑战的 任务,需要根据具体服务器的应用特点对不同类型的应用 系统制定不同级别的防护策略。在传统的数据中心中,由 于应用系统和服务器区域基本都是固定不变的,所以安全 策略仅在规划初期工作量较大,后期更多的是进行策略的 更新和细微的调整。然而在虚拟化环境下则完全不同,应 用系统和服务器是自由匹配和随需迁移的关系,每一次虚 拟机的迁移对应安全策略的改变和调整,如果不能实现动 态的配置调整,对于虚拟环境下安全策略的部署将不具备 可实施性。 在数据中心网络进行虚拟化整合的基础上进行安全虚 拟化,将部署的安全业务系统进行逻辑的分割,即将一台 安全设备/模块分割成若干台逻辑安全设备。分割后的逻 辑网络内部有独立的数据通道,对数据中心网络安全资源 进行更加细致的划分,可以根据业务特征在逻辑网络内进 行灵活的安全策略的部署和匹配。实现虚拟机迁移后,对 应的安全策略也随之动态迁移,扫清数据中心服务器虚拟 化实施所带来的安全策略部署的困难。在部署时,网络设 备和安全设备都需要支持虚拟化技术,网络设备通过多虚 一的方式整合网络,然后在其基础上部署支持虚拟化技术 (一虚多的方式,例如虚拟防火墙技术)的安全设备/模块, 最终实现虚拟环境下动态的安全策略部署。 从静态安全策略向虚拟环境下动态安全策略转变 解决方案15 在虚拟化服务器中,虚拟以太网交换机是一个比较特殊的设备,具有重要的作用。虚拟 机通过虚拟交换机向外界提供服务。在虚拟化的服务器中,每个虚拟机都变成了一台独立的 逻辑服务器,它们之间的通信通过网络进行。每个虚拟机被分配了一个虚拟网卡(不同的虚 拟机网卡有不同 MAC 地址)。为实现虚拟机之间以及虚拟机与外部网络的通信,必须存在 一个“虚拟以太网交换机”以实现报文转发功能。 网络虚拟化——虚拟交换机 接入层 核心层 汇聚层 接入层 虚拟交换机 虚拟机1 虚拟机2 虚拟机3 虚拟机4 虚拟化之后的服务器 虚拟网卡 虚拟网卡 虚拟网卡 物理网卡 NIC VMM VM VM VM1 2 n 虚拟交换机 vSwitch MAC/PHY Rx1 Rx2 Rx1 Rxn Rx1 Rxn Rx2 Txn Txn Txn Txn Tx2 Tx2 Tx1 虚拟化 Server 虚拟 网卡 虚拟 网卡 虚拟 网卡 虚拟 网卡 LAN 解决方案 16 新一代数据中心 虚拟化之 解决方案17 网络边界 规格与流量 流量监管 策略控制 虚拟网卡 VM1 虚拟网卡 VM2 虚拟网卡 VMn VMM 虚拟交换 Virtual Switching NIC MAC/PHY { { { 二层网络边界 虚拟服务器 边界 物理服务器 边界 为此,IEEE Data Center Bridging(DCB)任务组(DCB任务组是IEEE 802.1工作组的一个组成部分)正在制定一个新 标准——802.1Qbg Edge Virtual Bridging(EVB),该标准将VEPA(Virtual Ethernet Port Aggregator)作为基本实现方案。 VEPA的核心思想是,将虚拟机 产生的网络流量全部交由与服务 器相连的物理交换机进行处理, 即使同一台服务器上的虚拟机间 流量,也将在物理交换机上查表 处理后,再回到目的虚拟机上。 VEPA方式不仅借助物理交换机解 决了虚拟机间流量转发,同时还 实现了对虚拟机流量的监管,并 且将虚拟机接入层网络纳入到传 统服务器接入网络管理体系中。 VM Virtual Ethernet Bridge(VEB) Virtual Ethernet Port Aggregation(VEPA) 也称Basic VEPA VM VM Bridge VM VM VM Bridge 传统的虚拟以太网交换机被称为VEB(Virtual Ethernet Bridge)在服务器上采用纯软件方式实现的VEB就是通常 所说的“VSwitch”。虽然VSwitch的实现方式简单,且技 术兼容性好,但也面临着诸多问题,例如VSwitch占用CPU 资源导致虚拟机性能下降,存在虚拟机流量监管、虚拟机 的网络策略实施以及VSwitch管理可扩展性等问题。借助 支持SR-IOV特性的网卡可以实现基于硬件的VEB。相比 VSwitch,硬件VEB减少了对CPU的开销,但这种硬件方案 与VSwitch类似,仍然不能有效解决虚拟机流量监管、网络 策略实施及管理可扩展性等问题。 解决方案 18 VEPA 技术的实现,将为虚拟化的数据中心带来: ◆ 提升性能、降低复杂性:将高级复杂的网络功能从 VM 转移到外部网络 ◆ 保持 NIC 的低成本电路 :将高级网络功能调整到外部网络 ◆ 一致性控制策略实现:将所有流量转发到外部网络,网络实现更加完备 的强制控制策略 ◆ VM 间流量可视性 : 外部网络可提供完善的管理工具 ◆ 清晰管理边界:降低服务器管理人员的网络配置要求和配置复杂性 虚拟化技术在数据中心的虚拟化实现、数据中心的整合、简化业务流程、 提升灾难恢复备份能力、实现企业业务一致性等方面都起到了很重要的作用。 是数据中心发展的必然方向,也是数据中心向云计算模式转变的核心技术。 H3C 将为新一代虚拟化数据中心提供先进的、全面的虚拟化网络设施。 解决方案19 新一代数据中心 一体化之 新一代数据中心 一体化之 Web2.0时代的最大特点是每个人可成为数据的提供 者。在今后的几年内,Web应用的普及必将带来另外一个 新的标准化,那就是基于Web技术的应用标准化,如果用 OSI的模型来描述的话,则是会话层和表示层的标准化。 “一旦标准化,即可网络化”意味着这些标准化的应用处 理功能将集成到网络设备中,新的业务呼唤新的应用智能 网络。 企业业务和数据从分散部署走向大集中,数据中心的 数据量急剧膨胀,数据中心的重要性受到空前的重视,应 用优化、网络安全、应用安全设备大规模部署,融合了应 用安全、应用优化能力的应用智能数据中心越来越受到用 户的欢迎。所以可以肯定的说,目前用户对于网络服务的 要求已经大大提高了,不但要求满足大流量的数据传输, 还要求网络不能出现中断或故障。要想把安全技术融于网 络,安全技术必须和高速的网络设施相匹配;同时,还要 简化网络拓扑,简化对网络的管理,方便网络用户的使 用,以确保应用和互联的网络安全。 通过近几年对网络安全的研究,我们不难发现,网络 的安全风险问题,归结起来主要在四个环节上: 安全与优化 ◆ 内部网络与外界的接口,如通过Internet的互联,在接入 口处从外面引入的安全网络风险问题; ◆ 在内网各节点之间的互联,容易造成区域的安全风险 问题; ◆ 通过Wlan、VPN等多种非传统接入手段接入到内部网络 中所带来的安全风险问题; ◆ 关键的数据中心或服务器区容易遭受有目的的攻击。 当然,网络中的安全风险问题不止这些,还有像安全 接入、安全隔离、安全过滤和安全管理等方面的问题。对 于进入万兆时代的网络应用而言,如何规避这些来自安全 的风险,无疑是一种挑战。 传统数据中心的改造之苦 今天,WEB2.0 大潮开始涌现,如 Flickr、YouTube、BLOG、WIKI、PODCAST 应运 而生,互联网在第一次泡沫迸裂后又重现生机。这些新应用的背后英雄就是 WEB 技术,如 果讲 WEB1.0 解决的是“人机交互界面的标准化”问题,那么WEB2.0 则更进一步解决了“应 用数据交互的标准化”问题,而 WEB2.0 的技术基础是 XML 协议和一系列相关 WEB 技术。 解决方案 20 解决方案21 无 阻 塞 背 板 流量清洗 防火墙 入侵防御 负载均衡 ... 在传统的数据中心建设中,为了应对以上我们讲到 的种种安全威胁和信息泄漏,更常采用的方法是在原有数 据中心的网络上进行修修补补,遇到什么问题就部署对应 的安全设备进行防护,这虽然可以解决出现的安全问题, 可是随之而来的却是维护、可靠性、性能等更加棘手的问 题。随着网络威胁的不断增加,不同功能的安全设备逐一 部署到数据中心中,到最后我们看到的网络更像是一个 “糖葫芦串”,这种串行网络给数据中心带来了巨大的 “麻烦”: ◆ 新安全设备的加入需要足够的空间,然而在已经规划有序 的数据中心中,空间已经非常紧凑,所以维护人员不得不在 本来就狭小的空间内再“挤”出一定空间去容纳新增的设备; ◆ 新设备的加入必然需要与原有网络设备进行连接,对 一个事先没有充分规划和对未来没有充分考虑的数据中 心,不可能有多余的线缆资源来衔接新的网络资源,那么 就需要重新部署线缆,这使得数据中心的“复杂度”进一 步恶化; ◆ 串行结构的部署虽然可以解决所有的安全问题,但是却 带来了更大的可靠性威胁,在这种网络结构中,任何一点都 可能成为数据中心的性能瓶颈,任何一点的故障都可能引起 业务的中断。 针对传统数据中心面临的问题,为了建设一个智能的 数据中心,H3C通过一体化的融合网络来帮助企业完成数 据中心发展过程中的平滑蜕变。H3C基于多年来在网络产 品和安全产品研发方面的深厚积累和先进技术,创新性的 在高性能的万兆核心交换机中实现了包括FW(防火墙)模 块、IPS(入侵防御)模块、LB(负载均衡)模块等7种业 务模块,在网络基础平台上实现高性能的安全保障和应用 优化,彻底解决了传统数据中心在部署安全策略和应用优 化时的各种问题。 新一代数据中心 一体化之 解决方案 22 调度、优化 数据中心一体化安全 7种安全功能 2-7层全覆盖 清洗 AFC 分析 NetStream 带宽优化 与审计 ACG 防护 IPSLB 网络层(2-4) 应用层(4-7) 七大安全模块 隔离 FW/VPN 一体化的融合网络涵盖: 安全加固: 认证、授权和审计 应用层加密(SSL) 和集中 PKI 部署 网络安全(防火墙、抗 DDoS) 应用层内容安全:防病毒、防入侵、防篡改等等 应用层审计 : 数据库审计、流量分析等等 应用优化: 应用负载均衡 应用协议卸载(SSL 加解密卸载) 应用协议流量优化(带宽优化与提升) 安装方便,网络设备上快速 实现安全特性 支持热插拔,即插即用 部署简单,减少设备占用空间 和布线难度 随需调整: 每当各种业务需要进行灵活调整和部署时,各种加 载在交换机、防火墙、IPS、流量清洗等设备上的安全策 略也需要相应的调整,小则修改配置,大则改变组网。 通过部署H3C安全业务模块可以在数据中心内部完美的 解决此类问题。 首先,在各种安全业务模块上开启虚拟化功能,针 对不同的业务种类划分不同的逻辑防护设备,从而制定不 同的安全策略。然后通过在嵌入了安全模块的交换机上加 载流量牵引策略,形成业务与防护设备一一对应的映射关 系,实现随需调整的灵活安全策略迁移。 相对一般独立式安全设备而言,一体化的部署方式可 以充分利用交换机的接口资源。同时,通过安全模块的虚 拟化技术,可以将同一块物理业务板卡在逻辑上划分为相 互独立的多个板卡,每个逻辑板卡拥有完全独立的资源和 策略,可以更充分的利用现有的IT资源,提供更加精确的 实施控制策略。 一体化之安全加固 数据中心承载着用户的核心业务和机密数据,同时为内部、外部、合作伙伴等客户提供 业务交互和数据交换,因此数据中心的安全必须与业务系统实现融合,并且能够平滑的部署 在网络中。 简化管理: 在高性能的万兆核心交换机 中直接嵌入安全模块的做法,对于 H3C来说,不仅是一种安全理念, 更是从核心交换去实施安全措施的 一种创新。创新之处在于:要想把 安全技术融于网络,安全技术必须 和高速的网络设备相匹配;同时, 还要简化网络拓扑,简化对网络的 管理,方便网络用户的使用,以确 保应用和互联的网络安全。 解决方案23 新一代数据中心 一体化之 高性能 在H3C的一体化融合网络中,所有的安全业务模块都 采用了业界最领先的多核CPU+ASIC+FPGA的高性能硬件架 构。这种分布式的硬件架构保证了所有的业务能在第一时间 进行并行处理。现在大量的应用层安全攻击需要进行深入的 报文分析,只有这种多核CPU的硬件架构才能真正实现对数 据报文的实时处理,不会造成传输延迟。多样的网络环境, 对防火墙等安全设备提出了不断变化的功能要求。FPGA内 置了可反复编程的与非门,就好比一张白纸,可以用铅笔 进行反复读写,将各种新增的业务算法变成逻辑硬件进行 处理,完美解决了性能和功能扩展的矛盾。如在大型IDC前 端,DDoS处理能力要求较高,通过将SYN Flood防御算法 嵌入至FPGA中,SecPath F5000实现了3200万PPS的处理能 力,比传统采用CPU提高了10倍。 除此之外,由于交换机对数据报文采用分布式转发的 模式,这样安全模块就能巧妙地利用H3C高端交换机的背 板总线技术,确保安全插卡也能实现与万兆网络设备的无 解决方案 24 缝对接。基于交换机的无阻塞技术,各种插卡通过背板总 线进行数据交换。以H3C数据中心级核心交换机S12518为 例,整机最大支持防火墙性能可达160G吞吐量,3200万并 发连接,IPS处理性能可达32G。此外,任何一个模块出现 故障,通过H3C专利的ACFP技术,能够确保流量自动避开 它,通过Bypass方式保证业务正常运行。真正在实现了数 据中心安全的同时,又保证了业务连续性。 目前H3C的一体化安全模块包括万兆防火墙模块、 IPS入侵防御模块、ACG应用控制网关、AFC流量清洗模 块等,已经具备了专业DDoS攻击防御、2~7层深度安全防 护,覆盖了整个主流的网络安全需求,能为数据中心提供 最全面的安全保护。 通过一体化安全的部署方式,能够使得数据中心的网 络真正成为一个健壮的网络,满足客户对于网络应用最严 格的要求。 IPS LB FW 安全服务区 LB 核心层 汇聚层 VLAN1 VLAN2 VLAN3 IPS 安全服务区 接入层 FW LB IPS 性能优化: 如果不在数据中心配置负载均衡,将会导致服务器 负载不均,部分负载很重的机器仍然不断的处理新来的 业务请求,继而出现性能下降、响应时间变慢,甚至宕 机。而其它的服务器可能长期处于轻载或空闲状态,导 致数据中心整体性能不高、资源利用率不高、整体投资 得不到保证。 配置负载均衡后,将解决服务器任务调度和资源占用 不均衡的状态,提高性能的同时提高业务系统的健壮性。 一体化应用优化模块(ACG)是一款高性能负载均 衡产品,该业务模块创新性地实现了应用优化与网络交换 设备的完美融合。即插即用、扩展性强的特点降低了用户 管理难度,减少了维护成本。 SecBlade LB SecBlade LB 路由器路由器 Internet 服务器集群 服务器集群 服务器集群 优化 服 务 器 负 载 响 应 时 延 80% 90% 20% 50% 30% 30% 30% 30% 一体化之应用优化 作为业务网络的心脏,数据中心面临着众多的挑战。扩展性、灵活性、高性能、可靠性 和安全性,无一不是对数据中心的要求。尤其重要的一点是:如何保证服务器性能不断提升, 如何保证业务带宽合理分配。 解决方案25 新一代数据中心 一体化之 ACG通过对各种应用进行识别和区分,并对服务器、 防火墙进行健康检测和性能检测,采用自适应智能算法将 各种应用访问请求均衡分发至不同设备上,极大地提高了 应用访问速度,为数据中心提供了一个高性能、经济高效 的负载均衡解决方案。 带宽优化: 此外,数据中心的应用协议丰富,如何保证各种业 务,根据业务重要性具备不同的带宽QoS策略也是不可忽 视的建设内容。H3C通过ACG实现基于通道的流量控制策 略,能够根据用户的实际需求,提供强大而完善的控制手 段。通过不同时间段、不同用户、不同网络应用、不同控 制动作等条件实现不同情景下的策略配置,使策略应用更 加符合实际需要: ◆ 基于段、用户、应用、时间、控制动作等条件,设置灵 活的策略组合,实现按照每部门/每用户、每个应用设置差 异化的流量控制策略。 ◆ 提供应用封堵、带宽保证、带宽限制、连接限制、优先 级改写等多种手段,实现流量控制的多种效果。 ◆ 通过三重嵌套的通道机制,实现层次化的流量管理。网 络管理员可根据自身的需要,对每个通道独立设定保证带 宽、最大带宽、优先级。当本通道中的流量超过基本保证 带宽而上级通道存在带宽闲置时,可以允许优先级高的通 道借用闲置资源。 ◆ 支持通道带宽的动态分配,并根据用户数量的变化动态 调整带宽分配,保证带宽资源高效与公平利用。 解决方案 26 数据流 一级通道A 一级通道B 二级通道Aa 网络总带宽 三级通道Ac2 三级通道Ac1 三级通道Ac3 二级通道Ab 二级通道Ba 二级通道Bb 二级通道Bc 二级通道Bd 二级通道Ac 解决方案27 新一代数据中心 智能化之 新一代数据中心 一体化之 解决方案 28 传统网络管理软件以SNMP简单网络管理协议为核 心,采用FCAPS管理模型(即故障管理、配置管理、账户 管理、性能管理和安全管理)在以网络设备为主的环境中 发挥了重要作用。而数据中心作为IP技术与IT技术两大领 域的结合体,在管理方面迎来了新的挑战。不仅需要从网 络的角度来保障用户和业务,也要从用户和业务的角度出 发来优化网络,而在网络与用户及业务之间,则需要通过 技术和流程将两者有机地结合起来,形成智能化的数据中 心管理。这意味着新的管理模型必须采用面向服务的软件 架构,在融合SNMP、Radius、NetStream、WMI、JMX、 ITIL等各种管理技术的基础上,提供不同的管理组件和便 数据中心是数据传输、计算和存储的中心,集中了各种软硬件资源和关键业务系统,面临着异构环境、 业务融合、用户安全、管理规范等非常复杂的问题,这给数据中心的管理带来了巨大的挑战。从基础设施角度 看,需要管理路由器、交换机、安全、存储、机房动力等设备;从上层应用角度看,需要管理数据库、服务器、 中间件、Web 等业务;从使用者角度看,需要管理内部用户、来访客人、外部供应商等类型的用户;从协议 角度看,需要管理 VLAN、MPLS VPN、QoS 服务质量、ACL 安全策略、SLA 服务水平等不同技术。因此, 数据中心的管理不仅要综合考虑厂商、设备、应用、用户、技术等各种要素,还需要考虑与数据中心 IT 部门 的运维流程结合,建立一个开放式、标准化、易扩展、可联动的统一智能管理平台,从而为数据中心的各种关 键业务系统提供支撑。 统一平台 设备、业务、用户、 数据的统一管理 可控运维 符合IT服务管理规范 的运维流程 融合智能 各组件协同形成业务 流的智能联动 透明业务 数据库、服务器、 中间件的可视化管理 数据中心管理 于扩展的开放接口,实现融合IP和IT、彼此联动的精细管 理流程。 融合资源、业务、用户、流程的数据中心管理。 作为H3C IToIP整体解决方案的重要组成部分,H3C iMC 采用面向服务架构(SOA)的设计思想,融合并统一管理资 源、业务、用户、流程这四大数据中心组成要素,通过按需 装配功能组件与相应的硬件设备配合,形成直接面向客户应 用需求的一系列整体解决方案,从而成为H3C数据中心解决 方案中的统一智能管理中枢。 解决方案29 iMC智能管理中心不仅可以实现对网络设备、服务器 和PC等数据中心基础设施资源的统一管理,还支持对H3C 全系列的存储产品的统一管理,覆盖了共享灾备网络从硬 件部署以后的全部管理过程,包括网络和存储设备自动发 现,存储设备配置,灾备网络告警管理,共享灾备用户管 理,共享灾备业务流程管理,共享灾备业务自动部署,灾 备业务监控,灾备网络性能监控,灾备服务调整等共享灾 备涉及的全部过程。 iMC智能管理中心基于B/S架构,不仅涵盖拓扑、告 数据中心资源统一管理 分区拓扑 用户拓扑 机房拓扑 机架拓扑 资源管理一体化 数据中心除了需要对传统的路由器、交换机、安全等网络设备进行管理外,还需要对存储、 服务器、打印机、UPS、PC 等 IT 设备进行管理,实现数据中心基础设施的统一管理。另外, 数据中心可能会存在多种厂商的设备,因此管理平台还需要考虑通过标准 MIB 实现对国内外 主流厂商设备的管理。 警、性能和配置等管理功能,使网络状况一目了然,而且 提供配置文件和设备软件的批量管理工具,可帮助用户建 立配置基线和软件备份,不再需要通过命令行对设备进行 管理。针对数据中心存在的拓扑管理需求,iMC提供了分 区拓扑、机房拓扑、机架拓扑、用户拓扑等功能,不仅可 以自动发现网络拓扑结构,而且可以将全网设备根据不同 的管理区域、机房、机架等进行划分,建立资源、业务与 用户的统一拓扑视图,方便管理员从各个角度对数据中心 的各种资源进行管理。 新一代数据中心 智能化之 解决方案 30 iMC智能管理中心采用无客户端的监控方式,不需要在 服务器上安装代理,同时基于Web架构,易于部署,即使 是不熟悉相关技术的维护人员,也可以在半小时内安装完 毕。iMC为数据中心的整个业务基础架构提供各种视图,如 Google视图、SLA视图等,可以从多个角度监视各种应用程 序和服务器的运行情况。iMC APM同时还提供自定义的监 视器功能,允许用户对特殊应用进行定制化监控,满足用 户的个性化需求。 对于各种业务在网络中的运行情况,iMC管理中心还提 丰富的流量探测 多角度的流量分析管理 全业务的可视化报表 iMC业务性能管理解决方案网络设备 流量分析卡 DIG探针 DIG日志 IP组接口 应用 会话 EAD QoSNetStream NetFlow sFlow 原始流量 NTA网络流量 分析系统 网络流 量 分 析 业务流 量 分 析 智能基线及流量告罄 4-7层流量分析 业务间流量分析 基于用户的流量分析 全方位、分布式的分析系统 业务性能可视化管理 业务性能可视化 数据中心存在着各种关键业务和应用,如服务器、操作系统、数据库、Web服务、中间件、 邮件等,对这些业务系统的管理应该遵循高可靠、可视化的原则,在不影响业务系统运行的 同时,又可以从各个角度对业务和流量进行监控和管理,并根据需要进行 QoS 服务质量、 ACL 安全策略、SLA 服务水平等管理策略的调整。 供基于NetStream/sFlow/DIG等技术的流量分析功能,通过 各种可视化的流量视图,对业务流量中的接口、来源、目 的、会话、应用等进行分析。对于数据中心大量存在的应 用业务(一个业务是指一组主机IP和一组应用的结合体,比 如生产、销售、财务等应用),iMC支持对单个业务和业务 间的流量统计分析,从而找出流量瓶颈,建立各种业务的 流量分布模型,规划接口带宽。iMC还提供相关的性能优化 工具,用户可以通过VLAN、ACL、QoS、SLA等技术对流 量进行调整。 解决方案31 企业的 IT 部门一般会分为多个小组,如负责设备的网络组、负责应用 的服务器组、负责用户的安全组、负责机房的动力组等,这些小组各司其职, 彼此之间的沟通比较缺乏。而对于融合多种资源的数据中心来说,一旦出 现突发问题,往往需 要多个部门的分工与 协调,才能实现快速 应变的目标。这就需 要对已有的 IT 管理流 程进行梳理,建立一 整套权责明确、条理 分明的运维管理流程。 请求人 请求人 请求人 接线员 技术员 二线专家 二线专家 终端 应用 报表 服务器 帮助台 工单管理 服务流程 网络设备 无线 验证SLA 创建工单 创建工单 创建工单 自助服务 设定预期时间 适用业务规则 指派 指定组 相应请求 提交解决方案 iMC CMDB 1 2 3 iMC 智能管理中心在 IT 服务管理的最佳实践——ITIL 模型的基础上,以流程 为导向、以客户响应为中心,通过整合 IT 服务与业务流程,提高了数据中心信息 部门的 IT 服务交付能力与服务支持能力。iMC 同时还提供运维报表开发平台,用 户可以将数据中心运维管理所需要的各种报表进行定制,从各种运维数据中抽取 出关键信息,并且生成定期发布的个性化报表。 运维流程规范化 新一代数据中心 智能化之 解决方案 32 iMC从控制用户安全接入网络的角度入手,集成终端 安全检查、用户身份认证、动态访问授权、用户行为审计 等功能,通过智能客户端、安全策略服务器、智能联动设 备以及第三方软件的联动,对访问数据中心的用户终端强 制实施安全检查,严格控制终端用户的网络使用行为,有 效地加强了用户终端的主动防御能力,为网络管理人员提 供了有效、易用的管理工具和手段。 融合安全智能化 此外,iMC 智能管理中心实现了用户终端与网管、流量分析、行为审计、安全设备等资 源之间的智能联动,为实现基于用户、开放式、自动化的数据中心管理打下了基础,对数据 中心资源的动态调配、最优化利用提供了保障。 对数据中心来说,安全问题不可忽视。随着网络技术的发展,新的安全威胁不断涌现, 病毒和蠕虫日益肆虐,破坏程度和范围持续扩大,引起系统崩溃、网络瘫痪,使用户蒙受严 重损失。任何一台终端的安全状态(主要是指终端的防病毒能力、补丁级别和系统安全设置) 都将直接影响到整个网络的安全。 解决方案33 网络规模的不断扩大、业务种类的日益丰富、流量的快速增长以及 Data、HPC、SAN 网 络逐步融合的要求都对数据中心级核心交换机提出了新的需求:Tbps 级以上超大交换容量、数 据中心级高可靠性、精细化业务调度能力、高扩展性和高安全性,除此以外还要满足易维护、 绿色节能等要求用以进一步降低 TCO。面对这些高要求的挑战,下一代 100G 平台的专业数据 中心级交换机并不只是简单的扩充 10G 平台的交换容量,而需要采用更多高端的先进技术才能 满足不断发展的应用要求。 下一代100G 核心交换机要求 超大容量及 高扩展性 高可靠性 绿色设计 易维护性 高安全性 精细化业务 调度能力 H3C提供业界领先的专业 数据中心级核心设备 新一代数据中心 设备介绍之 解决方案 34 采用Crossbar交换架构的第五代万兆核心交换机为10G 端口的普及发挥了巨大作用,但同样受限于单颗Crossbar芯 片的交换容量,对于设计超大容量且兼具高扩展性的下一 代100G核心交换机而言,如果再依赖Crossbar芯片容量的 进一步扩展或者简单累加就变的比较困难。 基于100G平台的H3C S12500系列核心交换机,采用 CLOS交换架构,将多个交换网模块互联为多级多平面交 换体系,完美解决了交换容量扩展受限于单颗交换网片能 力的问题。S12500当前可提供高达5.76Tbps的系统交换能 力,单向180Gbps的槽位带宽可以轻松支持40G和100G端 口,后续单台设备交换容量更可扩展至13.32Tbps,槽位带 宽增加至360Gbps。同时多级多平面交换架构的采用,便于 通过多框集群技术突破单台设备交换容量的限制,满足未 来对交换能力的进一步需求,从而深度保护用户投资。 交换矩阵 控制矩阵 仲裁 Arbiter fabric Pcr10R Pcr11R Pcr12R Pcr111R Pcr11 T Pcr111 T Pcr10 T k4k 1 k4k 1 k4k 2 k4k 2 k4k N k4k N N N 1 N N K N N 2 通过CLOS架构提供超大交换容量的同时,S12500创造 性的采用更合理的“PULL”模式进行系统内转发调度,从 而一改传统“PUSH”调度模式下报文集中缓存于出端口的 方式,将报文分布式缓存在入端口,这对于解决数据中心 典型拥塞模型下的突发丢包具有极大的意义。 拥塞常见于多端口向单端口转发模型以及高速端口向 低速端口转发模型,这两种转发模型下即使持续业务流量 低于目的端口带宽,也会因为流量的瞬间突发极易导致丢 包的产生。入方向的分布式缓存完美消除了拥塞模型的影 响:多对一转发模型下报文被缓存在入方向多个端口的多 个缓存中,高对低转发模型下报文被缓存在入方向高速端 口的更大缓存中,均能最有效的利用端口缓存能力,最大 限度的吸收突发流量。 S12500提供每线速10G端口256M bytes大缓存,结合分 布式的缓存模型,充分保障了200ms的缓存能力,消除了突 发丢包对业务连续性的影响。 立足于解决国内数据中心面临的问题,考虑不断提升的应用需求,H3C S12500核心交换机在方案设计上综合了传统核心交换机的应用经验,并充 分吸收了业界高端先进技术,成为业界领先的专业的数据中心级交换机。 CLOS架构实现超大容量及高可扩展性 更合理的分布式缓存机制 解决方案35 512MB 512MB 512MB 512MB 512MB 512MB 512MB 512MB 512MB 512MB 512MB 512MB 512MB 512MB 512MB 512MB 512MB 缓存 512MB 缓存 准拥塞 状态 Ingress Line card Egress Line card 全流量模型下的交换网无阻塞动态路由 交换网提供大容量交换能力的同时,还必须保证对交 换路径的充分利用,从而真正做到交换网业务调度的无阻 塞性。交换网业务调度无阻塞性的一个重要因素就是报文 能否在所有交换网转发路径上均匀分担。报文跨交换网转 发时的路径选择方案也称交换网路由方案,通常有两类路 由方式:基于报文关键参数进行指定路径或者HASH选路 的静态路由方式和基于交换网路径状态实时检测的动态路 由方式。 静态路由方式实现较简单经济,能解决普通情况下的 交换网不同路径报文分担问题,但当个别交换网单元出现 故障或者报文特征离散性不够时分担效果较差,导致报文 集中于个别转发路径,从而出现假阻塞现象:即交换网络 仍存在空闲路径时,由于报文集中于个别固定路径进行交 换导致的阻塞。 动态路由方式通过实时检测所有交换网转发路径,并 根据各转发路径的健康状况和负荷情况动态调节报文转发 路径,从而使得任何情况下报文都能均匀分布于交换网各 转发路径,充分利用交换带宽,彻底避免假阻塞现象。交 换网动态路由的实现方式适应性最强,但同时对技术要求 更高,芯片成本也相对较高。 考虑核心交换机所处网络位置的重要性,S12500通 过硬件实现交换网动态路由方案,可以做到全流量模型 下的交换网无阻塞动态路由,最大程度保护业务的永续 性转发。 零业务中断为目标的高可靠性 高可靠性是核心交换机重要特性,零业务中断是 S12500高可靠性设计目标,为此设备关键模块如主控板、 交换网板、电源、散热系统均进行了冗余设计。 主控板1+1冗余备份,并通过NSF/GR、在线升级机制 避免控制平面倒换对业务转发产生影响。S12500将交换网 板独立设置,使得控制平面和转发平面物理上完全分离, 从而彻底避免相对高故障率的控制平面问题对极低故障率 新一代数据中心 设备介绍之 的转发平面产生影响,进一步增强了业务永续性保证。 冗余配置时网板故障对业务无影响,非冗余配置时,则 随着损坏的网板数目系统转发性能成比例下降(Graceful Degrade)。 对于保证系统稳定运行至关重要的散热系统,S12500 通过系统风道的优化设计实现了风扇框的1+1冗余备份,不 但风扇框内的风扇实现冗余备份,必要时刻通过自动调速 单个风扇框即能满足系统的正常散热要求,极大增强了散 热系统的可靠性。S12500电源模块支持N+M冗余备份,确 保设备供电无忧。 除关键模块的冗余设计外,为保证业务的高可靠性, S12500控制平面采用3个CPU系统进行业务处理:主控CPU 系统、FFDR(Fast Fault Detection and Restoration,快速故 障检测及恢复)CPU系统、EMS(Embedded Maintenance Subsystem,嵌入式维护子系统)CPU系统。主要协议处理 由主控CPU系统完成。FFDR CPU专门用于BFD、OAM等 快速故障检测处理,避免业务协议处理对快速故障检测带 来影响。EMS CPU支持电源智能管理,通过控制设备上电 过程,使得系统各模块分批顺序上电,从而平滑系统上电 时的浪涌电流冲击,增加系统可靠性。 丰富易用的维护诊断手段 丰富易用的维护手段有助于运维人员及早发现网络和 设备运行中的隐患,从而避免故障的发生,确保网络的可 靠运行。S12500设计上充分考虑了维护性需求,提供了丰 富的维护手段供运维人员进行日常维护,同时集成了强大 的自动检测和诊断功能确保第一时间发现设备健康问题。 解决方案 36 解决方案37 冷通道 冷通道热通道 通讯电缆槽 电源线 热通道 前侧 前侧 前侧后侧 热空气 冷 空气 机 柜 机 柜 机 柜 后侧 后侧 新一代数据中心 设备介绍之 上电时的自动检测技术防止了将问题模块或者节点引 入正常运行的网络,运行时的关键器件定时检测技术以及转 发通道定时检测技术可以保证最快发现设备健康问题,并且 这种健康状态的定时检测不会对业务带来任何影响。当有故 障导致单板不能正常工作时,提供单板隔离命令,隔离后的 单板可以进行离线业务诊断,用以收集单板的详细信息,加 速故障排查。并且这些功能的提供都不需要加载额外的软 件,单板隔离和诊断都仅仅需要执行单条命令即可实现,具 有极大的易用性。如需进一步分析,S12500还可以在不影 响业务的情况下通过单条命令收集整个系统的诊断信息。 对于设备和网络的日常维护,S12500提供了802.3ah OAM、NQA(Network Quality Analyzer)、sFlow以及丰 富的查询命令等功能,供运维人员收集设备情况、网络流 量、链路质量、连通性等方面的信息。 无处不在的绿色节能设计 在创建绿色数据中心呼声日益高涨的今天,S12500将 绿色设计贯穿系统的每个环节:更高的芯片集成度加上转 发引擎65nm芯片工艺进一步提升功能/能耗比;未连线状态 的外部端口自动进入节能模式、槽位空闲时未使用的交换 网端口自动关闭、通过EMS CPU进行管理的单板单独上下 电以及效率高于91.5%的电源方案均最大限度的避免了无效 功率的浪费;同时优化的风道设计、分区智能调速风扇的 运用进一步降低了散热系统自身的功耗。无处不在的绿色 设计使得S12500每端口对应功耗仅为业界同类设备的50% 左右,这一能耗水平对于以高性能、高密度端口和丰富业 务特性著称的S12500来说尤其可贵。 解决方案 38 评估规划 设计实施 运维支持 培训优化 数据中心网络及安全规 划数据中心机 房 评估服务项目管理及实施 方 案 验证服务网络及安全机 房 搬迁服务数据中心业务规 划 与 部 署数据中心关怀 互 动服务数据中心专业支持服务数据中心 精 细化管理服务网络健康 检 查网络 基 础课程数据中心 产 品 定 制课程网络优化 数据中心作为一个企业信息资产的核心,直接影响到业务的运转。一个先进的数据中心 可以通过优化的设计方案、先进的技术和良好的规划进行建设,但是要保证其健壮性和业务 的永续,更需要的是对数据中心整个生命周期长久的、专业的维护。H3C 针对国内数据中 心建设、实施、维护等多方面的需求和特点,特别制定了一整套针对数据中心网络及安全基 础设施的全生命周期服务解决方案。 H3C 专业的数据中心 维护方案介绍 解决方案39 数据中心网络及安全规划服务 数据中心是企业的核心数据平台,具有投资额高、 使用周期长的特点。作为数据中心的基础之一,交换网络 形成了数据中心业务部署的框架。因此,网络规划是否合 理,直接关系到数据中心的运作效率、可扩展性以及投资 的效用。作为业界领先的网络设备和解决方案供应厂商, H3C具有扎实的研发功底以及丰富的行业应用经验,此两 者在规划服务上的紧密结合,能够帮助用户深入的理解数 据中心的设计理念,实现网络和安全设备对业务需求的最 优支持,保证网络价值最大化。在H3C的规划设计中,模 块化的网络结构设计与全方位防护的安全设计是两大核 心理念。在网络设计中,H3C综合应用统一交换、虚拟网 络和自动化管理等技术,帮助用户搭建既具有统一交换架 构,又实现分层分区设计,结构化和模块化的数据中心。 在安全设计中,我们向用户提供覆盖业务、数据、服务 器、系统等不同层面的安全防护建议,最大程度减少了安 全体系中的漏洞,保证了数据中心的网络安全。大量的实 践证明,我们的规划服务能够有效地帮助用户设计理想中 的数据中心网络,为业务的应用和发展打下坚实的基础。 数据中心项目管理及部署服务 数据中心项目的实施,对于任何一支IT团队来说都是 一次巨大的挑战。H3C的项目管理依托经过TL9000认证的 项目管理体系,具有PSP认证的项目经理团队,以及数百 个大型项目积累起的管理经验,为用户提供专业的项目管 理服务。借助该服务,用户能够从繁杂的项目协调工作中 解放出来,从而更好的关注项目的目标和效果。在H3C数 据中心项目管理服务体系中,我们还提供网络机房评估服 务、数据中心网络搬迁服务、方案验证服务等选择,以满 足不同用户的个性化要求。 数据中心网络机房评估服务,结合了H3C丰富的机房 建设经验和绿色设备设计理念,能够帮助客户准确的检查 机房的综合状态,在网络和安全设备硬件部署、机房综合 环境、电源容量规划、制冷效果、机房安全防护等方面给 用户提供符合国家标准的评估结论。 数据中心网络搬迁服务,主要包含项目管理、搬迁方 案咨询、方案测试、硬件实施、备件支持以及工程师驻场 支持等内容。H3C充分考虑了用户在搬迁过程当中各种可 能出现的问题以及合理的解决方案,能够为用户提供整体 搬迁方案中网络部分的专业支持。 方案验证服务,H3C投入了大量的人力物力,搭建 了数据中心网络测试实验室。该实验室具有全系列路 由、交换、安全、存储和监控视讯等设备,以及各种专 新一代数据中心 设备介绍之 解决方案 40 业测试仪器和服务器设备,用以模拟各种数据中心的真 实业务环境。借助专业的测试环境和测试工程师,H3C 可以为用户搭建一个理想的“练兵场”,为实际业务提 供更多的保障。 数据中心网络运营维护服务 H3C将传统的硬件软件支持服务与“H3Care俱乐部” 相结合,为数据中心用户提供“温暖感、专业化”运维支 持服务。H3C目前在全国部署了近四十个地区支持中心以 及备件库房,数百名服务工程师全天候的为客户提供各类 专业技术支持服务。以这一专业的服务平台为基础,H3C 通过H3Care俱乐部的形式,为用户提供更具价值的服务。 H3Care俱乐部以“全心为你,服务相随”为理念,围绕 “呵护”、“尊贵”、“体验”及“互动”四个主题,为 会员提供各种专属服务。具体内容涵盖全天候关怀服务、 专家网络咨询服务、网络健康检查、培训服务、网络安全 审计、论坛社区服务、高管定期沟通、资讯服务、服务沙 龙交流等,几近包括了IT服务的全过程。 数据中心网络优化服务 以H3C数据中心网络基础架构最佳实践模型为基础, H3C将在数据中心运营中帮助客户结合业务发展需求,对 网络基础设施和运维流程进行持续的改进优化,重点涵 盖网络基础架构、网络性能、高实时性业务应用能力以及 网络安全加固等方面,并提供支持网络变更和扩展所必须 的软硬件工具、解决方案和专业技术。通过系统的评估和 持续的优化,可以很好地提升现有数据中心网络基础设施 运行的质量,弥补运营维护人员在技术和人力上的不足, 培养其专业技能,最大程度发挥现有网络基础设施的利用 率,有效地降低数据中心维护成本,减少各类故障的发 生,提高业务运营效益和外部客户满意度。 在 IT 服务领域,H3C 一直在孜孜不倦地探寻适合于中国客户的 最佳服务模式。在数据中心服务解决方案中,我们以“温暖感、专业 化”为指引,向用户提供了覆盖规划、部署、运营、优化四个阶段的 专业化的服务选择。今天,H3C的数据中心服务解决方案已用于搜狐、 网易、阿里巴巴、百度、腾迅等大型的互联网企业及对数据中心建设 要求颇高的金融行业,如中国银行、中国农行、中国建行、安邦财险等。 解决方案41 新一代数据中心 典型应用之 新一代数据中心 解决方案典型应用 作为核心业务的承载体,数据中心的建设是一个系统工程,分析、设计、建 设、运维的各个生命周期都需要从需求分析入手,紧密结合业务特点,以优化整 合业务流程、提高运营效率和竞争力为目标。H3C 从客户需求出发,结合数据 中心领域最前沿的技术和设计理念以及专业的产品、服务为客户打造了一个可靠 的、先进的、易维护的新一代数据中心解决方案。 H3C 新一代数据中心解决方案已经在国内各行业的尖端领域获得 了大量成功应用,取得了客户的高度认可。其中包括: 中国工商银行 ——中国最大网银系统 中国工商银行拥有近1.7万家境内外机构, 覆盖国内大部分大中城 市。工商银行拥有全国最大的网银系统,占工行全年交易额的30%〜 40%。由于直连Internet,一直面临各种安全攻击,H3C数据中心安全 解决方案的部署全面的保护了用户信息和资产的安全,为其更好的开 展网银业务提供了保障。H3C的解决方案在奥运期间经受了大流量的 考验,实现了高性能的安全防护。 解决方案 42 中国石油总部数据中心 ——国内最大的企业级数据中心 中国最大的原油、天然气生产及供应商,中国石油业务涉及石油天然气勘 探开发、炼油化工、管道运输、石油贸易等各个领域,组织机构庞大、业务 系统众多。H3C新一代数据中心解决方案服务于中石油总部两地三中心的第一 个数据中心,该中心规划的服务器端口数量超过10000个,是目前国内规模最 大、应用最复杂、业务最繁忙的企业级数据中心。 湖北电力 ——三峡外送的起点西电东送的通道 南北互供的枢纽 湖北省电力公司属特大型国有企业,内网数据中心于2009年进行较大 规模的建设,将原来存放在各个地市公司的信息网数据进行大量上收,全 部存放在湖北省信息内网数据中心。H3C根据安全区域的不同,部署不同 的业务和安全策略,同时在数据中心核心部署了S12518交换机作为整个 网络的核心,为数据中心提供了高级别的可靠性、安全性和扩展性。 成都云计算中心 ——国内第一个成功商用云计算中心 成都云计算中心是国内第一个政府牵头、商业化运营的超级计算中 心、云计算中心,未来广泛应用于政府服务和各行各业的研究,每天进行 海量计算,计划实现一年内百万亿次、三年内千万亿次的计算能力。成都 云计算中心一期项目采用了S12508核心交换机作为网络核心,提供100G 的高速交换运行平台,同时一体化万兆分层分区安全解决方案和一体化端 到端安全控制方案确保超算中心的高安全性。 解决方案43 黑龙江国税 ——首批建设的“金税三期” 黑龙江省国税系统下辖13个市地局、65个县市局、74 个市属区局、9个市局直属税务分局、381个县属税务分 局、246个税务所、135个稽查局。新数据中心对全省的IT 系统进行了集中和整合。黑龙江国税数据中心采用H3C的 新一代数据中心解决方案,涵盖了核心交换机S12500、 汇聚交换机S7510E、数据中心级接入交换机S5800、 S5500,多台高端路由器、iMC管理平台和EAD业务组件等 产品,充分满足国税数据中心的新要求。 新一代数据中心 典型应用之 北京协和医院 ——国内著名医疗机构 北京协和医院专科齐全,技术力量雄厚,医疗、科 研、教学等方面均有相当的水平,综合实力在国内同行 中一直处于领先地位。协和医院对网络可靠性、安全性 要求极为苛刻,H3C以S12500/S5800等新一代数据中 心级产品、IRF虚拟化等技术亮点,获得用户的全面认 可。H3C集网络安全融合、虚拟化、统一管理等特点于 一身的高可用数据中心解决方案为协和医院搭建一套高 可靠、高效、统一管理的信息系统网络基础平台。 解决方案 44 湖南移动互联网数据中心 IDC ——国内第一个运营商 云计算中心 3G时代的到来,催生了移动云计算的热潮。一贯创新的 湖南移动在这个浪潮中走在前列,率先规划建设移动云计算 中心,以承载其自营业务和对外提供IAAS云计算服务。此 类业务实时在线、高速互访及安全隔离等特点给网络基础平 台提出了更高的需求。湖南移动IDC(云计算中心)采用以 H3C数据中心级交换机S12500为核心的产品和创新的IRF2技 术构建了一套端到端高可靠、高性能、易管理的云计算网络 平台。 腾讯 ——全球市值第三互联网公司 腾讯市值目前在全球互联网行业排名第三,仅次于 Google和亚马逊,近年来随着产品不断地丰富,腾讯对未 来的数据中心网络平台提出最为尖端的需求。H3C凭借专 业化水平、快速响应能力、团队配合、产品稳定度、供应 链等多个方面的优势,成为其为数不多的A级供应商。面对 超过1亿在线用户的并发访问,H3C数据中心解决方案为腾 讯提供了一个高度可伸缩的弹性架构,使其从容应对未来 业务发展。 解决方案45 新一代数据中心 相关产品之 数据中心相关产品 安全 SecBlade FW 机房拓扑管理 应用性能监控 服务运维管理 网络流量分析 统一数据管理 SecBlade IPS SecBlade AFC/AFD SecBlade LB SecPath F5000 SecPath T5000 SecCenter A1000 S12508S12504 S7506E-V S5500 S5800 S5810 S5820X S9508E-VS7510E S9512E S12518 核心 汇聚 接入 管理 H3C数据中心产品家族成员 解决方案 46 网络安全及优化: 交换机基于设备本身的BPDU Guard、PVLAN、五元 组绑定、802.1X集成安全特性,实现数据的二层保护;防 火墙实现数据的网络层安全保护;入侵防御系统IPS实现基 于应用层的深度安全保护;异常流量检测/清洗免遭DDoS (海量分布式拒绝服务)攻击的威胁;智能安全管理中心 自动对全网海量的安全事件和日志集中收集与统一分析, 对收集数据高度聚合存储及归一化处理,实时监控全网安 全状况,同时能够根据不同用户需求自动提供具有说服力 的网络安全状况与政策符合性审计报告。 相关产品: ◆ H3C SecBlade系列安全插卡 ◆ H3C SecPath F5000-A5超万兆防火墙 ◆ H3C SecPath T5000-S3高性能入侵防御系统产品 ◆ SecCenter A1000安全管理中心等 基础网络平台: 通过基于100G平台的数据中心级设备打造新一代数 据中心的核心网络平台,配以可靠、灵活的千兆、万兆以 太网接入交换机构建一张端到端的万兆无阻塞网络。网 络通过架构级可靠(业务网络与管理网络分离,模块化设 计)、网络级可靠(网元、链路、拓扑冗余设计)、设备 级可靠(数据中心级可靠性设备、双主控、关键部件冗 余)保障数据中心网络平台的高可用性。同时通过产品自 身的高扩展能力、模块化设计满足数据中心架构的高可扩 展性要求。 相关产品: ◆ H3C S12500数据中心级核心交换机 ◆ H3C S5820x数据中心级接入交换机 ◆ H3C S5810数据中心级接入交换机 ◆ H3C S5800数据中心级接入交换机 ◆ H3C S9500E路由交换机 ◆ H3C S7500E路由交换机 ◆ H3C S5500以太网交换机 ◆ H3C S5120以太网交换机等 数据中心管理: 用于实现数据中心网络、安全、存储、服务器、数据 库、中间件等资源的管理和调控,实现数据中心资源管理 一体化、业务性能可视化、运维流程规范化、融合安全智 能化四大管理目标。 相关产品: ◆ 资源管理:iMC智能管理中心、 UDM存储管理组件 ◆ 业务管理:APM应用管理组件、 NTA网络流量分析组 件、QoS服务质量管理组件 ◆ 运维管理:SOM运维服务管理组件、 iAR智能分析报表 组件、 UAM用户接入管理组件 ◆ 智能融合:EAD终端准入控制组件 H3C 数据中心解决方案产品 分为三大部分: 解决方案47 新一代数据中心 主要用户名单 之 H3C 新一代数据中心解决方案 主要用户名单 金融 中国银行上海数据中心 中国建设银行总行数据中心Server Farm 中国工商银行数据中心防护及工商银行17省数据中心 中国农业银行全国一级骨干网及35省分行数据中心 中国农业银行软开中心 中国人民银行征信数据中心 人民银行深圳分行数据中心 中国人保数据中心 徽商银行数据中心 包商银行数据中心 潍坊商业银行数据中心 开封市商业银行数据中心 中国石油天然气集团昆仑银行数据中心 天津银行数据中心 鄞州银行数据中心 龙江银行数据中心 山东省农信联数据中心 山西省农信联数据中心 安徽省农信联数据中心 江西省农信联数据中心 河北省农信联数据中心 广西省农信联数据中心 中国金融期货交易所数据中心 财富证券灾备中心 湘财证券备份中心 安邦财产保险数据中心 万国数据中心 能源电力 中石油总部数据中心 中石化华北分公司数据中心 郑煤集团数据中心 中石油吉林石化集团数据中心 中原油田普光分公司数据中心 湖北电力信息网中心 宁夏电力营销系统 天津电力数据中心 神火煤电数据中心 焦煤集团数据中心 陕煤集团陕北矿业数据中心 深圳燃气集团数据中心 政府 黑龙江省国税总局数据中心 辽宁省财政数据中心 国家人事部数据中心 国家科技部信息共享系统 中共中央办公厅数据中心 国务院办公厅数据中心 中共中央统战部数据中心 国家工商总局数据中心 中国电子口岸数据中心 金土工程一期数据中心 长江水利委员会数据中心 上海超算中心 成都超算中心 北京市建委新数据中心 成都市政府数据中心 山东地税数据中心 广西金保工程数据中心 广西地税数据中心 广西财政厅数据中心 安徽省金财工程数据中心 上海浦东新区电子政务网数据中心 重庆市国土局数据中心 四川省信访数据中心 解决方案 48 河北省文化共享中心数据中心 山西省办公厅信息化数据中心 西安市政府数据中心 西安社保数据中心 深圳南山电子政务数据中心 医疗 北京协和医院数据中心 湘雅医院数据中心 哈医大一院数据中心 湘雅二院数据中心 北京西苑医院数据中心 海南省人民医院数据中心 海口人民医院数据中心 江西南大附一院数据中心 江西南大附二院数据中心 昆明昆华医院新大楼数据中心 吉林大学附属第二医院数据中心 江苏省中医院数据中心 无锡市第二人民医院数据中心 上海市第六人民医院数据中心 沈阳陆军总医院数据中心 兰州大学第二人民医院数据中心 天津市妇保医院数据中心 企业 北车集团长春轨道客车厂数据中心 中粮集团数据中心 三一重工数据中心 楚雄卷烟厂数据中心 长安汽车集团数据中心 华润集团数据中心 天士力集团数据中心 养生堂集团数据中心 南方日报集团数据中心 江西日报集团数据中心 海航集团数据中心 苏州永钢集团数据中心 吉林钢铁集团数据中心 建龙集团东北区数据中心 鞍钢凌源钢铁集团数据中心 天津电视台数据中心 北京电视台高清节目数据中心 永钢集团数据中心 方正集团数据中心 运营商 四川电信西部数据中心 湖南移动数据中心 江西电信数据中心 海南移动数据中心 江苏有线数据中心 广州广电数据中心 合肥有线数据中心 互联网 腾讯数据中心 百度数据中心 淘宝数据中心 搜狐数据中心 盛大在线数据中心 水晶石高性能计算数据中心 千橡互动数据中心 Chinacache 数据中心 网易数据中心 优酷网CDN业务网 搜狐畅游数据中心 金山软件网游数据中心 上海数讯数据中心 教育 浙江大学数据中心 西南科技大学数据中心 华南理工大学数据中心 华中农业大学数据中心 北京师范大学数据中心 北京外国语大学数据中心 西南科技大学数据中心 基于统一交换架构的 新一代数据中心解决方案 Copyright© 2009 杭州华三通信技术有限公司 保留一切权利 免责声明:虽然 H3C 试图在本资料中提供准确的信息,但不保证本资料的内容不含有技术性误差或印刷性错误,为此 H3C 对本资料中的准确性不承担任何责任。H3C 保留在没有任何通知或提示的情况下对本资料的内容进行修改的权利。 CN-082730-20101106-BR-SX-V2.0
还剩53页未读

继续阅读

下载pdf到电脑,查找使用更方便

pdf的实际排版效果,会与网站的显示效果略有不同!!

需要 5 金币 [ 分享pdf获得金币 ] 0 人已下载

下载pdf

pdf贡献者

lsh0329

贡献于2015-05-10

下载需要 5 金币 [金币充值 ]
亲,您也可以通过 分享原创pdf 来获得金币奖励!
下载pdf