支撑千万级用户的异地多点网络架构演进


Gdevops.com 全球敏捷运维峰会 广州站演讲人:李彬成 支撑千万级用户的异地多点 网络架构演进 Gdevops 全球敏捷运维峰会 Gdevops.com 全球敏捷运维峰会 广州站 1 2 3 2007-2010年 中盈优创公司,主要负责运营商骨干网 及城域网优化工作 2010-2015年 腾讯公司,负责数据中心网络相关工作 2015年4月加入魅族,负责移动互联网数据中心网络的 规划设计、优化、运营工作 个人介绍 Gdevops.com 全球敏捷运维峰会 广州站 Agenda 移动互联网背景 数据中心演进历程 网络运维监控 数据中心未来挑战 1 2 3 4 Gdevops.com 全球敏捷运维峰会 广州站 公司历程 授权&环境搭建 . 公司主业:MP3|线下实 体渠道 . 互联网业务:BBS|官网 . 公司主业:智能手机 . 互联网业务:BBS|官 网|电商|flyme云服务 |互联网产品 . 公司主业:智能手机 |Flyme互联网运营|智能 家居|电商 . 互联网业务:BBS|官网| 电商|应用中心|游戏中心| 游戏发行|多媒体|O2O|大 数据|flyme云服务|开放平 台 2003-2008 2009-2013 2014-至今 Gdevops.com 全球敏捷运维峰会 广州站 2015年业绩 超2000万销量,增长率350%, 魅族成全球增长最快品牌 应用商店现有超过100万款应用 总下载量超过100亿 营收能力同比增长12倍 Gdevops.com 全球敏捷运维峰会 广州站 基础资源 网络设备 200+ 服务器 2000+ 虚拟子机 2500+ 互联网带宽 4G+ 专线带宽 500M+ CDN带宽 100G+ Gdevops.com 全球敏捷运维峰会 广州站 运维问题 架构 监控 运营商 硬件 问题挑战 硬件性能瓶颈,高 峰期CPU高达99% 网络架构脆弱, 故障不定时爆发 监控覆盖率低,故 障无法跟踪定位 运营商复杂,公 网质量无法保障 Gdevops.com 全球敏捷运维峰会 广州站 Agenda 移动互联网背景 数据中心演进历程 网络运维监控 数据中心未来挑战 1 2 3 4 Gdevops.com 全球敏捷运维峰会 广州站 演进之路-练级阶段 2010-2011 2011-2012 2013 • 架构:外网1.5个机柜 • 业务:魅族官网、社区 • 人力:开发兼运维 • 架构:5个机柜,二层级联、机架式单系统 服务器 • 业务:魅族官网、社区、商城、Flyme官网 • 人力:成立业务运维、DBA运维 • 架构:二层STP网络架构、 IBM刀箱+EMC存 储+VMWARE 虚拟化 • 业务:魅族官网、社区、商城、Flyme官网 、云服务 • 人力:业务运维、DBA运维 Gdevops.com 全球敏捷运维峰会 广州站 演进之路-排位阶段 起步-》稳定-》标准-》数据化 2013 V1.0 性能/稳定性差 2014 V2.0 大二层虚拟化 2015 V3.0 标准化设计 2016 V4.0 SDN网络 Gdevops.com 全球敏捷运维峰会 广州站 英勇黄铜-V1.0 典型代表机房:广州亚太IDC 2015年12月已经裁撤. 特点及不足: • 硬件设备:性能和稳定性不足,核心设备经常会出现CPU负载过高导致重启 • 网络架构:传统二层STP网络架构,链路资源利用率低、可靠性低、维护成本大 二级运营商 珠海总部/华南/华东IDC C3750 C3750 C2960 C2960 C2960 C2960 C2821 C3945 DMVPN+EIGRP Gdevops.com 全球敏捷运维峰会 广州站 不屈白银-V2.0 典型机房:华南IDC、华东IDC. 特点: • 硬件设备:引入数据中心级高密交换机,稳定支撑承载互联网业务 • 网络架构: 1)引入10G万兆大流量区;2)大二层虚拟化网络架构;3)内、外、管理流量混 二级运营商 珠海总部/华南/华东IDC H9810 H9810 H6800 H6800 H5130 H5130 C4431 C3945 DMVPN+EIGRP H6300 H6300 H6300 LVS Gdevops.com 全球敏捷运维峰会 广州站 普通区 荣耀黄金-V3.0 典型代表机房:华北、海外IDC. 特点: • 标准化:魅族第一个全面统一规格、统⼀规范、标准化的IDC网络架构。 DCI LC WC ACS 带外 管理 WA LVSL LVSWDWA Internet DDOS/WAF LVS区 (Fullnat) 大流量区 外网 内网管理网 网络 设备 带外 服务 器带 外 管控 服务 器 远程 部署 服务 器 LA MC MA LA GWA 游戏专区 DLA GLA Gdevops.com 全球敏捷运维峰会 广州站 单机房问题 单机房问题:扩展难、无法容灾、无就近接入 . 应对措施: • 制定运营商、代理商服务SLA协议标准,比如99.9% 。 • 多线IDC+分布式数据中心部署,提高业务部署冗余性,提高业务部署冗余性 Gdevops.com 全球敏捷运维峰会 广州站 多机房业务架构 GSLB全局流量调度 移动API 开放平台 运营平台 移动API Services Services Redis集群 Redis集群 DB Slave DB Master DB Slave MQ 华南 华东 读 读 读/写 写 读 读 Replication Task 接入层、服务层、资源层 异步写 异步写 Gdevops.com 全球敏捷运维峰会 广州站 DCI架构-早期 华南\华东\华北数据中心 香港\深圳\北京分公司 珠海总部办公大楼 缺陷: • 单点问题 • 混合问题 • 质量问题 • 性能问题 • 兼容性问题 •… Gdevops.com 全球敏捷运维峰会 广州站 DCI架构-VPN平面 联通VPN(备) 华南数据中心 华东数据中心 华北数据中心 海外数据中心 电信链路 联通链路 电信VPN(主) 新VPN平面优势: 1、性能提升:VPN吞吐量高达 30Gbps以上 2、路由优化:DMVPN+EIGRP- >IPSEC+BGP 3、可用性提升:99%->99.5%以上 冗余测试: 1、当电信线路发生中断故障,中断10-12S路由切 换到联通链路。 Gdevops.com 全球敏捷运维峰会 广州站 DCI架构-专线平面 A 专线平面 B VPN平面 (电信/联通) 华南数据中心 华东数据中心 华北数据中心 海外数据中心 专线链路 IPSEC链路 专线平面优势: 可用性提升:99.9%以上 VPN平面+专线平面优势: 可用性提升:99.95%以上 专线平面(A):环保护 比如:华南-》华东,当主路径发生异常故障中断,秒级切换至 华南-》华北-》华东 VPN平面(B):公网冗余保护 比如:华南-》华东,当专线平面A同时发生异常故障中断,秒 级切换至B VPN平面 Gdevops.com 全球敏捷运维峰会 广州站 办公网与IDC解藕 . 数据中心-》隔离边界墙》办公网:通过隔离边界墙实现办公网与IDC的隔离,默认只放通运维相关的 端口,策略申请需要安全部门评估审批 数据中心 办公网 隔离边界墙 Gdevops.com 全球敏捷运维峰会 广州站 Agenda 移动互联网背景 数据中心演进历程 网络运维监控 数据中心未来挑战 1 2 3 4 Gdevops.com 全球敏捷运维峰会 广州站 监控痛点 监控系统可 读性差 监控项告警 重叠 监控系统覆 盖率低 业务产品带 宽模糊 Gdevops.com 全球敏捷运维峰会 广州站 监控模板标准化 标准化-前 标准化-后 . 监控配置的命名、参数随心而定、参差不齐标准。 . 监控配置进行统一规范标准化。 Gdevops.com 全球敏捷运维峰会 广州站 告警收敛 . 3月份优化前共产生3695条/月网络类告警; 5月份优化后共产生2452条/月网络类告警,告警条目下降36% 收敛-前 收敛-后 . 应对措施: • 告警分类:Info(通知)、Warning(告警)、Disaster(灾难) 。 • 通过设置具体的告警阀值,以邮件、短信通知值班人员 • 接入告警平台,对告警信息进行分类,区分出网络告警、服务器告警、业务告警 Gdevops.com 全球敏捷运维峰会 广州站 网络质量监控(一) 专线质量监控 . 问题: When、 Where . 应对措施: • 触发器:运营商公网链路质量丢包率大于8%、专线丢包率大于2%将触发告警通知。 • 监控范围:我们把接入运营商网络时经过的所有关键节点(二级运营商机房的边界、一级运营商网络边界)均 纳入到我们的监控平台 Gdevops.com 全球敏捷运维峰会 广州站 网络质量监控(二) . 在各IDC部署一台SmokePing服务器,对全国 各省区电信、联通、移动的链路质量进行监控 . 通过基调、博睿等第三方进行网络质量监控 Gdevops.com 全球敏捷运维峰会 广州站 带宽可视化 . 问题:Who . 应对措施: • 梳理业务产品树 • 业务产品带宽可视化 Gdevops.com 全球敏捷运维峰会 广州站 Agenda 移动互联网背景 数据中心演进历程 网络运维监控 数据中心未来挑战 1 2 3 4 Gdevops.com 全球敏捷运维峰会 广州站 多机房IDC布署规划 国内:分布式 海外:全球化 Gdevops.com 全球敏捷运维峰会 广州站 SDN+魅族云 . DCI全局流量调度 . 租户隔离 . 网络配置自动下发 . 云业务的快速更变 充分利用基础资源,最大程度发挥“魅族云”的弹性与 自动化优势,实现公有云的业务增值 Gdevops.com 全球敏捷运维峰会 广州站 THANK YOU! Gdevops 全球敏捷运维峰会
还剩29页未读

继续阅读

下载pdf到电脑,查找使用更方便

pdf的实际排版效果,会与网站的显示效果略有不同!!

需要 10 金币 [ 分享pdf获得金币 ] 0 人已下载

下载pdf

pdf贡献者

antgril

贡献于2018-06-05

下载需要 10 金币 [金币充值 ]
亲,您也可以通过 分享原创pdf 来获得金币奖励!
下载pdf