盛大云平台的架构设计和实现(杜海)


盛大云平台架构设计和实现 杜 海 盛大云计算 架构师 duhai2008@hotmail.com 个人介绍 2010-至今 盛大创新院 云计算架构师 高级研究员 2008-2010 百度 虚拟化平台研发 2005-2008 虚拟化技术研究 毕业于复旦大学 , 关注 linux内核 , Xen, 分 布式存储 , IaaS等主题 , 热衷于虚拟化技术的 研究和企业级应用 。 杜海 目 录 1. 盛大云平台综述 2. 盛大云主机架构 3. 分布式镜像系统 4. 网络安全系统 5. 资源调度系统 6. 实践中的问题 什么是盛大云 n  公有 云平台 l  提供基础资源即服务( IAAS) n  类似国际领先的亚马逊 AWS的服务模式 l  被证明成功的商业模式 We are in the business of selling infrastructures 盛大云的作用 降低互联网 创业门槛 节省成本 提高效能 弹性扩展 安全稳定 帮助用户关注 自身核心业务 鼓励用户创新 2010年中 2011.1 2011.7.22 盛大集团将云计算 列为下个十年三大 战略之首 成立盛大 云计算创 新院 , 主导云计算 业务 推出 盛大云 平台 盛大云发展历史 n  互联网创业团队和个人 n  物联网企业 n  政府 、科研 、教育机构 n  国外公司在中国的分部 初期外部目标用户 盛大云官网 —— www.grandcloud.cn 盛大云平台产品 n  2011.7.22 – 盛大云 (Grand Cloud)平台公测 l  云主机 (Compute Cloud) l  云硬盘 (Elastic Block Service) l  云存储 (Cloud Storage) l  数字分发 (Digital Delivery System) l  云监控 (Cloud Monitoring Service) l  云数据库 (Mongo in Cloud) 自主开发的拥有 100%知识产权的国产云平台 盛大云产品 目 录 1. 盛大云平台综述 2. 盛大云主机架构 3. 分布式镜像系统 4. 网络安全系统 5. 资源调度系统 6. 实践中的问题 n 部署规模 &效率 l 盛大镜像系统 n 安全 l 网络安全系统 l 云安全 n 资源管理 l 资源调度系统 n 数据可靠性 l 云硬盘 l 云存储 公有云平台面临的挑战 n 镜像系统 l 大规模并发条件下快速创建云主机 l 云主机的备份和恢复 n 网络安全系统 l 用户组隔离 n 调度系统 l 池资源分配 ---计算资源 、 存储资源 、 网络资源 l 性能控制和隔离 云主机三大核心系统 云主机系统架构 用户 SOAP/ REST 接入层 云控制器 镜 像 系 统 网络安全 系 统 资源调度 系 统 工 作 模 块 计算资源 工 作 模 块 工 作 模 块 工 作 模 块 存储资源 网络资源 目 录 1. 盛大云平台综述 2. 盛大云主机架构 3. 分布式镜像系统 4. 网络安全系统 5. 资源调度系统 6. 实践中的问题 云存储 云主机镜像 云主机资源池 物理机 云主机磁盘镜像生成过程 纵向流量,瓶颈 镜像系统的位置 l 介于计算资源池和存储资源池之间 l 每个计算节点同时划出⼀部分资源作为镜 像系统的存储节点 云存储 镜像系统 云主机 n 设计目的 l 支持大规模并发 、 高效的云主机部署 l 云主机的备份 , 克隆 l 云主机的快速恢复 n 实现 l 基于 Key-Value的定制化分布式存储系统 n 跟云存储的区别 l 云存储 : 可靠性 ; 海量数据 ; l 镜像系统 : 效率 ; 备份功能 ; 镜像系统 云存储 存储节点 存储节点 存储节点 云主机资源池 物理机 基于镜像系统的 镜像生成过程 n 校验 n 切片 n 元数据调度 n 分发 云主机镜像上传 云主机资源池 存储节点 存储节点 存储节点 云存储 物理机 系统架构 n Key-value l Key: 文件名 +CRC32检验值 n 元数据写 : 9份 n 元数据读 : 5份 , 判断时间戳 元数据管理 n 镜像缓存备份数动态调整 l 镜像热度 : 前 5分钟内下载次数 l 高热度镜像 : 扩大备份数 l 存储空间满 : 减少最冷镜像备份数 ; LRU算法 ; 镜像弹性扩展 目 录 1. 盛大云平台综述 2. 盛大云主机架构 3. 分布式镜像系统 4. 网络安全系统 5. 资源调度系统 6. 实践中的问题 n 保证云主机安全 n 端口访问控制 n 集群权限控制 网络安全系统 当前盛大云网络体系结构 vm1 bridge eth0 Vif3.0 peth0 Gateway(NAT Server) bridge tap6.0 peth0 host1 host2 vm2 eth0 Internet bridge Vif2.0 peth0 host3 vm3 eth0 Vm3’ eth0 Vif5.0 Xen host 物理逻辑视图 host vm1 vm1 vm1 vm1 vm1 vm Grand cloud 用户视图 vm1 vm2 vm3 vm4 client Web server mysql ftp server Bill Gates John Chambers n 限制云主机可以发送的包内容 n 禁止云主机发送修改过 MAC或 IP的包 n ARP攻击防御 n 以太网上出现的 MAC: »  Host1Peth0, Host2Peth0, 所有 host »  »  GW n VM看到的 MAC—只有⼀个 (mac masquerade): »  FE:FF:FF:FF:FF:FF 云主机安全保护 vm1…, vm2…,所有云主机 ARP 攻击防御 vm1 bridge eth0 Vif3.0 peth0 bridge Vif6.0 peth0 host1 host2 vm2 eth0 Gateway(NAT Server) Internet ASRA(ARP Spoofing Resistant Agent) ARA [MAC NAT] [ARP拦截] [ARP响应] ARA [MAC NAT] [ARP拦截] [ARP响应] 目 录 1. 盛大云平台综述 2. 盛大云主机架构 3. 分布式镜像系统 4. 网络安全系统 5. 资源调度系统 6. 实践中的问题 n 资源池 l 隔离性 l 公平性 l 稳定性 l 高性能 资源管理发展趋势 n CPU隔离 n 网络隔离 n 磁盘 I/O隔离 资源隔离技术 CPU隔离策略 l 为所有虚拟机的 VCPU绑定物理 CPU l 为 Domain-0绑定物理 CPU l 为所有 VCPU设定权值 , 以便多个 VCPU共享⼀个物理 CPU时可以公平调 度 CPU资源隔离示意图 网络隔离策略 网络隔离 n 使用 iptables+tc进行网络隔离 n 入口流量 : ⼀般不作限制 , 但也可以通过策略限制 n 出口流量 : 对网桥设备使用 HTB控制 。 网络隔离-实现   网络控制图示 磁盘 I/O隔离策略   dm-ioband   不设置绝对上限   只设置比例 I/O隔离   非活跃组的带宽被活跃组使用 目 录 1. 盛大云平台综述 2. 盛大云主机架构 3. 分布式镜像系统 4. 网络安全系统 5. 资源调度系统 6. 实践中的问题 功能问题(简单 ) n  双线 n  Etc. 技术问题(困难 ) n  性能隔离 n  安全体系 n  大规模快速部署 n  Etc. 其他问题(不定 ) n  域名备案 n  Etc. 谢 谢 ! Q & A
还剩45页未读

继续阅读

下载pdf到电脑,查找使用更方便

pdf的实际排版效果,会与网站的显示效果略有不同!!

需要 15 金币 [ 分享pdf获得金币 ] 2 人已下载

下载pdf