京东弹性计算云


京东弹性计算云: 软件定义数据中心与容器集群调度 刘海锋 内部基础云服务建设 广告 拍拍 金融 商城 中间件系统 数据存储 弹性计算云 智能 硬件 国际 化 新业 务 挑战: 越来越多的机器 server server server trading OFC Webpage serving server server search advertising server server server hadoop spark mpi server Image serving server Streaming compute 京东弹性计算云之路 在线容器 11000+ 战略项目 2014/10 2015/2 2015/618 新数据中心建设 2015/8 Engineering is all about choices Choice I. 虚拟机还是容器 • 技术没有新旧优劣 • 统一管理物理机、虚拟机、轻量容器 – Docker作为一等公民 Choice II. 激进改造还是逐渐变革 • Q: Mesos, Kubernetes, CoreOS…? • A : – OpenStack married with Docker  ‘胖容器’ – Proprietary container scheduling Choice III. 网络 • VLAN + OVS VM1 switch nova-compute neutron-openvswitch-agent 计算节点 OVS Eth1 Eth2 VM2 neutron-dhcp-agent neutron-openvswitch-agent neutron-l3-agent 网络节点 OVS Eth1 Eth2 VM3 计算节点 OVS Eth1 Eth2 VM4dnsm asq dnsm asq eth0 172.17.4.10 manage switch eth0 172.17.4.11 eth0 172.17.4.12 VLAN ID converted with flow table dl_vlan=101 => mode_vlan_vid:1 dl_vlan=102 => mode_vlan_vid:2 VLAN ID converted with flow table dl_vlan=1 => mode_vlan_vid:101 dl_vlan=2 => mode_vlan_vid:102 OVS VLAN nova-compute neutron-openvswitch-agent Trunk模式、Bond4 Trunk模式、Bond4 Tag 1 Tag 2 Tag 1 Tag 2Tag 1 Tag 2 VLAN 101 VLAN 102 tap1 tap2 OpenvSwitch Namespace ns1 Namespace ns2 Linux Server OVS with two veth pairs Veth pair ovs- tap1 ovs- tap2 Veth pair tap1 tap2 OpenvSwitchNamespace ns1 Namespace ns2 Linux Server OVS with two ovs ports OVS port OVS port Choice IV. 存储 • No device-mapper etc. Build our own. Container /export/L0 (tmpfs) /export/L1 (SSD) /export/L2 (SAS) /export/L3 (JFS) Local Host Choice V. 部署还是镜像 • 第一步:基础镜像+自动部署 • 第二步:完全基于镜像来发布应用 – 1. 快照、分发、上线 – 2. 统一镜像中心、预发环境制作、推送线上 – 3. 配置中心:程序与配置分离 Choice VI. 管理调度 • 自主研发 – 紧扣业务需求 – 集成部署、监控、日志等基础工具链 – 按负载弹性伸缩 • 路线图 – 短期:“没有服务器,直接上线” – 中期:PaaS, or CaaS – 长期:在线离线混布 软件定义数据中心与容器集群调度 Jingdong Datacenter Operating System (JDOS) Containers Persistent storage (JFS) Networking (vlan-ovs) Cloud Application Platform (CAP) (deploy, logging, monitoring, container cluster scheduling) Various Applications IDC physical infrastructure 示范应用:弹性微服务 两类服务:Web, App 弹性伸缩策略:资源指标,历史趋势,TPS性能 规模 今年618:生产环境11000+个docker实例,接入了1000+应用 目前线上实例超2W 到年底将再翻两番,大部分应用程序通过容器技术来发布 单品页 图片 青龙系统 O2O 无线 秒杀 团购 频道页 风控 高速缓存与KV存储 (定制系统,瘦容器化) 登录 MySQL部署管理 开发测试 618大促中发挥的作用 618大促 B E C D A 618当天弹性扩容 加速资源申请审批 节约物理资源 稳定支持大流量应用 (图片展现、单品页 、秒杀…) 节约部署上线时间 正在做的事情 • 规模 – 数个新IDC建设 – 容器实例数目迈向十万 • 技术 – 开发测试线上全流程、平台化服务 – 在线离线业务统一调度 愿景 • 真正有”弹性”的私有云 – 管理所有机器,成为业务的基石 – 应用与物理资源完全解耦 – 全自动化维护,让研发生活更美好
还剩18页未读

继续阅读

下载pdf到电脑,查找使用更方便

pdf的实际排版效果,会与网站的显示效果略有不同!!

需要 5 金币 [ 分享pdf获得金币 ] 0 人已下载

下载pdf

pdf贡献者

pm6n

贡献于2015-09-20

下载需要 5 金币 [金币充值 ]
亲,您也可以通过 分享原创pdf 来获得金币奖励!
下载pdf