京东Docker容器实践


www.jd.com 京东/云平台/系统技术部 何小锋 京东弹性计算实践 www.jd.com 议题 京东弹性计算之路1 弹性计算架构2 弹性计算应用场景 5 数据驱动的精细化运营 弹性调度策略及算法3 4 www.jd.com 私有云面临得挑战 扩容慢 部署复杂 运维困难 硬件成倍增长 成本高 资源利用率低 抱怨资源不够 交付效率 不高 挑战挑战 用户需求 稳定性 性能 用户习惯 www.jd.com 弹性计算之路 2015/11/112015/11/11 2015/6/18 2015Q1 2014Q4 2013 弹性计算 平台 弹性落地 10000+ 全面推广 60000+ www.jd.com 从KVM迁移到Docker Docker (私有云) Docker (私有云) BB EE CC DD AA 高性能 高稳定性 低安全性 快速部署 轻量 www.jd.com 弹性计算架构 弹性计算平台 = JDOS(JD Datacenter OS)+CAP(Cloud Application Platform)。 nJDOS实现实现基础设施(网络,物理机,存储)的资源管理、容器的生命周期管理、 监控指标采集; nCAP负责应用治理、部署、监控报警、资源利用率统计、手动和自动的弹性伸缩。 基础平台(JDOS) (OpenStack+Docker+JFS+OVS) 应用平台(CAP) (部署集成、弹性伸缩) 业务系统 IDC资源 www.jd.com OpenStack 成熟度01 快速交付02 一套架构03 很成熟,社区非常活跃 积累了很多经验,快速交 付成果 公有云和私有云一套架构 。Windows虚拟机需求 www.jd.com Docker Driver www.jd.com 网络(OVS/VLan) n 为了兼容现在的基础设施系统,满足用户习惯,每个容器都有独立的IP。 n 禁用了Docker网络,采用Neutron集成OVS; n 优化OVS转发层,提升网络小包延迟,适用于微服务调用; www.jd.com 存储 XFS 文件系统 JFS 块存储 数据卷 日志 镜像分层合并 应用层应用层 基础层基础层 OS层OS层 变更频繁 变更少 变更很少 www.jd.com 镜像中心 www.jd.com 配置中心 正式环境 分组1 测试环境 分组1配置中心 正式环境 分组2 一个镜像部署到多个环境中,根据应用、环境和分组从配 置中心拉取配置。 • App:CAP • Group:V2 • Env:Production www.jd.com CAP 架构 核心是一套工作流,基于Zookeeper分布式调度引擎来实现。能动态注册发现节点; 能控制单个节点并发任务数,失败重试次数,确保同一应用互斥任务串行执行。 www.jd.com 系统监控指标 指标 CPU占用 连接数 内存占用 网络流入 网络流出 系统负载 磁盘占用 存活 www.jd.com 监控架构 n指标数据带有明显的时间特性,每日数据上亿,采用了成熟的OpenTSDB方案。 n提供了从应用和实例多个维度查看负载情况,满足用户的需求。 n可以对应用配置警策略,进行短信或邮件报警。 www.jd.com 宕机探测架构 www.jd.com 硬件故障探测 www.jd.com 监控页面 www.jd.com 调度流程 www.jd.com 弹性扩容流程 应用在启动之前可能需要数据库授权,启动之后需要挂载VIP,注册统一监控和 统一日志。如何能自动发现应用的注册信息,采用了模版方式。应用先申请一个 容器,手工注册这些信息,后续的扩容会以该容器为模版来进行自动注册 www.jd.com 故障迁移流程 当遇到容器或物理机故障,需要进行快速的迁移,迁移后的容器需要保持原有的 IP,避免还要重新申请授权。 www.jd.com 弹性调度算法 n 调度单元是应用分组在一个机房 的实例。 n 根据应用分组在指定机房的整体 负载情况,预测下一时刻负载来 进行弹性。 www.jd.com 应用场景 n 双11全面使用弹性云来备战,线上应用在新机房都部署在容器上; n 核心应用如:网站,交易,订单履约,配送,售后,无线,拍拍,金融, O2O等等平稳运行在容器上 www.jd.com 容器资源利用率 n 以一小时为单位,计算容器的资源最大使用率; www.jd.com 应用资源利用率 n 根据应用和容器的关系,统计应用资源使用率; www.jd.com 部门资源利用率 n 根据负责人、部门、应用和容器的关系,统计部门资源使用率; www.jd.com 一键伸缩 n 批量快照水平扩容; n 批量水平扩容; n 批量水平缩容; n 批量垂直搜索; www.jd.com 应用部署巡检 n 定期巡检应用容器部署情况,邮件报告; 规格不一致 03未部署 02超载 01 n 单个机房部署过多 n 单个交换机部署过 多 n 单个物理机部署过 多 n 申请的容器没有使用 n 容器规格不均匀,可能 造成流量负载不均匀 www.jd.com 实践经验 n 无状态,同时对磁盘IO要求不高的应用,很适合部署到弹性云; n 微服务应用由于能自动服务注册发现,辅助均衡,非常适合部署到弹性云 n 推荐万兆网络和网卡,避免网络共享出现资源竞争; n 稳定的操作系统版本; n 推荐高配置物理机,合理得CPU和内存比,便于充分利用资源; n 采购高质量的交换机和物理机; www.jd.com 谢谢!
还剩31页未读

继续阅读

下载pdf到电脑,查找使用更方便

pdf的实际排版效果,会与网站的显示效果略有不同!!

需要 5 金币 [ 分享pdf获得金币 ] 0 人已下载

下载pdf

pdf贡献者

neke

贡献于2016-02-06

下载需要 5 金币 [金币充值 ]
亲,您也可以通过 分享原创pdf 来获得金币奖励!
下载pdf