百度基础平台和开放云容器应用实践


百度云服务容器应用实践 谢广军 百度 基础架构部 agenda • 百度云平台介绍 • 容器技术在百度私有云 • 容器技术在百度开放云 • 未来展望 百度云平台 百度私有云 数据中心 IDC 北极 整机柜 自研万兆 交换机 高温耐 腐 服务器 集装箱 数据中心 百度 自研SSD 百度IDC 集群 操作系统 机器管理 自动调度 故障恢复 资源管理 计算服务 大规模分布式计算 大规模机器学习 流式计算 存储服务 对象存储 nosql 文件系统 RDB 块存储 基础组件和服 务 HHVM CACHE 基础库 TRACE Pbrpc 资源账单 预算管理 账号管理 私有云平台 云监控 云安全 资源账单 预算管理 账号管理 私有云平台 统一入口 权限认证 百度开放云 私有云 | 问题?思路?挑战? • 问题 & 思路 • 资源利用不均衡 – 共享机器/在线离线混布 – Over commit • 故障处理效率低 – 将服务和机器解耦开 – 自动化框架 • 预算/调配困难 – 将所有机器统一运营 – 资源化分配 – 小池变大池 • 挑战 • 解决好混布/解耦带来的技术 问题 – 相互影响:container技术 – 服务发现:naming机制 – 老运维系统的并存:监控等 • 降低业务的迁移成本 – 老的自动化系统小代价迁移 – 老的调度器小代价迁移 • 运营问题 – 设计新预算模式 – 设计新运维模式 – 业务分级和全局序 私有云架构|Matrix Google一代方 案 百度进化升级方 案 Matrix生态 基础架构 资源控制 虚拟 文件系统 PID隔离 网络流控 优先级 配额 抢占 监控 名称服 务 认证 授权 配置 管理 预算 结算 系统 MATRIX 集群操作系统 资源调度 Master 资源抽象 Agent 迁移 故障检测 硬盘 自维修 基础环境 一致化 集群管理 Ultron 自动报修 在线业务 离线计算业务 代理计算业务 在线业务平台 离线计算调度器 代理计算调度器 平台 业务 基础服务 Casio 采集 传输 存储 Agent |架构 • 实例与Container逻辑分离 • 统一的Container操作接口 – 支持cgroup、LXC、 kvm等虚拟方案 • 实例部署方式 – 支持archer,imci – 如果有业务需求, 资源模型 | Matrix中的单机资源隔离 • MATRIX的单机资源,由6个资源维度 • CPU 1个逻辑核为10个单位资源。 • MEMORY • NETWORK_IN,NETWORK_OUT • DISK_SPACE,DISK_INODE • THREADS 线程数 • NET_CLS 端口 • 每个资源维度的定义 • Quota 资源使用下限 ->软限 • Limit 资源使用上限 -> 硬限; limit = -1 可以超发 • 资源优先级 – Realtime 在线实例 在线实例可以抢占离线实例资源 – BATCH 离线实例 资源模型 | Matrix中的单机资源隔离 Instance-1: quota == limit , 不能超发 Instance-2: quota < limit , 上限为limit,实际使用没有超发 Instance-3: quota < limit, 上限为limit,实际使用也超发 Instance-4: limit -1, 可以超发,只有软限没有硬限 资源隔离 | Matrix中的环境隔离 开放云 | 问题?思路?挑战? • 问题 & 思路 • 服务实例的隔离 – kvm – docker • 服务实例 in VPC – VxLan – 虚拟网桥 • 共享资源池 – 同时支持多种hypervisor – 调度物理队列 • 挑战 • 服务实例启动速度 – 相虚拟机启动速度慢 • 安全性问题 – 跳到宿主环境 – VPC逃逸 • 部署问题 – 速度快 – 支持打包格式 Docker in BCC – VPC br-int br-tun VM VM qemu-kvm br-int br-tun CT CT docker br-int br-tun dnsmasq dnsmasq vrouter vrouter br-ex Docker driver Libvirt driver Network node Compute node1 Compute node2 Docker in BCC – 存储 • 根分区: looped device + thin-provision • Home分区: volume + binding-mount • bmr多盘分区 • CDS卷 Docker in BCC – 调度 • image_property + vm_mode • 支持bmr调度到多盘机器 • Disk share的需求 Docker in BCC – 镜像与快照 • 利用docker registry实际管理docker 镜像,支持差分上传下 载 Docker in BCC – 安全 • Container安全封装 • Non-root user • Namespace/cgroup/capabilites • Docker daemon attack surface • Unix socket 代替 tcp socket • 以non-root运行docker daemon • 系统服务 • SUID binaries • Wsh • Strong kernel • Seccomp-bpf • GRSec • SELinux/AppArmor Docker in BCC – 当前进展和收益 • 进展 • API: boot/reboot/stop/pause/unpause • VPC • root分区(性能有损耗)/ Home分区(性能几乎无损) • 内核centos 6.5/docker 1.1.2 • Glance上传下载(全量镜像) • 应用:RDS, SCS等产品 • 收益 • RDS性能与物理机裸测几乎持平 • Container启动时间 秒/毫秒级 未来展望 • 私有云兼容性升级方案 • 支持image打包特性 • 标准docker registry支持 • 开放云docker安全性提升 • Docker + runtime(进行中) • Clear container(评测中) • 开放云部署服务
还剩21页未读

继续阅读

下载pdf到电脑,查找使用更方便

pdf的实际排版效果,会与网站的显示效果略有不同!!

需要 5 金币 [ 分享pdf获得金币 ] 0 人已下载

下载pdf

pdf贡献者

pm6n

贡献于2015-09-20

下载需要 5 金币 [金币充值 ]
亲,您也可以通过 分享原创pdf 来获得金币奖励!
下载pdf