阿里云弹性计算平台 底层架构及演进 伯瑜@ aliyun.com 议程 总体介绍 存储底层基础架构以及演进 网络底层基础架构以及演进 虚拟化底层基础架构以及演进 总体介绍 – 弹性计算 存储底层基础架构 VM PV前端 后端 后端 VM PV前端 后端 后端 VM PV前端 VM PV前端 写IO的几种模式 – buffer write 用户程序 存储介质 操作系统Page cache write Cache 操作系统 writeback 写IO的几种模式 – direct write 用户程序 存储介质 操作系统Page cache write Cache 写IO的几种模式 –write+sync 用户程序 存储介质 操作系统Page cache write Cachesync 写IO的几种模式 –O_SYNC 用户程序 存储介质 操作系统Page cache buffer write Cache direct write 本地SAS盘write的性能测试结果 用户IO模型 Q: 如何保证VM中应用程序的数据完整性，保证CACHE系 统数据符合程序的预期？ A: 保证VM数据完整性语义透传IO全链路 VM SYNC->PV前端FLUSH->后端->host->cache系统->盘 古分布式存储系统 数据安全背后的故事 • 用户sync或者O_SYNC • 操作系统将数据写入存储 • direct write或者page cache回写 • 操作系统指示存储介质将数据写入非易失介质 • flush或者write barrier 存储底层基础架构演进 Cache系统 VM PV前端 后端 后端 VM PV前端 后端 后端 VM PV前端 VM PV前端 存储底层基础架构演进 Cache系统 VM PV前端 后端 后端 VM PV前端 后端 后端 VM PV前端 VM PV前端 存储底层基础架构演进 Cache系统 VM PV前端 后端 后端 VM PV前端 后端 后端 VM PV前端 VM PV前端 BUFFER WRITE DIRECT WRITE WRITE+SYNC O_SYNC 网络底层存在的问题 二层网络 VLAN 安全组 双bonding 网络底层基础架构 ALIBABA CONFIDENTIAL •ARP pps问题：交换机的ARP处理能力 • 解决方法：ARP proxy •MAC表项问题：交换机的MAC表项 • 解决方法：MAC NAT 网络虚拟化架构的演进 - VPC 虚拟专有网络(Virtual Private Cloud， 简称VPC），帮助用户基于云计算网络建 立一个完全隔离的私有网络环境。 通过虚拟路由器，虚拟交换机，自定义 路由，安全组等功能组件，可以按需配 置私有网络的逻辑拓扑和网络配置。 为了实现应用平滑迁移，用户可以使用 专线或VPN将虚拟专有网络与原有物理 网络之间连接起来，组成一个混合网络 域。 阿里云平台 云服务 (RDS/OSS/SLB。。。) VPC-2 Classic ECS 2层网络隔离 2 层 网 络 隔 离 2 层 网 络 隔 离 虚拟路由器 虚拟交换机 VPC-1 允许互访 允 许 互 访 产品架构 物理网络设备物 理 层 AVS Border Gateway 虚 拟 化 层 运营商接入网 数 据 平 面 Controller 控 制 平 面 控 制 系 统 API Console 第三方网络应 用(Firewall, IDS..) 产品概念 VPC(虚拟专有网络) • VRouter(虚拟路由 器) • RouteTable(路由 表) • VSwitch(虚拟交换 机) EIP(弹性公网IP) 安全组 (SecurityGroup) ECS实例的网络类型 VPC contents Region Availability Zone Availability Zone VRouter RouteTable instances SecurityGroup 172.16.0.0/16 阿里云 vSwitch 172.16.12.5 EIP:115.28.93.65 172.16.12.6 EIP:115.28.93.68 VPC场景1：提供公网服务的独立VPC 对于面向互联网服务的Web应用程序，如博客 或简单的网站，实现用户账户下的ECS实例与 其他用户的ECS实例在二层（数据链路层）网 络隔离 Internet vRouter 172.16.12.0/24 阿里云 vSwitch Server 客户数据中心 Server Server Server Gateway 专线 172.16.12.110 172.16.12.114 172.16.12.0/24 172.16.0.0/16 172.16.21.11 172.16.21.12 172.16.22.13 172.16.22.14 VPC场景2：专线连接的私网VPC 172.16.21.0/24 172.16.22.0/24 利用阿里云的基础设施把内部网络扩展到阿里云， 在阿里云中划分企业的私有资源，并且不连接到互 联网，以实现阿里云上的资源和自有数据中心的资 源内网互联互通。云中的实例如果需要访问互联网 资源，可以通过增加NAT实例实现。 vRouter Internet VPC场景3：私网和公网的独立VPC 对于面向互联网服务的Web应用程序，需要保 留不对公网开放的后端服务器，如多层架构 的网站，实现互联网区和内网区的隔离 阿里云 vRouter vSwitch vSwitch 172.16.11.5 EIP:115.28.93.65 172.16.11.6 EIP:115.28.93.68 172.16.12.110 172.16.12.114 172.16.11.0/24 172.16.12.0/24 IPSec Instance 172.16.100.10 EIP:115.28.93.100 172.16.0.0/16 互联网区 内网区 vSwitch 管理区 VPN 阿里云 vSwitch vSwitch Internet Gateway 172.16.0.0/16 172.16.11.5 EIP:115.28.93.65 172.16.11.6 EIP:115.28.93.68 172.16.12.110 172.16.12.114 172.16.11.0/24 172.16.12.0/24 VPC场景4：专线连接的混合网络 公网区 内网区 Server Server Server Server 172.16.21.11 172.16.21.12 172.16.22.13 172.16.22.14 172.16.21.0/24 172.16.22.0/24 利用阿里云 的基础设施 把网络扩展 到阿里云， 并划分互联 网区和内网 区。通过专 线连接到企 业私有数据 中心，以实 现阿里云上 的资源和自 有数据中心 的资源内网 互联互通 专线 客户数据中心 vRouter 阿里云 vRouter vSwitch vSwitch 客户数据中心 Internet Gateway 专线 172.16.11.5 EIP:115.28.93.65 172.16.11.6 EIP:115.28.93.68 172.16.12.110 172.16.12.114 172.16.11.0/24 VPC场景5： 用户网络作为中心节点 互联网区 内网区 Server Server Server Server 172.16.21.11 172.16.21.12 172.16.22.13 172.16.22.14 子网 172.16.21.0/24 子网 172.16.22.0/24 对于政府行 业的用户， 要求互联网 和政务网通 过网闸隔离， 可以在云中 划分2个VPC， 分别通过专 线连接传统 数据中心的 互联网和政 务网，再通 过网闸数据 交换 Gateway 专线 vRouter 网闸 虚拟化底层基础架构 • 基于成熟的开源技术xen • 硬件虚拟化技术VT-x • 高性能前后端通讯技术（PV Driver) Xen Architecture with VT Native Device Drivers Control Panel ( xm / xen d ) Front end Virtual Drivers XenoLinux Domain N XenoLinux Callback Backend Virtual driver Native Device Drivers Domain 0 0 1 3 I/O: PIT, APIC, PICProcessor Memory PCI, ACPI Control Interface HypercallsEvent Channel Scheduler Inter-domain Event Channels Port x Port n HypervisorChanges / dditions made for VT VMX Root Device Models Guest BIOS VM Exit 0 VM (with VT) Running Unmodified OS Port mPort y VM Entry 3 Guest OS Applications VMX Non - root VT-x Operation Ring 0 Ring 3VMX Root Operation VMX Non-Root Operation Ring 0 Ring 3 VM 1 Ring 0 Ring 3 VM 2 Ring 0 Ring 3 VM n VMXONVMLAUNCH VMRESUME VM Exit VMCS2 VMCSnVMCS1 Architecture ready for virtualization 虚拟化底层基础架构 - KVM HW CPU with VT-x IO devices Linux Kernel KVM Qemu Virtio backend VMQemu Virtio backend VM Virtio Frontend Virtio Frontend Virtio backend Process 1Process 0 HVM containers vment ry v mex it v mex it vment ry • Q & A
