• 1. 互联网金融如何去O -蚂蚁实战剖析刘晓莹(冯衡) 蚂蚁金服 2015.04
  • 2. 交流目录互联网金融业务挑战与去O对策思考蚂蚁去O最佳实践蚂蚁去O-标准化解决方案(金融云技术平台)
  • 3. 蚂蚁金融业务-示例2014双11热度支付峰值:每分钟285万笔订单创建峰值:每秒钟8万笔
  • 4. 挑战-业务要求互联网金融业务特性分布服务与数据 万级/秒业务交易分布事务与协调 强一致性保证强一致秒级容灾 99.99%+实时服务质量管控 亚秒级服务保证弹性供给与调度 极低交易成本
  • 5. 数据-运维运维-部署应用-平台无关对策-技术选型整体架构-管控1、多地域如何部署 跨机房容灾 2、单集群如何部署 容量TPM\QPS 性能RT 3、Failover如何部署 业务影响率 4、数据库如何扩容 性能可扩展性 存储可扩展性 运维成本 1、如何平滑发布验证 2、数据一致性 3、持续可用 5、解决方案标准化平台无关性数据运维平台弹性伸缩单元化数据架构去O标准解决方案 (金融云技术平台[部分])1、数据库如何选型 2、数据sharding 3、DDL及DML操作 4、数据迁移 5、数据同步H+1,T+11、功能特性:数据类型、SQL语法等 2、Sequence 3、事务隔离级别 4、2级索引支持 5、不同存储如何对应用如何适配持续高可用数据库选型: 功能、性能、成本
  • 6. 蚂蚁去O实战整体架构支撑金融型应用优化交易双十一OceanBase特性数据中间件升级金融型应用优化去O发布策略
  • 7. IDC1AppXAppYOracle分流配置IDC2单元1单元2单元3单元4LVSLVS整体架构支撑AppXApp分流配置AppYAppXAppY分流配置AppXAppY分流配置数据 中间件OceanBaseOracleOceanBaseOracleOceanBaseOracleOceanBaseOracleOceanBaseOracleOceanBaseOracleOceanBaseOracleOceanBaseMSUPSCSMSUPSCSMSUPSCSMSUPSCSMSUPSCSMSUPSCSMSUPSCSMSUPSCSAPPX数据 中间件AppY数据 中间件APPX数据 中间件AppY数据 中间件APPX数据 中间件APPX数据 中间件AppY数据 中间件全局路由
  • 8. 数据中间件-架构理念中间件架构思想 业务、技术功能分离 技术能力抽象公用 配置动态化管控DB引用问题SQL等Native特性: 多、个性 Datasource: 多、不同 解析规则: 多、不同 配置文件: 本地、业务关联 配置动态管控中间件架构APP数据中间件资源管控 中间件DB-1DB-2不同组件、不同逻辑 嵌在APP中配置变更还得发布代码?传统架构APP数据库组件1DB-1DB-2数据库组件2
  • 9. 数据中间件-去O升级平台无关性去除DB特性依赖标准化SQL支持Native特性弹性伸缩数据路由通明化数据源动态管理Failover支持(跨机房容灾)
  • 10. 平台无关性数据中间件应用层标准SQL标准SQL标准SQL物理层-数据库OracleOceanBaseMySQLXDB标准Sequence标准接口 标准Sequence标准Sequence标准Date标准Date标准DateXDB NativeOracle Native OB NativeMySQL NativeNative Translator
  • 11. 数据中间件平台无关性去除DB特性依赖标准化SQL支持Native特性弹性伸缩数据路由通明化数据源动态管理Failover支持(跨机房容灾)
  • 12. 数据架构-传统全局路由物理层分流01-0101-0201-N单元01用户维度用户维度IDC1物理层分流单元NN-01N-02N-N数据逻辑层和物理层强绑定
  • 13. 数据架构-弹性全局路由逻辑层分流单元01用户维度用户维度IDC1逻辑层分流单元NOracleOcean BaseX-DB010103010201逻辑分片视图物理DB视图OracleOcean BaseX-DB01N03N02N根据规则Table可以扩展到不同库中table_01table_01table_011.水平扩容3.failover4.跨单元切换2.灰度引流
  • 14. 弹性伸缩-技术架构IBatisSpringDataSourceLogical DataSourceRuleParserPhysical DataSourceMySqlOracleOceanBase共享 存储共享 存储编程界面逻辑数据源路由层物理数据源数据库-存储
  • 15. 数据复制中心12n1核心交易数据 (分表/分库/failover)主交易系统交易处理服务 (写场景)交易记录查询系统用户交易记录查询服务 (读场景1)12n2商户查询系统交易记录数据 (分表并分库)商户查询与对账 (读场景2)12n3商户/平台商交易数据 (分表并分库)数据中间件主备应用架构-数据模型优化(交易示例)
  • 16. 全链路模拟验证 流量分离控制 业务特性全链路压测双写验证 事务顺序 锁机制 并发性 其他:弱依赖、可恢复灰度单写验证 灰度策略 及时回滚去O-发布验证策略全量切换 实时监控 正确性验证 持续高可用(软件缺陷) oracle failover 实时核对其他:容灾演练数据中间件OracleOBAPPOracle SQLOB SQL故障 模拟器容灾演练业务场景 模拟器性能压测
  • 17. 数据正确性验证-双写全局路由单元01用户维度IDC1Oracle存储层oracle操作列表 Key|记录内容状态|ver Key|记录内容状态|ver Key|记录内容状态|ver应用层(APP+数据中间件)T1 SQL1 SQL2 SQL3T(1) SQL1 SQL2 SQL3应用层(APP+数据中间件)T2 SQL1 SQL2 SQL3T(2) SQL1 SQL2 SQL3数据 中间件数据 中间件数据核对平台(中间件)OBMSUPSCSOB操作列表 Key|记录内容状态|ver Key|记录内容状态|ver Key|记录内容状态|ver主写 (强依赖)同步双写(弱依赖)
  • 18. 数据正确性验证-单写18商户请求日志业务应用日志日志 采集消息 采集数据流计算日志匹配日志拆分清洗统计累计持久化消费路由字段提取状态 维护状态 合并数据 操作接口业务处理结果日志数据比对监控数据规则引擎比对商户 请求数据业务 应用数据报警逻辑可视化 逻辑DB报警记录表页面 展现数据比对结果展现查询订阅业务规则 预设数据数据核对中间件业务数据表数据采集
  • 19. 数据容量验证-全链路模拟验证压测层网络层CDN模拟压测集群节点压测代理节点压测代理…CDN模拟压测集群流量管控流量分发网络流量管控层GSLBLVSSpannerIDC1AppAppX-DBY-DB单元1单元2APPXAppYAppAppX-DBY-DBAPPXAppY压测分流代理压测分流代理压测分流代理压测分流代理压测分流代理压测分流代理压测分流代理压测分流代理生产表影子表生产表影子表生产表影子表生产表影子表应用层正常用户流量模拟流量
  • 20. 实战检验-双十一双11准备 全链路模拟验证容量&性能 数据一致性实时监控 容量及性能实时监控 淡定的迎接双11 创建、支付峰值淡定 数据核对数千万次,0条不一致数据
  • 21. 蚂蚁去O-数据库选型安全自主成本金融IAAS
  • 22. OceanBase-部署架构Update ServerMergeServer ChunkServerMergeServer ChunkServerMergeServer ChunkServerMergeServer ChunkServerMergeServer ChunkServerMergeServer ChunkServerUpdate ServerMergeServer ChunkServerMergeServer ChunkServerMergeServer ChunkServerMergeServer ChunkServerMergeServer ChunkServerMergeServer ChunkServerRoot ServerRoot ServerUpdate ServerMergeServer ChunkServerMergeServer ChunkServerMergeServer ChunkServerMergeServer ChunkServerMergeServer ChunkServerMergeServer ChunkServerRoot Server
  • 23. 数据一致性&持续可用主库IDC-1备库IDC-3备库IDC-2协议强同步保证一致性 持续可用CA主库IDC-1备库IDC-2一致性依赖共享存储 高可用HA共享存储共享存储
  • 24. 蚂蚁去O-总结数据库选型OceanBase,推动配套发展 沉淀积累了丰富的经验和产品 -数据架构(标准化) -数据中间件(平台化) -应用架构(数据分布式建模[场景化异构化]) -解决方案(PaaS&IaaS云服务化)
  • 25. 交流目录互联网金融业务挑战与去O对策思考蚂蚁去O最佳实践交易双十一蚂蚁去O-标准化解决方案(金融云技术平台)
  • 26. 去O-解决方案“云服务”化金融级基础设施(阿里云)IaaS计算OB存储网络安全容灾金融级数据库关系型数据库 (OceanBase等 )数据运维数据同步其它金融级PAAS与中间件分布服务运维部署 (含容量压测)实时监控弹性管控金融业务SAAS信息标准数据架构标准风险管控运营支撑…金融云技术平台数据核对分布事务无限伸缩、持续可用、安全可靠的金融级架构核心业务引擎分布调度数据分析
  • 27. 合作、共创、共赢