- 1. 开源云端数据库架构网易 杭州研究院
后台技术中心 郭忆
新浪微博:@郭忆_宝
- 2. 目录网易云数据库
系统架构
高可用设计
监控运维
在线ScaleUp和ScaleOut
未来与展望
- 3. 产品方使用MySQL遇到的问题?硬件采购周期长,沟通协调成本高,数据库部署的需求难以得到快速响应。
硬件资源利用率低,难以做到按需使用,弹性扩容。
服务可用性差,数据可靠性难以保证。
运维自动化程度低,人力成本高。
监控报警不够完善,出现问题缺少系统诊断方法。运维自动化程度低硬件利用率低服务可用性差高额的成本+差的用户体验
- 4. 云计算云计算:
云平台的三个层次:
IaaS计算、网络、存储系统管理员PaaS语言运行环境、数据库、对象存储程序开发人员SaaS邮箱、搜索、相册最终用户虚拟化资源池单一服务入口按需付费弹性扩展云
- 5. DBaaS DBaaS(DataBase as a Service),数据库即服务,云环境下的数据库托管平台,将数据库本身作为一种云端资源,以服务的方式提供给应用开发人员。
主要优势:
云的特性可伸缩低成本资源利用率高向用户屏蔽软硬件升级托管平台一键部署自助服务式数据库管理可编程性通过API定义和控制数据库资源支持应用参与数据库的自动化管理
- 6. 云计算云计算不是天生为数据库设计的,数据库“云”化过程中,存在以下挑战:
云托管的服务器可靠性下降,导致的服务可用性和数据可靠性难以保证如何利用云的弹性资源分配,提供在线的数据库扩展服务资源规划难以精准故障排查难度增加
- 7. 网易私有云环境开发Web2.0移动互联网轻游戏执行网易
私有云
- 8. 网易私有云环境
- 9. 网易私有云环境系统特色重视服务质量拒绝超售高可用&高可靠重视选择和控制能力自定义CPU和内存组合开放配置参数修改
- 10. 网易私有云环境Netease RDS是由网易数据库技术团队基于开源的MySQL打造的关系数据库云托管平台,构建于网易私有云IaaS服务之上,面向网易众多的互联网和移动终端产品,旨在解决当前数据库管理遇到的诸多问题。
- 11. 目录网易云数据库
系统架构
高可用设计
监控运维
在线ScaleUp和ScaleOut
未来与展望
- 12. 系统架构
- 13. 管理服务器高可用
工作流
任务队列
- 14. 其他开源组件ZeroMQ
轻量级
异步传输
消息序列化
消息持久化
- 15. 其他开源组件Zookeeper
选主
分布式锁
配置管理
- 16. 目录网易云数据库
架构架构
高可用设计
监控运维
在线ScaleUp和ScaleOut
未来与展望
- 17. 现有业界高可用方案 可用性(停服时间)可靠性(数据一致性)对性能损耗对应用透明其他限制DRBD低高有是配置管理复杂共享磁盘低高无是无binlog高可靠高高有是需额外开发binlog监听工具MMM高低无是无MHA高高无是主机binlog是高可靠的
- 18. MySQL复制主要挑战:
数据一致性
实时切换
- 19. 数据一致性虚拟同步复制
- 20. 数据一致性IO Thread 隐患
relay_log_recovery
SQL Thread
Crash safe
Partial Transaction
- 21. 实时切换Batch Commit
并行复制
MariaDB
MySQL 5.7
修复binlog裁剪
- 22. 目录网易云数据库
系统架构
高可用设计
监控运维
在线ScaleUp和ScaleOut
未来与展望
- 23. 系统监控监控方式
主动
被动
统一日志
KeyValueID用户请求唯一标识符Seq调用序号,格式为“x.x.x”,同一请求,模块内部每次写入日志或者调用其他模块前加1,跨模块加层,在服务和模块之间传递Timestamp时间戳Level日志输出级别Module模块名称IP写入日志的服务器Identifier用户标识Op操作名称Object对象信息,Json格式Description详情,异常需包含全部堆栈信息
- 24. 系统监控
- 25. 目录网易云数据库
架构架构
高可用设计
监控运维
在线ScaleUp和ScaleOut
未来与展望
- 26. 扩容在线Scale Up
在线Scale Out
- 27. 目录网易云数据库
架构架构
高可用设计
监控运维
在线ScaleUp和ScaleOut
未来与展望
- 28. 未来工作
多版本管理
LXC(Linux Container)
支持Memcached
- 29. (本页无文本内容)