• 1. www.163.com网易大型应用架构与实践汪源 网易.杭州研究院.副院长
  • 2. 应用架构与软件解决方案
  • 3. 硬件解决方案大量使用廉价低端服务器 主要机型 逻辑处理/缓存:刀片,如IBM HS22,24/48G内存 数据库:2U机架式服务器,如Dell R710,单机多RAID 1多数据库进程 文件/数据库备份:定制存储服务器(后将祥述) 其它 网络:全部用千兆网络 SSD:邮件、搜索、数据库中少量采用SSD,如Intel 320 Amazon EC2:海外服务器
  • 4. ESB: 目标与背景目标 解决解耦,独立部署 基于服务的系统整合:SOA 服务过载控制 解决的常见问题 服务器位置变更后通知客户端 同类服务多机提供负载均衡 不同应用/平台/语言用不同服务调用方式 多线程模型(用线程和线程池来处理服务调用)高并发性能问题 服务过载导致系统失去响应
  • 5. ESB: 设计中心注册机制:服务提供方注册服务信息,服务需求方问中心注册机制获取提供方位置 通过Adapter/Stub机制实现,应用开发者只需要像调用普通Java方法一样调用Service API,针对不同协议的Adapter实现远程调用 无论用什么协议调用代码相同 支持http/hessian/rmi/socket/jms/web service等调用协议 负载控制:控制请求队列长度及过载处理方式(抛弃老请求、拒绝新请求等)
  • 6. DDB: 概述目标 保持关系数据库强大处理能力(如JOIN、批处理、事务ACID) 提供一定的可伸缩性(百台)和可用性(无整体SPOF) ROADMAP 2005年底启动,2006.9.1随博客正式上线 5年持续开发,最新版本4.4 近期新功能:支持多语言、主从自动切换、集成Memcached 应用情况 为公司几乎所有WEB类应用采用:邮箱、博客、微博、POPO等 总体规模:数据库节点400+,数据量60TB
  • 7. DDB: 功能与特色基于“实体组分区映射”实现的可伸缩与负载均衡 多平台和多语言 Java提供定制JDBC驱动,其它语言通过MySQL协议 支持常用的RDBMS功能 如支持JOIN、分组、排序、聚焦函数、视图、存储过程、触发器、用户权限 跨节点或跨DDB分布式事务(2PC) 在线模式修改 支持MySQL和Oracle混合使用 丰富的管理功能,GUI/CLI/WEB管理工具 模式定义、权限管理、统计、数据迁移、定时任务等等
  • 8. DDB: 分区与可伸缩性分区策略 表按某指定属性的值进行分区:哈希、自定义函数 分区映射:分区到节点的映射表缓存于所有DDB Driver,高效的直接路由。调整映射表实现扩容和负载均衡 实体组:多表可参与同一分区策略,减少分布式JOIN和分布式事务 系统扩容 借助MySQL复制与DDB查询改写实现,在线成倍与非成倍扩容 成倍扩容 建立待扩容节点A的两个镜像A1和A2,在A1和A2上删除多余的分区数据 等A1和A2与A接近同步后短期停止对A的访问,等A1和A2与A完全同步后,修改分区映射(通知所有客户端)后A下线,A1与A2上线 DDB Driver转入迁移中处理模式,为有关SQL加上分区选择条件,防止触及A1/A2上的多余分区数据 A1/A2再次清理少量多余分区数据后DDB Driver转入正常处理模式 非成倍扩容 轮流复制,以2节点扩容到3节点为例,新增节点轮流与原两个节点复制,同样短期停止访问后修改分区映射
  • 9. DDB: 分布式事务使用两阶段提交 内嵌于应用的DDB JDBC Driver为协调者TM,后端数据库为RM TM崩溃导致分布式事务处于悬挂状态,导致记录长时间被锁定? TM写分布式事务LOG,重启根据LOG处理 MASTER定期检查回滚悬挂事务 MySQL bugs 两阶段提交实现不符合规范:修改MySQL代码,在连接断开时不回滚已经处于PREPARED状态的事务 XA事务出现错误后继续执行SQL导致MySQL崩溃:DDB Driver层禁止出现错误后继续执行SQL(最新MySQL已修复此问题)
  • 10. 数据库集成Memcached方案一:DAO框架 框架提供CRUD类辅助接口,应用基于这些接口方便实现有无Memcached两套DAO 通过Spring框架动态配置选择用哪套DAO实现,细化到具体的DAO类 方案二:DDB集成Memcached 通过DDB配置各表是否启动Memcached缓存功能 DDB Driver根据SQL语义智能化同步操作数据库与Memcached UPDATE时都从Memcached中删除,减少Memcached与数据库不一致概率
  • 11. NTSE面向WEB应用特征开发的高性能MySQL存储引擎 支持单记录操作ACID,不支持多操作组合事务 功能特色 行级缓存有效缓存热点记录 索引前缀压缩:索引大小约InnoDB 30% 大对象LZO压缩:35%-40% 基于字典的记录压缩:50% 在线建索引 高性能KV风格API:如SQL操作同一份底层数据,支持binlog 应用情况:应用于新闻跟帖、反垃圾、轻博等系统,近20个节点,1T数据
  • 12. NTSE vs InnoDB: 10X
  • 13. TNT基于NTSE,通过多版本支持ACID事务 内存多版本,外存单一版本(几乎原封不动的NTSE) 没有类似于InnoDB或PostgreSQL的版本化信息开销 UPDATE/DELETE缓存,有助于变随机IO为顺序IO 开发中。。。
  • 14. NoSQL&NewSQL另一套类似于Google的Infrastructure:有道 ODFSGFS、OMAPBigTable、CoWorkMapReduce 对NoSQL和NewSQL的需求不强烈 网易的数据库应用规模较小:最大50节点左右 DDB基本能满足需求:在线扩容、在线改模式 NoSQL不一定性能高 数据量大于内存时通常性能不高,如TC、MongoDB 少量使用 TokuDB:超快INSERT,但UPDATE/DELETE/SEARCH性能都差 MongoDB:用户Profile等树状数据 Redis:更好的Cache
  • 15. DFS目标:中型(几K~10MB)文件存储,主要用于相册和网盘 提供基于文件ID的CRUD接口 功能特色 分区与可伸缩:实现与DDB类似 可配置任意数量复本,2PC保证多复本一致 MD5去重:20-40%重复 多DC部署 存储节点HTTP下载(含权限检查) 应用情况 应用:网易相册、网盘、超大附件等 规模:节点数1200+,数据量4PB+
  • 16. DIR基于Java Lucene、Solr、Zoie Solr:提供RESTful API Zoie:实时全文检索 功能特色 通过ETL平台与MySQL数据库建立对应关系,应用无需更新全文检索 自解析binlog实现 分区与可伸缩:实现类似于DDB的分区映射 同时支持全站和个人数据检索:全站搜索所有数据分区,个人根据分区策略定位一个节点
  • 17. 通用事件推送系统Timeline定义:所follow的用户的事件按某种规则排序后的事件列表 用途:所有类“好友动态”类应用,如博客、轻博、微博、SNS等 灵活通用:多种timeline,多种排序规则 性能优化 Push/Pull相结合,明星Pull,普通用户Push 纯Pull:follow大量用户时Pull合并性能问题 纯Push:明星有大量粉丝时性能问题 事件列表分组压缩存储、利用NTSE更新缓存优化 优先推送给在线用户
  • 18. 定制存储服务器核心:使用桌面级硬盘,节约成本 节约成本约30% 国内硬件产商联合研发定制,2U 12盘或4U 24盘 轮休机制 问题:桌面级硬盘7*24工作导致故障率增加 方案: 数据更新先缓存于企业级硬盘存储集群,定期合并 多复本:一般部署2复本 DFS软件支持,定期禁止访问某一复本 硬件支持,无IO时自动休眠 应用于邮箱、相册、网盘等,规模30PB+