从入职京东到现在，做读服务已经一年多的时间了，经历了各种亿级到百亿级的读服务；这段时间也进行了一些新的读服务架构尝试，从架构到代码的编写，各个环节都进行了反复尝试，压测并进行调优，希望得到一个自己满意的读服务架构。
一些设计原则
- 无状态
- 数据闭环
- 缓存银弹
- 并发化
- 降级开关
- 限流
- 切流量
- 其他
无状态
如果设计的应用是无状态的，那么应用就可以水平扩展，当然实际生产环境可能是这样子的： 应用无状态，配置文件有状态。比如不同的机房需要读取不同的数据源，此时就需要通过配置文件指定。
数据闭环
如果依赖的数据来源特别多，此时就可以考虑使用数据闭环，基本步骤：
1、数据异构：通过如MQ机制接收数据变更，然后原子化存储到合适的存储引擎，如redis或持久化KV存储；
2、数据聚合：这步是可选的，数据异构的目的是把数据从多个数据源拿过来，数据聚合目的是把这些数据做个聚合，这样前端就可以一个调用拿到所有数据，此步骤一般存储到KV存储中；
3、前端展示：前端通过一次或少量几次调用拿到所需要的数据。
这种方式的好处就是数据的闭环，任何依赖系统出问题了，还是能正常工作，只是更新会有积压，但是不影响前端展示。
另外此处如果一次需要多个数据，可以考虑使用Hash Tag机制将相关的数据聚合到一个实例，如在展示商品详情页时需要：商品基本信息：p:123:， 商品规格参数：d:123:，此时就可以使用冒号中间的123作为数据分片key，这样相同id的商品相关数据就在一个实例。
缓存银弹
缓存对于读服务来说可谓抗流量的银弹。
浏览器端缓存
设置请求的过期时间，如响应头Expires、Cache-control进行控制。这种机制适用于如对实时性不太敏感的数据，如商品详情页框架、商家评分、评价、广告词等；但对于如价格、库存等实时要求比较高的，就不能做浏览器端缓存。
CDN缓存
有些页面/活动页/图片等服务可以考虑将页面/活动页/图片推送到离用户最近的CDN节点让用户能在离他最近的节点找到想要的数据。一般有两种机制：推送机制（当内容变更后主动推送到CDN边缘节点），拉取机制（先访问边缘节点，当没有内容时回源到源服务器拿到内容并存储到节点上），两种方式各有利弊。 使用CDN时要考虑URL的设计，比如URL中不能有随机数，否则每次都穿透CDN，回源到源服务器，相当于CDN没有任何效果。对于爬虫可以返回过期数据而选择不回源。
接入层缓存
对于没有CDN缓存的应用来说，可以考虑使用如Nginx搭建一层接入层，该接入层可以考虑如下机制实现：
1、URL重写：将URL按照指定的顺序或者格式重写，去除随机数；
2、一致性哈希：按照指定的参数（如分类/商品编号）做一致性Hash，从而保证相同数据落到一台服务器上；
3、proxy_cache：使用内存级/SSD级代理缓存来缓存内容；
4、proxy_cache_lock：使用lock机制，将多个回源合并为一个，减少回源量，并设置相应的lock超时时间；
5、shared_dict：此处如果架构使用了nginx+lua实现，可以考虑使用lua shared_dict进行cache，最大的好处就是reload缓存不丢失。
此处要注意，对于托底/异常数据不应该让其缓存，否则用户会在很长一段时间看到这些数据。
应用层缓存
如我们使用Tomcat时可以使用堆内缓存/堆外缓存，堆内缓存的最大问题就是重启时内存中的缓存丢失，如果此时流量风暴来临可能冲垮应用；还可以考虑使用local redis cache来代替堆外内存；或者在接入层使用shared_dict来将缓存前置，减少风暴。
分布式缓存
一种机制就是废弃分布式缓存，改成应用local redis cache，即在应用所在服务器中部署一个redis，然后使用主从机制同步数据。如果数据量不大这种架构是最优的；如果数据量太大，单服务器存储不了，还可以考虑分片机制将流量分散到多台；或者直接就是分布式缓存实现。常见的分片规则就是一致性哈希了。
如上图就是我们一个应用的架构：
1、首先接入层读取本地proxy cache / local cache；
2、如果不命中，会读取分布式redis集群；
3、如果还不命中，会回源到tomcat，然后读取堆内cache；如果没有，则直接调用依赖业务获取数据；然后异步化写到redis集群；
因为我们使用了nginx+lua，第二、三步可以使用lua-resty-lock非阻塞锁减少峰值时的回源量；如果你的服务是用户维度的，这种非阻塞锁不会有什么大作用。
并发化
假设一个读服务是需要如下数据：
1、数据A 10ms
2、数据B 15ms
3、数据C 20ms
4、数据D 5ms
5、数据E 10ms
那么如果串行获取那么需要：60ms；
而如果数据C依赖数据A和数据B、数据D谁也不依赖、数据E依赖数据C；那么我们可以这样子来获取数据：
那么如果并发化获取那么需要：30ms；能提升一倍的性能。
假设数据E还依赖数据F(5ms)，而数据F是在数据E服务中获取的，此时就可以考虑在此服务中在取数据A/B/D时预取数据F，那么整体性能就变为了：25ms。
降级开关
对于一个读服务，很重要的一个设计就是降级开关，在设计降级开关时主要如下思路：
1、开关集中化管理：通过推送机制把开关推送到各个应用；
2、可降级的多级读服务：比如只读本地缓存、只读分布式缓存、或者只读一个默认的降级数据；
3、开关前置化：如架构是nginx--->tomcat，可以将开关前置到nginx接入层，在nginx层做开关，请求不打到后端应用。
限流
目的是防止恶意流量，恶意攻击，可以考虑如下思路：
1、恶意流量只访问cache；
2、对于穿透到后端应用的可以考虑使用nginx的limit模块处理；
3、对于恶意ip可以使用如nginx deny进行屏蔽。
大部分时候是不进行接入层限流的，而是限制流量穿透到后端薄弱的应用层。
切流量
对于一个大型应用，切流量是非常重要的，比如多机房有机房挂了、或者有机架挂了、或者有服务器挂了等都需要切流量，可以使用如下手段进行切换：
1、DNS：切换机房入口；
2、LVS/HaProxy：切换故障的nginx接入层；
3、Nginx：切换故障的应用层；
另外我们有些应用为了更方便切换，还可以在nginx接入层做切换，通过nginx进行一些流量切换，而没有通过如LVS/HaProxy做切换。
其他
不需要cookie的应用使用无状态域名，如3.cn；
接入层请求头过滤，只转发有用的请求头到后端应用；
数据过滤逻辑前置，比如在接入层进行请求参数的合法性过滤；
内网设置合理的连接、读、写超时时间；
根据需要开启gzip压缩减少流量；
使用unix domain socket减少本机连接数；
内网考虑使用http长连接；
响应请求时，考虑响应头加上服务器ip等信息，方便调试。
我们处理的读服务大部分都是KV的，因此抗流量的思路就是大量缓存；而且怎么让缓存怎么更接近用户，离用户越近速度就越快。再一个点就是要考虑好降级方案，在异常情况下应用不被拖垮拖死。我们系统大量使用了如nginx+lua+redis技术，使用这些技术解决了我们很多读服务问题。
相关推荐
从入职京东到现在，做读服务已经一年多的时间了，经历了各种亿级到百亿级的读服务；这段时间也进行了一些新的读服务架构尝试，从架构到代码的编写，各个环节都进行了反复尝试，压测并进行调优，希望得到一个自己满意...
适读人群 ：本书适合对前端工程化有一定理解和实践的中高级前端工程师阅读，同样适合对前端工程化感兴趣的服务器端开发者以及运维人员阅读。 1.本书由周爱民老师倾情作序，美团技术总监赵强、搜狐高级技术经理邵充、...
讲解一个真实的、复杂的大型企业级亿级高并发项目，是java架构实战课程。 通过本套课程的学习，可以积累大量架构设计经验，迈入架构师行列。 课程特色： 1、完整的大型电商详情页系统架构：不再只是关注电商详情页...
16 构建需求响应式亿级商品详情页 324 16.1 商品详情页是什么 324 16.2 商品详情页前端结构 325 16.3 我们的性能数据 327 16.4 单品页流量特点 327 16.5 单品页技术架构发展 327 16.5.1 架构1.0 328 16.5.2 架构2.0 ...
如何让机器读懂设计； 使用 React 构建 Flutter 应用； 是时候了解一下 Web IDL-吴小倩.docx 腾讯教育 Serverless 实践及探索； 微信小游戏制作工具架构设计； 小程序同构方案新思路-junexie； 勋章墙技术内幕-演讲...
用HTML+CSS+JS构建的电商网站页面平台（完整代码），web前端CSS入门项目。简易读懂，适合学生以及课程报告参考用。
作者深入阐述了设计原则、前端层、Web服务、数据存储层、缓存、异步处理等核心概念与技术，针对可能发生的问题一一剖析，为读者勾勒出了简明清晰的技术框架图。相信《互联网创业核心技术：构建可伸缩的Web应用》 ...
10.1 数据库的前端缓存区 10.2 使用memcached 10.3 读操作缓存 10.4 写操作缓存 10.5 监控状态 10.6 缓存扩展 第11章 数据库性能优化 11.1 友好的状态报告 11.2 正确使用索引 11.3 锁定与等待 11.4 事务...
技术栈：后端：Spring Boot，用于构建RESTful API，处理业务逻辑和数据存储。数据库：MySQL，用于存储用户信息、读书笔记等数据。前端：可以使用HTML、CSS和JavaScript进行页面设计和交互，也可以使用前端框架如...
10.1 数据库的前端缓存区 10.2 使用memcached 10.3 读操作缓存 10.4 写操作缓存 10.5 监控状态 10.6 缓存扩展 第11章 数据库性能优化 11.1 友好的状态报告 11.2 正确使用索引 11.3 锁定与等待 11.4 事务性...
10.1 数据库的前端缓存区 10.2 使用memcached 10.3 读操作缓存 10.4 写操作缓存 10.5 监控状态 10.6 缓存扩展 第11章 数据库性能优化 11.1 友好的状态报告 11.2 正确使用索引 11.3 锁定与等待 11.4 事务...
我们还使用了Vue.js作为前端开发框架，它提供了一种简洁而灵活的方式来构建交互式界面。 此外，我们的小程序项目源码还注重用户体验和界面设计。我们提供了一系列的界面模板和样式库，使得开发人员可以轻松创建漂亮...
GMTC北京 2016年全球前端技术大会PPT合集（34份）。 iOS App技术演化十年之路 HTTP 2.0实践及无线通信协议的演进之路 Small 插件化轻巧之道 Android插件化：从入门到放弃 移动无线之测试到质量的转变 Swift面向协议...
项目不仅涵盖了后端服务的搭建，还包括了前端的页面展示，为用户提供了完整的读书笔记管理体验。 项目设计思路上，我们充分考虑到学生的实际需求，实现了用户注册登录、笔记创建、编辑、分享、评论等功能。用户可以...
— 构建优化篇浏览器文章描述备注【浏览器】一文读懂浏览器缓存通过 Node.js 小示例学习浏览器缓存策略【JavaScript】JS 中强大的操作符，总有几个你没听说过【JavaScript】 事件循环 —— 微任务 Microtask...
我们还使用了Vue.js作为前端开发框架，它提供了一种简洁而灵活的方式来构建交互式界面。 此外，我们的小程序项目源码还注重用户体验和界面设计。我们提供了一系列的界面模板和样式库，使得开发人员可以轻松创建漂亮...
用HTML+CSS+JS构建的电商网站页面平台（完整代码），web前端CSS入门项目。简易读懂，适合学生以及课程报告参考用。
25.7 构建WCF服务 697 25.8 承载WCF服务 700 25.9 构建WCF客户端应用程序 706 25.10 使用WCF服务库项目模板 710 25.11 以Windows服务承载WCF服务 712 25.12 异步调用服务 716 25.13 定义WCF数据契约 ...