使用 Nginx 优化面向侧面的架构

jopen 8年前

面向侧面的程序设计（aspect-oriented programming，AOP），通过将解决特定领域问题的代码从业务逻辑中独立出来，从而提高代码的可维护性。

从主关注点中分离出横切关注点是面向侧面的程序设计的 核心概念 。分离关注点使得解决特定领域问题的代码从业务逻辑中独立出来，业务逻辑的代码中不再含有针对特定领域问题代码的调用，业务逻辑同特定领域问题的关系通过侧面来封装、维护，这样原本分散在在整个应用程序中的变动就可以很好的管理起来。 - 维基百科

示例是根据最近正在负责的 APP 后端项目简化版，需求简单说如下：

  1. APP 端会对所有请求进行加密，服务器端要对加密结果进行校验，确保正确以及未篡改；

  2. 通过手机号来登录，采用基本的 token 机制验证登录；

  3. 有企业、小组以及员工的层级关系，后期必须考虑根据公司来分表/集群；

  4. 提供涉及到权限的 REST 风格的接口（某种程度上类似 Postgrest ，但是进行了拓展，后面会有专门文章介绍）

Version 1st.

思路：首先整个目前项目的主关注点 (core concern) 是 REST 风格的资源服务器 —— 即通过约定俗成的风格来对应具体的数据/资源操作。在这个功能外，需要完成的其他关注点包括：

  • 所有请求加密校验

  • 登录验证

  • 资源的权限管理以及获取

于是，在 Sinatra 中，可以通过 extensions 的方式将请求加密校验完成，配合 before 来进行统一处理： 

require 'sinatra/base'    module Sinatra      module RequestHeadersVerify        module Helpers        def headers_valid?          # 此处省略真实业务代码          false        end      end        def self.registered(app)        app.helpers RequestHeadersVerify::Helpers          app.before do          unless headers_valid?            halt 400, json(ResponseErrror::InvalidHeadersError.new)          end        end      end    end      register RequestHeadersVerify  end

最终采用"中间件"的方式，在请求的最前面一层（横切关注点 crosscutting concerns）将非法请求进行拦截。

于是紧接着第二个流程，验证用户是否登录，与获取当前联系人所在的公司、小组、以及其管理的小组信息一样，这里最快速/方便的做法就是通过 helpers 来实现： 

require 'sinatra/base'    module Sinatra     module UserSessionHelpers      HTTP_USER_TOKEN_KEY = 'HTTP_AUTH_TOKEN'        def current_user        @current_user ||= (          user = User.first token: env[HTTP_USER_TOKEN_KEY]          halt 400, json(ResponseErrror::InvalidTokenError.new) unless user          user        )      end    end      module OrganizationHelpers      # 这里省略掉相关 helpers 代码    end      helpers UserSessionHelpers    helpers OrganizationHelpers  end

最终在 REST 相关的构建代码中，就不需要去考虑用户请求加密的内容，也不需要去考虑用户是否登录（因为如果需要使用到用户信息但是用户没有登录，会直接抛出错误返回）。只需要按照约定的设计风格，把请求的内容在校验了内容和权限后，转成对应的数据库操作，最终再按照约定的内容返回。

Version 2nd.

第一版已经尽可能的考虑到 解决特定领域问题的代码从业务逻辑中独立出来 。但是现实开发里面经常会涉及到多人开发、跨语言合作、更快速的迭代等等的问题，最终需要把他们拆成独立的低耦合度的 Server。于是随之而来的是如何在服务间进行通讯/共享数据。

这里的方案选择通常会根据实际业务以及难易程度来权衡，例如最快捷的 webServer 的方式内部通信，稍微复杂点的基于 TCP 的 RPC 通信方案（例如 thrift），或者某些特殊的情景，例如是生产者/消费者关系的话，则可能通过 MQ 来进行通信。 最终我们采用的是通过 Nginx 的 lua 模块来将 server 以面向侧面的思路耦合 。

首先，Nginx 的 Lua 模块可以做什么？如果可以，单纯 nginx 和 lua 就可以完成完整的 web 服务。可以连接 redis、memcache、postgresql 等等，同时可以取得请求的所有内容，可以设置返回的头部、正文。配合 lua 的对数据处理能力，基本功能都可以实现。同时 nginx 的 lua 模块整体都是异步，所以性能也相对较好。当然也可以通过 lua 脚本来控制权限，如果验证通过则继续下面的操作，例如是 proxy_pass 代理，简单的示例如下文： 

location = /foo {     access_by_lua_block {      -- check the client IP address is in our black list      if ngx.var.remote_addr == "132.5.72.3" then       ngx.exit(ngx.HTTP_FORBIDDEN)      end      -- check if the URI contains bad words      if ngx.var.uri and       string.match(ngx.var.request_body, "evil")      then       return ngx.redirect("/terms_of_use.html")      end      -- tests passed     }     proxy_pass http://blah.blah.com;  }

不过，我们这里将用到的主要还是proxy_pass, 和ngx.location.capture，基本代码如下： 

<!-- 禁止任何以下划线开始的请求地址 -->  if string.sub(ngx.var.uri, 2, 2) == "_" then    ngx.exit(404)  end    local cjson = require "cjson"    local custom_header_prefix = "V-"  local request_args = ngx.req.get_uri_args(64)  local request_body = ngx.req.read_body()  local request_path = ngx.var.uri  local request_method = ngx["HTTP_"..ngx.req.get_method()]    for header, _ in pairs(ngx.req.get_headers()) do    if string.upper(string.sub(header, 1, 2)) == crm_header_prefix then      ngx.req.clear_header(header);    end  end    function res_with_json(body, status)    ngx.header["Content-Type"] = "application/json"    ngx.print(body)    return ngx.exit(status)  end    function request_to_server(uri)    <!-- 发起请求至其他地址并取得结果 -->    res = ngx.location.capture(uri..request_path, {      body = request_body,      args = request_args,      method = request_method,    })    local json_response = cjson.decode(res.body)      <!-- 解析返回内容 -->    if not json_response.next == true then      res_with_json(res.body, res.status)    end    for key, value in json_response.params do       ngx.req.set_header(custom_header_prefix..string.upper(key), value)    end    return false  end

上面的代码主完成了清理用户恶意提交的请求头，以及request_to_server的代码，实现了将原请求内容转发给另一个接口并获得请求后的内容。得到请求结果后，验证请求的参数。

同时在 nginx 里面通过 stream 和 proxy_pass 的方式来配置多个内部地址： 

upstream authentication-server {   server 192.168.21.1:6011;   server 192.168.21.2:6011;  }  server {   location /_authentication {     proxy_redirect off;     proxy_set_header Host   $host;     proxy_set_header X-Real-IP $remote_addr;     rewrite  ^/_authentication/(.*)  /$1 break;     proxy_pass http://authentication-server;   }  }

于是，将两个结合起来，就可以实现 通过 lua 脚本把原请求的所有参数，包括头部、正文、请求地址、请求方法都带过去，请求另一个地址（和 proxy_pass 类似），并且可以得到最终返回的结果处理 。

拥有这个能力后，便是本文的重点了：在Sinatra的第一版本中，最终都是 ruby 代码不断调用方法，来完成整个请求的流程。那如果我们把整个流程的打通交给 Nginx 的话该如何实现呢？

  1. 当一个请求进入后，通过request_to_server的能力，把请求依次转发给负责 横切关注点 的服务，例如用户请求校验以及登录校验服务、用户的组织架构服务，最终再去调用主关注点，即本文中的资源服务器；

  2. 每次请求完后，根据前一个流程的返回值决定是否进入下一个流程，例如示例中的 lua 脚本是通过返回的 json 里面的 next 参数来决定是否继续往下走。如果没有这个参数则直接返回当前服务的返回值不再继续请求下去；

  3. 如果出现了next: true这个关键字，则将返回值中的其他内容以请求头的形式传递给下一个服务，且每个服务都会完全信赖这些请求头（所以请求刚进来的时候需要做一些请求头和请求地址处理）。

如果到这里都没有太大问题，你应该可以理解我的意图了。即 Nginx 通过 Lua 脚本来依次请求 横切关注点服务器，如果一路顺畅（每次都有next: true），最终会把携带有 横切关注点服务返回的内容的 headers 带给主关注点服务。

于是，在本需求里面，为了保证可拓展性和低耦合性，最终分为了三个服务：

  • 负责请求加密鉴权，用户登录、密码修改的用户验证服务

  • 负责管理企业结构、获取用户权限的组织架构服务

  • 负责具体的 REST 请求处理的资源服务

  1. 当一个用户登录的请求过来，因为密码错误或者加密鉴权失败，会在用户验证服务就直接返回错误。因为返回内容中没有next: true字段，所以直接返回结果；

  2. 当一个用户发起了一个发送短信验证码的服务，这个只是用户验证服务的职能，没有必要继续向下走，于是返回了一个没有next: true字段的返回值，于是 Nginx 直接返回结果；

  3. 当用户登录的时候，虽然通过了用户验证服务的校验，但是该服务无法获取更多的用户信息，于是把该请求继续传递到组织架构服务，组织架构服务在请求头中拿到了手机号信息，于是直接返回了该手机号所对应的详细信息；

  4. 现在发起了一个资源操作的请求，因为用户验证服务无法识别，所以只返回了手机号给 nginx，nginx 继续请求组织架构服务，因为组织架构服务也不能处理，所以继续返回了详细的个人信息给 nginx，nginx 最终拿到这些信息，都通过头部请求了资源服务，然后因为这里是主关注点，也是流程里面最后一个节点，所以通过proxy_pass给了资源服务。

最终，这样做的优势：

  1. 利用 Nginx 异步的优势来弥补 ruby 服务先天性 IO 处理的不足；

  2. 目前只实现了第一条线，即从用户验证 -> 组织信息 -> 资源服务器的顺序，后面如果有需要，可以随时实现其他顺序，而只需要按照在请求头里面加上相应的参数即可，减低耦合性；

  3. 三个模块都有各自的业务和特点，可以针对模块去设计缓存方案，而且可以分模块去设计集群方案；

  4. 对于开发者而言，更容易完成单个服务的测试用例，而不需要过多在开发过程中关注联调。

原文: 使用 Nginx 优化面向侧面的架构