升级 Flask 到 Quart 获得 3 倍性能提升

Flask Quart asyncio   2017-12-01 20:47:22 发布
您的评价:
     
0.0
收藏     0收藏
文件夹
标签
(多个标签用逗号分隔)

升级 Flask 到 Quart 获得 3 倍性能提升

简评:将你的 Flask 应用程序升级到 Quart 应用程序,轻松获得 3 倍的性能提升,本文将用一个简单的 demo 来告诉大家如何去做。

自从 Flask 在 8 年前发布以来,Python 发生了很大变化,特别是引入了 asyncio。asyncio 允许开发像 uvloop 和 asyncpg 这样的库来提高性能,可惜要 Flask 集成 asyncio 或这些库不是一件简单的事情。 然而,Flask-API 可以通过 Quart 框架与 asyncio 一起使用。

Quart 提供了一个简单的过渡机制使得 Flask 应用程序可以使用 asyncio,因为它们共享 Flask-API,这意味着现有的 Flask 应用程序可以在 Quartz 应用程序中进行很少的改进,然后就可以使用这些新的库来产生使用 Flask 无法实现的性能改进。

本文详细介绍了典型的生产环境的 CRUD 应用程序从 Flask 到 Quart 的转换,并展示了典型生产部署的性能改进。

tl;dr

将这个 Flask-pyscopg2 应用程序升级到 Quart-asyncpg 应用程序可以提高 3 倍的性能,而不需要对代码进行重大的重写或调整。

升级 Flask 到 Quart 获得 3 倍性能提升

应用程序

对于这个比较,我将使用一个简单的只提供一个 RESTful 接口的应用程序,这是微服务架构中的常见用例,并提供了一个非常简单的代码库进行比较。

该应用程序有由三个路由组成的两个蓝图。这些路由有

  • 单个资源: GET /films/<int:id>/
  • 所有资源: GET /films/
  • 新资源: POST /reviews/

源代码可以在 https:// github.com/pgjones/fast er_than_flask_article 找到,有两个 commit ,一个 Flask 版本和一个 Quart 版本。

从 Flask 到 Quart

从 Flask 改用 Quart 很容易,只需要一点的改变,特别是 from flask 改为 from quart,函数变成异步函数。完整的 diff 是,

def add_review():
    data = request.get_json()
    ...

变成

async def add_review():
    data = await request.get_json()
    ...

从 psycopg2 到 asyncpg

从 psycopg2 改用 asyncpg 比较麻烦,因为两者有不同的用法。为了简化 diff,在 Flask 应用程序中使用了 PoolWrapper,来使用与 asyncpg 相同的 API 为上下文管理的 psycopg2 连接,即 with pool.acquire() as connection: ,这使得 asyncpg 可以把 with 改为 async with。

除了连接之外,asyncpg 和 psycopg2 在 cursor 使用、事务、执行参数和查询格式上也有所不同。这些大多是不同的约定,完整的 diff 

部署

将 Flask 应用程序直接暴露给生产环境不太可能扩展,并不代表典型的生产环境。这是因为Flask 本身一次只能处理一个请求。相反,WSGI 服务器通常与某种异步 worker 结合使用,例如 带 eventlet 的Gunicorn。

Quart 也可以用 Gunicorn 部署,它允许使用相同的命令来运行 Flask 和 Quart 应用程序:

$ gunicorn --config gunicorn.py 'run:create_app()'

性能测试是在 Gunicorn 后面运行的 Flask 和 Quart 应用程序进行的。

数据库

除了添加一个简单的 review 表之外,Postgresql 示例数据库 为应用程序提供一些用于 CRUD的数据。

CREATE TABLE review (
    film_id INTEGER REFERENCES film(film_id), 
    rating INTEGER
);

性能测试

使用 wrk 来测量应用程序的性能。配置为使用20个连接来匹配数据库连接池大小(这应该确保最高的吞吐量,而 20 是我用过的典型值)。

测试 GET 请求的命令是

$ wrk --connections 20 --duration 5m http://localhost:5000/${PATH}/

测试 POST 请求的命令是

$ wrk --connections 20 --duration 5m --script post.lua http://localhost:5000/${PATH}/

( post.lua 

测试系统

Postgres (9.5.10),wrk (4.0.0),Python (3.6.3),asyncpg (0.13.0),Flask (0.12.2),Gunicorn (19.7.1),psycopg2 (2.7.3.2), Quart (0.3.1)。全部运行在一台 AWS c4.large 机器上。

结果

Route           | Requests per second | Average Latency [ms]  |
                |   Flask  |   Quart  |   Flask   |   Quart   |
---------------------------------------------------------------
GET /films/995/ |   330.22 |  1160.27 |     60.55 |     17.23 |
GET /films/     |    99.39 |   194.58 |    201.14 |    102.76 |
POST /reviews/  |   324.49 |  1113.81 |     61.60 |     18.22 |

请注意,Quart 服务器的平均等待时间减少了 2 至 3.5 倍,每秒的请求数量增加了 2 至 3.5 倍。

结论

Flask 应用程序升级到 Quart 应用程序是相当简单的,因为共享 API ,所以主要工作就是在正确的位置写 async 和 await 。 然而,如果使用 SQLAlchemy(或其他 ORM),则从psycopg2 到 asyncpg 的改变会比较复杂,并且可能会很麻烦。

这个 demo 应用程序的性能显着提高,这个改进主要是由于 Quart 使用了 asyncpg 和 uvloop,据估计,仅 Quart 就能提供 1.5 倍的提升。

总之,从 Flask-psycopg2 应用程序升级到 Quart-asyncpg 应用程序的比较的简单,并提供了非常合理的性能改进。这可能会扩展到其他基于 asyncio 的库,这意味着将 Flask 应用程序转换到 asyncio 生态系统,Quart 只需要很小的工作量。

 

 

来自:https://zhuanlan.zhihu.com/p/31578547

 

扩展阅读

流行的Python项目汇总
Python开源项目大全
为什么有这么多 Python?
100+ 超全的 web 开发工具和资源
选择一个 Python Web 框架:Django vs Flask vs Pyramid

为您推荐

[Android技术专题]应用开发进阶必经之路之性能优化
选择一个 Python Web 框架:Django vs Flask vs Pyramid
Android MVP 详解(上)
在 Ubuntu 上使用 Nginx 部署 Flask 应用
讲给硅谷创业者的大数据精华集合

更多

Flask
Quart
asyncio
Python开发
相关文档  — 更多
相关经验  — 更多
相关讨论  — 更多