技术分享 | 乱谈 Python 并发

   <p><strong>乱谈Python并发</strong></p>    <p>说实话，我一直觉得PHP真的是最好的语言，不仅养活了一大批PHP程序员，同时还为安全人员提供了大量的就业机会。然而，令人唏嘘的是，安全界很多人其实是吃着Python的饭，操着PHP的心。此外，大量的安全研究工具也都是使用Python开发，比如我始终不习惯的mitmproxy，又或者一个循环语句400行的sqlmap、一抓一大把的爬虫框架以及subprocess满天飞的命令行应用包装库。</p>    <p>干活要吃饭，吃饭要带碗。既然这样，要进入互联网安全领域，无论是小白还是高手，多少是要了解点Python的。虽然笔者只是个安全太白，连小白都够不上，但我Python比你专业啊。我看过一些安全人员写的代码，不可否认，功能是有的，代码是渣的，这我非常理解，毕竟术业有专攻，要我去挖洞我也麻瓜，挖个坑倒可以。</p>    <p>其实，Python可以谈的话题很多，比如Python2还是Python3，比如WSGI，比如编码，比如扩展，比如JIT，比如框架和常用库等等，而我们今天要说的则是异步/并发问题，代码运行快一点，就能有更多时间找女朋友了。</p>    <p><strong>进程</strong></p>    <p>众所周知，CPython存在GIL（全局解释锁）问题，用来保护全局的解释器和环境状态变量，社区有过几次去GIL的尝试，都以失败告终，因为发现即使去了GIL，性能好像提高也不是那么明显嘛，还搞那么复杂。注意，这里说的是CPython，Python语言本身是没说要必须有GIL的，例如基于JVM的Jython。而GIL的结果就是Python多线程无法利用多CPU，你128核又如何，我就逮着一只羊薅羊毛了。所以，如果功能是CPU密集型的，这时候Python的进程就派上用场了，除此之外，利用C扩展也是可以绕过GIL的，这是后话。</p>    <p>进程模型算是一种比较古老的并发模型。Python中的进程基本是对系统原生进程的包装，比如Linux上的fork。在Python标准库中，主要是multiprocessing包，多么直白的名字。其中常用的也就是pool，queue模块以及synchronize模块中的一些同步原语（Lock、Condition、Semaphore、Event等）。如果需要更高级的功能，可以考虑下managers模块，该模块用来管理同步进程，大致的实现原理是在内部起了一个server，进程都与这个server交互，进行变量共享...目瞪狗呆有没有，这个模块笔者也只用过两三次，如需对进程进行高级管理，请移步此处。</p>    <p>另外，multiprocessing中有个dummpy子模块，重新实现了一遍多进程模块中的API，然而，它是多线程的，就这么乱入，目的是方便你的代码在多线程和多进程之间无障碍切换，很贴心有没有，而且异常低调，低调到官方文档就一句话，17个单词。</p>    <p>如果你的代码需要大量的CPU运算，多进程是一个比较好的选择。对于安全领域的来说，这种场景貌似不是很多，什么？需要大量加密解密？都到自己要 实现这么高深算法的程度了，别挣扎了，用C吧，写个扩展更好。</p>    <p>所以，如非必须，我是不太推荐用多进程的，容易出错，不好控制，而且，有更省心的选择，谁会和自己过不去呢。</p>    <p><strong>线程</strong></p>    <p>与进程一样，Python中的线程也是对系统原生线程的包装。其实现在的Linux上，线程和进程的差别不是很大，以此推知，Linux平台下，Python中的线程和进程开销差别也不会太大，但终归进程是要开销大点的，创建也会慢一点。相比于进程，我是更倾向使用线程的，尤其是IO密集型程序，能用线程解决的问题，尽量不用进程。</p>    <p>另外，如果要在进程之间共享数据，确实比较头疼一点，要用到Queue、Pipe、SyncManager或者类似redis这种外部依赖，而线程之间共享数据就方便很多，毕竟大家都是一个爹生的，家里东西一起用吧。有人可能会觉得，线程能共享数据，但是也会在修改数据时互相影响，导致各种难以排查的BUG，这个问题提的好，之所以有这种问题，还不是因为代码写的烂，多练练就好了。如果既想要方便的共享数据，还要能随意的隔离数据，threading.local()可以帮你，创建的变量属于线程隔离的，线程之间互不影响，上帝的归上帝，恺撒的归恺撒。说到ThreadLocal变，我们熟知的Flask中每个请求上下文都是ThreadLocal的，以便请求隔离，这个是题外话。</p>    <p>Python中的线程主要是在threading模块里，这个模块是对更底层的\_thread的封装，提供了更友好的接口。该模块中用到比较多的也是Queue、Pool、Lock、Event等，这些就不展开了，有机会再一一细说。Python 3.2后还引入了一个比较有意思的新类，叫Barrier，顾名思义，就是设置个障碍（设置数目n），等大家都到齐了（每个线程调用下wait，直到有n个线程调用），再一起出发。Python 3.3也在进程中引入了对应的此模块。此外，还有Timer可以用来处理各种超时情况，比如终结subprocess创建的进程。</p>    <p>创建多线程有两种方式：一种是继承threading.Thread类，然后实现run方法，在其中实现功能逻辑；另一种就是直接threading.Thread(target=xxx)的方式来实现，与进程模块大同小异。具体使用可以参考官方文档，这里就不赘述了。</p>    <p><strong>协程</strong></p>    <p>前面我们提到了，Python的线程（包括进程）其实都是对系统原生内核级线程的包装，切换时，需要在内核与用户态空间来来回回，开销明显会大很多，而且多个线程完全由系统来调度，什么时候执行哪个线程是无法预知的。相比而言，协程就轻量级很多，是对线程的一种模拟，原理与内核级线程类似，只不过切换时，上下文环境保存在用户态的堆栈里，协程“挂起”的时候入栈，“唤醒”的时候出栈，所以其调度是可以人为控制的，这也是“协程”名字的来由，大伙协作着来，别总抢来抢去的，伤感情。</p>    <p>实际上，协程本身并不是真正的并发，任何时候只有一个协程在执行，只是当需要耗时操作时，比如I/O，我们就让它挂起，执行别的协程，而不是一直干等着什么也做不了，I/O完毕了我们再切换来继续执行，这样可以大大提高效率，而且不用再费心费力去考虑同步问题，简单高效。与传统线程、进程模型相比，协程配上事件循环（告诉协程什么时候挂起，什么时候唤醒），简直完美。Python里的协程也是后来才逐渐加入的，基本分三个阶段，过程比较坎坷，与”携程“差不多，时不时被骂几句。</p>    <p><strong>yield/send</strong></p>    <p>这算是第一个阶段，其实yield主要是用来做生成器的，不要告我不知道什么叫生成器，这多尴尬。Python 2.5时，yield变成了表达式（之前只是个语句），这样就有了值，同时PEP 342引入了send，yield可以暂停函数执行，send通知函数继续往下执行，并提供给yield值。仔细一看，好巧啊，这么像协程，于是屁颠屁颠的把生成器用来实现协程，虽然是半吊子工程，不过还不错的样子，总比没有的好，自此我们也可以号称是一门有协程的现代高级编程语言了。</p>    <p>可以这么说，对于不考虑yield返回值情形，我们就把它当作普通的生成器，对于考虑yield返回值的，我们就可以把它看作是协程了。</p>    <p style="text-align:center"><img src="https://simg.open-open.com/show/f5c487c4efa5ae085b3e097d9ef5991d.png"></p>    <p>但是，生成器干协程的活，总归不是那么专业。虽然生成器这货能模拟协程，但是模拟终归是模拟，不能return，不能跨堆栈，局限性很大。说到这里 ，连不起眼的Lua都不屑于和我们多说话，Go则在Goroutine（说白了还不是类协程）的道上一路狂奔，头都不回，而Erlang轻轻抚摸了下Python的头， 说句：孙子诶。</p>    <p>既然Python 2.x中的yield不争气，索性我们来改造下咯，于是Python 3.3（别老抱着Python 2不放了）中生成器函数华丽丽的可以return了，顺带来了 个yield from，解决了旧yield的短板。</p>    <p><strong>asyncio/yield from</strong></p>    <p>这算第二阶段，Python 3.3引入yield from（PEP 380），Python3.4引入asyncio。其实本质上来说，asyncio是一个事件循环，干的活和libev差不多， 用来调度协程，同时使用@asyncio.coroutine来把函数打扮成协程，搭配上yield from实现基于协程的异步并发。</p>    <p>与yield相比，yield from进化程度明显高了很多，不仅可以用于重构简化生成器，进而把生成器分割成子生成器，还可以像一个双向管道一样，将send 的信息传递给内层协程，获取内层协程yield的值，并且处理好了各种异常情况，`return (yield from xxx)`也是溜溜的。</p>    <p style="text-align:center"><img src="https://simg.open-open.com/show/eb6001134ceff9af03088f5599c5b5dc.jpg"></p>    <p>接下来看一个yield from Future的例子，其实就是asyncio.sleep(1)：</p>    <p style="text-align:center"><img src="https://simg.open-open.com/show/c01d7c6817393cb609a33a09dcfdd232.jpg"></p>    <p><strong>async/await</strong></p>    <p>这是第三个阶段。Python 3.5引入了async/await，没错，我们就是抄C#的，而且还抄出了具有Python特色的`async with`和`async for`。某种程度上 看，async/await是asyncio/yield from的升级版，这下好了，从语言层面得到了的支持，我们是名正言顺的协程了，再也不用寄人篱下，委身于生成器 了（提裤子不认人啊，其实还不是asyncio帮衬着）。也是从这一版本开始，生成器与协程的界限要逐渐开始划清。</p>    <p>对比下async/await和asyncio/yield from，如此相似，不过还是有一些区别的，比如await和yield from接受的类型，又比如函数所属类型等，所以二 者是不能混用的：</p>    <p style="text-align:center"><img src="https://simg.open-open.com/show/7cb42bbccfceab463e02f407feebb092.jpg"></p>    <p>不过话说回来，最近几个版本的Python引入的东西真不少，概念一个一个的，感觉已经不是原来那个单纯的Python了。悲剧的是用的人却不多，周边生 态一片贫瘠，社区那帮人都是老司机，您车开这么快，我等赶不上啊，连Python界的大神爱民（Armin Ronacher，我是这么叫的，听着接地气）都一脸 蒙逼，狂吐槽（ http://lucumr.pocoo.org/2016/10/30/i-dont-understand-asyncio ），眼看着就要跑去搞rust了。不过，吐槽归吐槽，这个毕竟是 趋势，总归是要了解的，技多不压身，乱世出英雄，祝你好运。</p>    <p>题外话，搞安全么，难免写个爬虫、发个http请求什么的，还在用requests吗，去试试aiohttp，谁用谁知道。</p>    <p><strong>greenlet/gevent与tornado</strong></p>    <p>除了官方的协程实现外，还有一些基于协程的框架或网络库，其中比较有名的有gevent和tornado，我个人强烈建议好好学学这两个库。</p>    <p>gevent是一个基于协程的异步网络库，基于libev与greenlet。鉴于Python 2中的协程比较残疾，greenlet基本可以看作是Python 2事实上的协程实现了 。与官方的各种实现不同，greenlet底层是C实现的，尽管stackless python基本上算失败了，但是副产品greenlet却发扬光大，配合libev也算活的有 声有色，API也与标准库中的线程很类似，分分钟上手。同时猴子补丁也能很大程度上解决大部分Python库不支持异步的问题，这时候nodejs的同学一定 在偷笑了：Python这个渣渣。</p>    <p>tornado则是一个比较有名的基于协程的网络框架，主要包含两部分：异步网络库以及web框架。东西是好东西，相比twisted也挺轻量级，但是配套不完 善啊，到现在我都没找到一个好用的MySQL驱动，之前用的Redis驱动还坑的我不要不要的。我觉得用作异步网络库还是相当不错的，但是作为web框架吧 ...就得看人了，我见过很多人直接用普通的MySQLdb，还告我说tornado性能高，你在逗我吗，用普通的MySQL驱动配合异步框架，这尼玛当单线程在用 啊，稍有差错IOLoop Block到死，我要是tornado我都火大。随着Python的发展，tornado现在也已经支持asyncio以及async/await，不过我很久没用了 ，具体如何请参考文档。</p>    <p>对比gevent与tornado，本质上是相同的，只是二者走了不同的道路，gevent通过给标准库的socket、thread、ssl、os等打patch，采用隐式的方式，无 缝的把现有的各种库转换为支持异步，避免了为支持异步而重写，解决了库的问题，性能也是嗖嗖的，随随随便跑万儿八千个patch后的线程玩一样，然 而，我对这种隐藏细节、不可掌控的黑魔法总是有一丝顾虑；另一方的tornado则采用显示的方式，把调度交给用户来完成，清晰明了，结果就是自成一 套体系，没法很好的利用现有的很多库，还得显示的调用IOLoop，单独使用异常别扭，你可以试试nsq的官方Python库，都是泪。</p>    <p>本文只是对Python中并发编程的一个全局性的介绍，帮助不了解这方面的同学有一个概念，方便去针对学习，若要展开细节，恐怕三天三夜也讲不完， 而我的碗还没洗，所以这次就到此为止。其实，作为一门通用胶水语言，我觉得，无论工作是哪个方向，好好学习一下Python是有必要的。知道 requests那哥们吗，写完requests后就从路人大胖子变成了文艺摄影小帅哥，而且还抱得美人归，你还等什么。退一步讲，万一安全搞不好，还可以考 虑进军目前火热的机器学习领域。</p>    <p>所以，人生苦短，我用Python。</p>    <p> </p>    <p> </p>    <p> </p>    <p>来自：http://mp.weixin.qq.com/s?__biz=MzI2NzI2OTExNA==&mid=2247484013&idx=1&sn=c4403efdb47bfb7f7d420859ad55debf&chksm=ea8024f8ddf7adeecb0131a67e4415a2a49129faa8f14a363d67babaa91b04399209fed7b30a#rd</p>    <p> </p>