python异步编程之asyncio(百万并发)

前言:python由于GIL(全局锁)的存在,不能发挥多核的优势,其性能一直饱受诟病。然而在IO密集型的网络编程里,异步处理比同步处理能提升成百上千倍的效率,弥补了python性能方面的短板,如最新的微服务框架japronto,resquestspersecond可达百万级。

python还有一个优势是库(第三方库)极为丰富,运用十分方便。asyncio是版本引入到标准库,python2x没有加这个库,毕竟python3x才是未来啊,哈哈!又加入了async/await特性。

在学习asyncio之前,我们先来理清楚同步/异步的概念:

·同步是指完成事务的逻辑,先执行第一个事务,如果阻塞了,会一直等待,直到这个事务完成,再执行第二个事务,顺序执行。。。

·异步是和同步相对的,异步是指在处理调用这个事务的之后,不会等待这个事务的处理结果,直接处理第二个事务去了,通过状态、通知、回调来通知调用者处理结果。

一、asyncio

下面通过举例来对比同步代码和异步代码编写方面的差异,其次看下两者性能上的差距,我们使用sleep(1)模拟耗时1秒的io操作。

·同步代码:

importtime

defhello():

(1)

defrun():

foriinrange(5):

hello()

print('HelloWorld:%s'%())定义异步函数

asyncdefhello():

(1)

print('HelloWorld:%s'%())

defrun():

foriinrange(5):

_until_complete(hello())

loop=_event_loop()

if__name__=='__main__':

run()

输出:

HelloWorld:1527595104.8338501

HelloWorld:1527595104.8338501

HelloWorld:1527595104.8338501

HelloWorld:1527595104.8338501

HelloWorld:1527595104.8338501

asyncdef用来定义异步函数,其内部有异步操作。每个线程有一个事件循环,主线程调用_event_loop()时会创建事件循环,你需要把异步的任务丢给这个循环的run_until_complete()方法,事件循环会安排协同程序的执行。

二、aiohttp

如果需要并发http请求怎么办呢,通常是用requests,但requests是同步的库,如果想异步的话需要引入aiohttp。这里引入一个类,fromaiohttpimportClientSession,首先要建立一个session对象,然后用session对象去打开网页。session可以进行多项操作,比如post,get,put,head等。

基本用法:

asyncwithClientSession()assession:

(url)asresponse:

aiohttp异步实现的例子:

importasyncio

fromaiohttpimportClientSession

tasks=[]

url="{}"

asyncdefhello(url):

asyncwithClientSession()assession:

(url)asresponse:

response=()

print(response)

if__name__=='__main__':

loop=_event_loop()

_until_complete(hello(url))

首先asyncdef关键字定义了这是个异步函数,await关键字加在需要等待的操作前面,()等待request响应,是个耗IO操作。然后使用ClientSession类发起http请求。

如果我们需要请求多个URL该怎么办呢,同步的做法访问多个URL只需要加个for循环就可以了。但异步的实现方式并没那么容易,在之前的基础上需要将hello()包装在asyncio的Future对象中,然后将Future对象列表作为任务传递给事件循环。

importtime

importasyncio

fromaiohttpimportClientSession

tasks=[]

url="{}"

asyncdefhello(url):

asyncwithClientSession()assession:

(url)asresponse:

response=()

print(response)

print('HelloWorld:%s'%())

()

defrun():

foriinrange(5):

task=_future(hello((i)))

(task)

result=_until_complete((*tasks))

print(result)

if__name__=='__main__':

loop=_event_loop()

run()

输出:

HelloWorld:1527765369.0785167

HelloWorld:1527765369.0845182

HelloWorld:1527765369.0910277

HelloWorld:1527765369.0920424

HelloWorld:1527765369.097017

[b'!DOCTYPEhtml\r\n!--STATUSOK--\r\nhtml\r\nhead\r\n

异常解决

假如你的并发达到2000个,程序会报错:ValueError:toomanyfiledescriptorsinselect()。报错的原因字面上看是Python调取的select对打开的文件有最大数量的限制,这个其实是操作系统的限制,linux打开文件的最大数默认是1024,windows默认是509,超过了这个值,程序就开始报错。这里我们有三种方法解决这个问题:

1.限制并发数量。(一次不要塞那么多任务,或者限制最大并发数量)

2.使用回调的方式。

3.修改操作系统打开文件数的最大限制,在系统里有个配置文件可以修改默认值,具体步骤不再说明了。

不修改系统默认配置的话,个人推荐限制并发数的方法,设置并发数为500,处理速度更快。

限制并发量为500

to_get=[hello((),semaphore)for_inrange(1000)]now=lambda:()

loop=_event_loop()

_until_complete(run())

()

版权声明:本站所有作品(图文、音视频)均由用户自行上传分享,仅供网友学习交流,不声明或保证其内容的正确性,如发现本站有涉嫌抄袭侵权/违法违规的内容。请举报,一经查实,本站将立刻删除。

相关推荐