前言:python由于GIL(全局锁)的存在,不能发挥多核的优势,其性能一直饱受诟病。然而在IO密集型的网络编程里,异步处理比同步处理能提升成百上千倍的效率,弥补了python性能方面的短板,如最新的微服务框架japronto,resquestspersecond可达百万级。
python还有一个优势是库(第三方库)极为丰富,运用十分方便。asyncio是版本引入到标准库,python2x没有加这个库,毕竟python3x才是未来啊,哈哈!又加入了async/await特性。
在学习asyncio之前,我们先来理清楚同步/异步的概念:
·同步是指完成事务的逻辑,先执行第一个事务,如果阻塞了,会一直等待,直到这个事务完成,再执行第二个事务,顺序执行。。。
·异步是和同步相对的,异步是指在处理调用这个事务的之后,不会等待这个事务的处理结果,直接处理第二个事务去了,通过状态、通知、回调来通知调用者处理结果。
一、asyncio
下面通过举例来对比同步代码和异步代码编写方面的差异,其次看下两者性能上的差距,我们使用sleep(1)模拟耗时1秒的io操作。
·同步代码:
importtime
defhello():
(1)
defrun():
foriinrange(5):
hello()
print('HelloWorld:%s'%())定义异步函数
asyncdefhello():
(1)
print('HelloWorld:%s'%())
defrun():
foriinrange(5):
_until_complete(hello())
loop=_event_loop()
if__name__=='__main__':
run()
输出:
HelloWorld:1527595104.8338501
HelloWorld:1527595104.8338501
HelloWorld:1527595104.8338501
HelloWorld:1527595104.8338501
HelloWorld:1527595104.8338501
asyncdef用来定义异步函数,其内部有异步操作。每个线程有一个事件循环,主线程调用_event_loop()时会创建事件循环,你需要把异步的任务丢给这个循环的run_until_complete()方法,事件循环会安排协同程序的执行。
二、aiohttp
如果需要并发http请求怎么办呢,通常是用requests,但requests是同步的库,如果想异步的话需要引入aiohttp。这里引入一个类,fromaiohttpimportClientSession,首先要建立一个session对象,然后用session对象去打开网页。session可以进行多项操作,比如post,get,put,head等。
基本用法:
asyncwithClientSession()assession:
(url)asresponse:
aiohttp异步实现的例子:
importasyncio
fromaiohttpimportClientSession
tasks=[]
url="{}"
asyncdefhello(url):
asyncwithClientSession()assession:
(url)asresponse:
response=()
print(response)
if__name__=='__main__':
loop=_event_loop()
_until_complete(hello(url))
首先asyncdef关键字定义了这是个异步函数,await关键字加在需要等待的操作前面,()等待request响应,是个耗IO操作。然后使用ClientSession类发起http请求。
如果我们需要请求多个URL该怎么办呢,同步的做法访问多个URL只需要加个for循环就可以了。但异步的实现方式并没那么容易,在之前的基础上需要将hello()包装在asyncio的Future对象中,然后将Future对象列表作为任务传递给事件循环。
importtime
importasyncio
fromaiohttpimportClientSession
tasks=[]
url="{}"
asyncdefhello(url):
asyncwithClientSession()assession:
(url)asresponse:
response=()
print(response)
print('HelloWorld:%s'%())
()
defrun():
foriinrange(5):
task=_future(hello((i)))
(task)
result=_until_complete((*tasks))
print(result)
if__name__=='__main__':
loop=_event_loop()
run()
输出:
HelloWorld:1527765369.0785167
HelloWorld:1527765369.0845182
HelloWorld:1527765369.0910277
HelloWorld:1527765369.0920424
HelloWorld:1527765369.097017
[b'!DOCTYPEhtml\r\n!--STATUSOK--\r\nhtml\r\nhead\r\n
异常解决
假如你的并发达到2000个,程序会报错:ValueError:toomanyfiledescriptorsinselect()。报错的原因字面上看是Python调取的select对打开的文件有最大数量的限制,这个其实是操作系统的限制,linux打开文件的最大数默认是1024,windows默认是509,超过了这个值,程序就开始报错。这里我们有三种方法解决这个问题:
1.限制并发数量。(一次不要塞那么多任务,或者限制最大并发数量)
2.使用回调的方式。
3.修改操作系统打开文件数的最大限制,在系统里有个配置文件可以修改默认值,具体步骤不再说明了。
不修改系统默认配置的话,个人推荐限制并发数的方法,设置并发数为500,处理速度更快。
限制并发量为500
to_get=[hello((),semaphore)for_inrange(1000)]now=lambda:()
loop=_event_loop()
_until_complete(run())
()
版权声明:本站所有作品(图文、音视频)均由用户自行上传分享,仅供网友学习交流,不声明或保证其内容的正确性,如发现本站有涉嫌抄袭侵权/违法违规的内容。请举报,一经查实,本站将立刻删除。