位置: 编程技术 - 正文

Python的Tornado框架的异步任务与AsyncHTTPClient(python tornado框架)

编辑:rootadmin

推荐整理分享Python的Tornado框架的异步任务与AsyncHTTPClient(python tornado框架),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python tornado django,python tornado orm,python tornado框架,python tor,python tornado orm,python toad,python tornado django,python tornado框架,内容如对您有帮助,希望把文章链接给更多的朋友!

高性能服务器TornadoPython的web框架名目繁多,各有千秋。正如光荣属于希腊,伟大属于罗马。Python的优雅结合WSGI的设计,让web框架接口实现千秋一统。WSGI 把应用(Application)和服务器(Server)结合起来。Django 和 Flask 都可以结合 gunicon 搭建部署应用。

与 django 和 flask 不一样,tornado 既可以是 wsgi 应用,也可以是 wsgi 服务。当然,选择tornado更多的考量源于其单进程单线程异步IO的网络模式。高性能往往吸引人,可是有不少朋友使用之后会提出疑问,tornado号称高性能,实际使用的时候却怎么感受不到呢?

实际上,高性能源于Tornado基于Epoll(unix为kqueue)的异步网络IO。因为tornado的单线程机制,一不小心就容易写出阻塞服务(block)的代码。不但没有性能提高,反而会让性能急剧下降。因此,探索tornado的异步使用方式很有必要。

Tornado 异步使用方式简而言之,Tornado的异步包括两个方面,异步服务端和异步客户端。无论服务端和客户端,具体的异步模型又可以分为回调(callback)和协程(coroutine)。具体应用场景,也没有很明确的界限。往往一个请求服务里还包含对别的服务的客户端异步请求。

服务端异步方式服务端异步,可以理解为一个tornado请求之内,需要做一个耗时的任务。直接写在业务逻辑里可能会block整个服务。因此可以把这个任务放到异步处理,实现异步的方式就有两种,一种是yield挂起函数,另外一种就是使用类线程池的方式。请看一个同步例子:

使用ab测试一下:

qps 仅有可怜的 0.,姑且当成每秒处理一个请求吧。

下面祭出异步大法:

尽管在执行异步任务的时候选择了timeout 1秒,主线程的返回还是很快的。ab压测如下:

上述的使用方式,通过tornado的IO循环,把可以把耗时的任务放到后台异步计算,请求可以接着做别的计算。可是,经常有一些耗时的任务完成之后,我们需要其计算的结果。此时这种方式就不行了。车道山前必有路,只需要切换一异步方式即可。下面使用协程来改写:

可以看到异步在处理,而结果值也被返回了。

qps提升还是很明显的。有时候这种协程处理,未必就比同步快。在并发量很小的情况下,IO本身拉开的差距并不大。甚至协程和同步性能差不多。例如你跟博尔特跑米肯定输给他,可是如果跟他跑2米,鹿死谁手还未定呢。

yield挂起函数协程,尽管没有block主线程,因为需要处理返回值,挂起到响应执行还是有时间等待,相对于单个请求而言。另外一种使用异步和协程的方式就是在主线程之外,使用线程池,线程池依赖于futures。Python2需要额外安装。

下面使用线程池的方式修改为异步处理:

再运行ab测试:

qps瞬间达到了.。同时,可以看到服务器的log还在不停的输出ping的结果。想要返回值也很容易。再切换一下使用方式接口。使用tornado的gen模块下的with_timeout功能(这个功能必须在tornado>3.2的版本)。

线程池的方式也可以通过使用tornado的yield把函数挂起,实现了协程处理。可以得出耗时任务的result,同时不会block住主线程。

qps为,使用yield协程的方式,仅为非reponse的十分之一左右。看起来性能损失了很多,主要原因这个协程返回结果需要等执行完毕任务。

Python的Tornado框架的异步任务与AsyncHTTPClient(python tornado框架)

好比打鱼,前一种方式是撒网,然后就完事,不闻不问,时间当然快,后一种方式则撒网之后,还得收网,等待收网也是一段时间。当然,相比同步的方式还是快了千百倍,毕竟撒网还是比一只只钓比较快。

具体使用何种方式,更多的依赖业务,不需要返回值的往往需要处理callback,回调太多容易晕菜,当然如果需要很多回调嵌套,首先优化的应该是业务或产品逻辑。yield的方式很优雅,写法可以异步逻辑同步写,爽是爽了,当然也会损失一定的性能。

异步多样化Tornado异步服务的处理大抵如此。现在异步处理的框架和库也很多,借助redis或者celery等,也可以把tonrado中一些业务异步化,放到后台执行。

此外,Tornado还有客户端异步功能。该特性主要是在于 AsyncHTTPClient的使用。此时的应用场景往往是tornado服务内,需要针对另外的IO进行请求和处理。顺便提及,上述的例子中,调用ping其实也算是一种服务内的IO处理。接下来,将会探索一下AsyncHTTPClient的使用,尤其是使用AsyncHTTPClient上传文件与转发请求。

异步客户端前面了解Tornado的异步任务的常用做法,姑且归结为异步服务。通常在我们的服务内,还需要异步的请求第三方服务。针对HTTP请求,Python的库Requests是最好用的库,没有之一。官网宣称:HTTP for Human。然而,在tornado中直接使用requests将会是一场恶梦。requests的请求会block整个服务进程。

上帝关上门的时候,往往回打开一扇窗。Tornado提供了一个基于框架本身的异步HTTP客户端(当然也有同步的客户端)--- AsyncHTTPClient。

AsyncHTTPClient 基本用法AsyncHTTPClient是 tornado.httpclinet 提供的一个异步http客户端。使用也比较简单。与服务进程一样,AsyncHTTPClient也可以callback和yield两种使用方式。前者不会返回结果,后者则会返回response。

如果请求第三方服务是同步方式,同样会杀死性能。

使用ab测试大概如下:

性能相当慢了,换成AsyncHTTPClient再测:

qps 提高了很多

同样,为了获取response的结果,只需要yield函数。

AsyncHTTPClient 转发使用Tornado经常需要做一些转发服务,需要借助AsyncHTTPClient。既然是转发,就不可能只有get方法,post,put,delete等方法也会有。此时涉及到一些 headers和body,甚至还有https的waring。

下面请看一个post的例子, yield结果,通常,使用yield的时候,handler是需要 tornado.gen.coroutine。

AsyncHTTPClient 构造请求如果业务处理并不是在handlers写的,而是在别的地方,当无法直接使用tornado.gen.coroutine的时候,可以构造请求,使用callback的方式。

用法也比较简单,AsyncHTTPClient中的fetch方法,第一个参数其实是一个HTTPRequest实例对象,因此对于一些和http请求有关的参数,例如method和body,可以使用HTTPRequest先构造一个请求,再扔给fetch方法。通常在转发服务的时候,如果开起了validate_cert,有可能会返回timeout之类,这是一个warning,官方却认为是合理的。

AsyncHTTPClient 上传图片AsyncHTTPClient 更高级的用法就是上传图片。例如服务有一个功能就是请求第三方服务的图片OCR服务。需要把用户上传的图片,再转发给第三方服务。

对比上述的用法,上传图片仅仅是多了一个图片的编码。将图片的二进制数据按照multipart 方式编码。编码的同时,还需要把传递的相关的字段处理好。相比之下,使用requests 的方式则非常简单:

总结通过AsyncHTTPClient的使用方式,可以轻松的实现handler对第三方服务的请求。结合前面关于tornado异步的使用方式。无非还是两个key。是否需要返回结果,来确定使用callback的方式还是yield的方式。当然,如果不同的函数都yield,yield也可以一直传递。这个特性,tornado的中的tornado.auth 里面对oauth的认证。

大致就是这样的用法。

结合Python的SimpleHTTPServer源码来解析socket通信 何谓socket计算机,顾名思义即是用来做计算。因而也需要输入和输出,输入需要计算的条件,输出计算结果。这些输入输出可以抽象为I/O(inputoutput)。

总结网络IO模型与select模型的Python实例讲解 网络I/O模型人多了,就会有问题。web刚出现的时候,光顾的人很少。近年来网络应用规模逐渐扩大,应用的架构也需要随之改变。Ck的问题,让工程师

Python的Flask框架及Nginx实现静态文件访问限制功能 Nginx配置Ngnix,一个高性能的web服务器,毫无疑问它是当下的宠儿。卓越的性能,灵活可扩展,在服务器领域里攻城拔寨,征战天下。静态文件对于大多

标签: python tornado框架

本文链接地址:https://www.jiuchutong.com/biancheng/387647.html 转载请保留说明!

上一篇:深入解析Python中的descriptor描述器的作用及用法(python 解析)

下一篇:结合Python的SimpleHTTPServer源码来解析socket通信(python simple)

  • 增值税发票如何开
  • 简单的记账方法明细表格怎么做
  • 现金流量表存货增加是负的
  • 资本公积和实收资本是什么意思
  • ktv发票可以入账吗
  • 期末结转增值税
  • 空调属于固定资产类别的什么
  • 雇佣外籍劳工
  • 未开票收入已报税怎么办
  • 内账应收应付算利润吗
  • 材料暂估入库后怎么做账
  • 已认证抵扣的发票如何红字信息表
  • 子公司注销欠母公司借款怎么办
  • 开具正规发票和不开发票对企业纳税的影响有什么不同?
  • 职工教育经费能抵扣进项税
  • 简并增值税税率政策解读
  • 一般纳税人为其他公司制作标书怎么缴税?
  • 分公司给总公司管理费的会计分录
  • 税务登记证遗失了怎么注销
  • 未完工产品成本计算公式
  • 工程分配协议书范本
  • windows11禁止自动更新
  • 预付加油卡发票可以报销吗
  • 企事业承包承租经营所得税税法
  • win10开始菜单设置无效
  • 触电了该怎么做
  • paytime.exe - paytime是什么进程 有什么用
  • 销售费用里面的支付的安装人工费汇算清缴时计入哪里
  • 最小的固态硬盘多大尺寸
  • PHP:mcrypt_enc_is_block_mode()的用法_Mcrypt函数
  • 主营业务收入含义
  • 运费发票如何入账
  • 潜水时看到的鱼
  • php删除元素
  • 小规模纳税人减免增值税会计处理
  • Vue项目打包
  • js实现拖拽选区的功能
  • 利润表中本期金额栏各项目应根据损益类账户的什么填列
  • 开启php
  • 研发费用没有发票怎么做账
  • db2入门视频教程
  • 发票认证后总局没信息
  • 一般计税方法预交增值税
  • sqlserver 创建链接服务器
  • 社保当月没扣
  • 合并抵消分录影响母公司总分类账吗
  • 土地增值税预缴计算方法70号公告
  • 主营业务成本如何设置明细
  • 汽车租赁公司怎么办理
  • 提供劳务方式是什么意思
  • 机关和事业单位党的支部委员会每届任期
  • 带息票据为什么是贷财务费用
  • 汇算清缴帐务处理
  • 其他债权投资减值影响账面价值吗
  • 固定资产如何管理可以做到节能减排
  • 企业建账目的
  • Mac OS X 10.9 Mavericks系统怎么激活?
  • fedora14虚拟机安装教程
  • win10教育版如何恢复出厂设置
  • mis.off c n
  • win7电脑无法上网 连接正常
  • android5种布局
  • opengl编程实例
  • opengl metal
  • dos命令查看
  • dos批命令
  • 批量dns解析
  • cmd命令可以干嘛
  • 基于重大误解实施的民事法律行为
  • python开发者文档
  • javascript例题
  • unity3drpg游戏
  • python获取xhr
  • python多进程多线程协程
  • jquery给输入框赋值
  • 中国税务主旨是什么?
  • 金税全国客服电话
  • 成都国家税务局每个月交全民付的钱是什么
  • 江苏税务登记证查询
  • 税控盘开票怎么赋码的教程
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设