网创优客建站品牌官网
为成都网站建设公司企业提供高品质网站建设
热线:028-86922220
成都专业网站建设公司

定制建站费用3500元

符合中小企业对网站设计、功能常规化式的企业展示型网站建设

成都品牌网站建设

品牌网站建设费用6000元

本套餐主要针对企业品牌型网站、中高端设计、前端互动体验...

成都商城网站建设

商城网站建设费用8000元

商城网站建设因基本功能的需求不同费用上面也有很大的差别...

成都微信网站建设

手机微信网站建站3000元

手机微信网站开发、微信官网、微信商城网站...

建站知识

当前位置:首页 > 建站知识

python分布式爬虫中的celery如何使用-创新互联

这篇文章主要介绍了python分布式爬虫中的celery如何使用,具有一定借鉴价值,需要的朋友可以参考下。希望大家阅读完这篇文章后大有收获。下面让小编带着大家一起了解一下。

创新互联-专业网站定制、快速模板网站建设、高性价比青冈网站开发、企业建站全套包干低至880元,成熟完善的模板库,直接使用。一站式青冈网站制作公司更省心,省钱,快速模板网站建设找我们,业务覆盖青冈地区。费用合理售后完善,十多年实体公司更值得信赖。

1. broker:翻译过来叫做中间人。它是一个消息传输的中间件,可以理解为一个邮箱。每当应用程序调用celery的异步任务的时候,会向broker传递消息,而后celery的worker将会取到消息,执行相应程序。这其实就是消费者和生产者之间的桥梁。

2. backend: 通常程序发送的消息,发完就完了,可能都不知道对方时候接受了。为此,celery实现了一个backend,用于存储这些消息以及celery执行的一些消息和结果。

3. worker: Celery类的实例,作用就是执行各种任务。注意在celery3.1.25后windows是不支持celery worker的!

4. producer: 发送任务,将其传递给broker

5. beat: celery实现的定时任务。可以将其理解为一个producer,因为它也是通过网络调用定时将任务发送给worker执行。注意在windows上celery是不支持定时任务的!

下面是关于celery的架构示意图,结合上面文字的话应该会更好理解

python分布式爬虫中的celery如何使用

感谢你能够认真阅读完这篇文章,希望小编分享python分布式爬虫中的celery如何使用内容对大家有帮助,同时也希望大家多多支持创新互联网站建设公司,,关注创新互联行业资讯频道,遇到问题就找创新互联网站建设公司,,详细的解决方法等着你来学习!


文章标题:python分布式爬虫中的celery如何使用-创新互联
本文路径:http://bjjierui.cn/article/pesoc.html

其他资讯