这篇文章给大家分享的是有关scrapy适合用来处理python爬虫调度么的内容。小编觉得挺实用的，因此分享给大家做个参考。一起跟随小编过来看看吧。
需要使用代码来爬一些数据的大概分为两类人：
非程序员，需要爬一些数据来做毕业设计、市场调研等等，他们可能连 Python 都不是很熟；
程序员，需要设计大规模、分布式、高稳定性的爬虫系统，对他们来说，语言都无所谓的，更别说用不用框架了。
对于一个任何一个已经入门的程序员来说，Python 都算不上一个很复杂的语言，除了不用大括号可能让一些人感觉有些不适应之外，基本上看看语法上手就能写了。但是恰恰是因为我们都是老司机了，所以不能体会到使用一门编程语言对于外行来说可能『比登天还难』。如果不用 scrapy，可能我只需要这样：
import requests
def main():
for i in range(100):
rsp = requests.get(f"http://www.example.com/{i}.html")
with open("example-{i}.txt", "w") as f:
f.write(rsp.text)
if __name__ == "__main__":
main()就写好了一个简单的爬虫，而使用 scrapy 呢，大概需要这样吧：
import scrapy
class QuotesSpider(scrapy.Spider):
name = 'quotes'
def start_requests(self):
urls = [
'http://quotes.toscrape.com/page/1/',
'http://quotes.toscrape.com/page/2/'
]
for url in urls:
yield scrapy.Request(url=url, callback=self.parse)
def parse(self, response):
page = response.url.split('/')[-2]
filename = 'quotes-%s.html' % page
with open(filename, 'wb') as f:
f.write(response.body)
self.log('Save file %s' % filename)先不说代码增长了一倍有余，初学者会问到这些问题：什么是 class？为什么类还有参数？啊，什么是继承？yield 又是什么鬼，那个 scrapy.Request 又是啥？这些都是负担。
既然要开发大型爬虫系统，那么其中很重要的一部分就是爬虫的调度了。一种比较简单的模式是 scheduler 作为 master，全局调度。另一种模式没有 master，所有的爬虫 worker 都是对等的。在实际生产中显然是第一种用的更多。
显然 scheduler 这部分是不能再用一个爬虫框架来实现的，连主循环都没有咋写逻辑呢？我们可能还要实现增量爬取，或者消费业务方发来的爬取请求等各种业务，这块显然是在 scheduler 里面的，那么这个爬虫系统无非是 scheduler 分发任务给各个 worker 来抓取。worker 还可以使用 scrapy 实现，但是呢，这个 worker 其实已经弱化为一层薄薄的 downloader 了，那我要他干嘛呢？scrapy 的核心逻辑也不过是个深度或者广度优先的遍历而已，少一个依赖不好么……
爬虫的工作量要么在反爬，要么在调度等业务逻辑，本身只是一个 requests.get 而已，scrapy 提供的种种抽象对于初学者太复杂，大型系统又用不上，所以个人不推荐使用包括但不限于 scrapy 在内的所有爬虫框架。
感谢各位的阅读！关于scrapy适合用来处理python爬虫调度么就分享到这里了，希望以上内容可以对大家有一定的帮助，让大家可以学到更多知识。如果觉得文章不错，可以把它分享出去让更多的人看到吧！
