这篇文章给大家分享的是有关python怎么重写start_requests方法的内容。小编觉得挺实用的，因此分享给大家做个参考，一起跟随小编过来看看吧。
成都创新互联专注于宁津网站建设服务及定制，我们拥有丰富的企业做网站经验。 热诚为您提供宁津营销型网站建设，宁津网站制作、宁津网页设计、宁津网站官网定制、成都小程序开发服务，打造宁津网络公司原创品牌,更为您提供宁津网站排名全网营销落地服务。
说明
1、在scrapy中，start_url是由start_requests处理的，通过重写这种方法，start_url可以携带请求头信息。
2、cookie不能放在scrapy中的headers中，在构建请求时有专门的cookies参数。
可以接收字典形式的cookie。可能需要在settings中设置ROBOTS协议和USER_AGENT。
实例
import scrapy
class Git1Spider(scrapy.Spider):
name = 'git1'
allowed_domains = ['github.com']
start_urls = ['https://github.com/GitLqr']
def start_requests(self):
"""
重写start_requests，发送携带cookies的Request。
默认start_requests只是普通的get请求，不会携带自定义的头信息
"""
url = self.start_urls[0]
temp = '_octo=GH1.1.1045146750.1615451260; _device_id=cd8d64981fcb3fd4ba7f587873e97804'
# 把cookies字符串转成字典
cookies = {data.split('=')[0]: data.split('=')[-1] for data in temp.split('; ')}
yield scrapy.Request(
url=url,
callback=self.parse,
cookies=cookies
)
def parse(self, response):
print(response.xpath('/html/head/title/text()').extract_first())感谢各位的阅读！关于“python怎么重写start_requests方法”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，让大家可以学到更多知识，如果觉得文章不错，可以把它分享出去让更多的人看到吧！
