网创优客建站品牌官网
为成都网站建设公司企业提供高品质网站建设
热线:028-86922220
成都专业网站建设公司

定制建站费用3500元

符合中小企业对网站设计、功能常规化式的企业展示型网站建设

成都品牌网站建设

品牌网站建设费用6000元

本套餐主要针对企业品牌型网站、中高端设计、前端互动体验...

成都商城网站建设

商城网站建设费用8000元

商城网站建设因基本功能的需求不同费用上面也有很大的差别...

成都微信网站建设

手机微信网站建站3000元

手机微信网站开发、微信官网、微信商城网站...

建站知识

当前位置:首页 > 建站知识

python爬虫设置代理ip的方法

这篇文章主要介绍了python爬虫设置代理ip的方法,具有一定借鉴价值,需要的朋友可以参考下。希望大家阅读完这篇文章后大有收获。下面让小编带着大家一起了解一下。

创新互联公司是创新、创意、研发型一体的综合型网站建设公司,自成立以来公司不断探索创新,始终坚持为客户提供满意周到的服务,在本地打下了良好的口碑,在过去的10年时间我们累计服务了上千家以及全国政企客户,如成都围栏护栏等企业单位,完善的项目管理流程,严格把控项目进度与质量监控加上过硬的技术实力获得客户的一致称誉。

python爬虫设置代理ip的方法:首先写入获取到的ip地址到proxy;然后用百度检测ip代理是否成功,并请求网页传的参数;最后发送get请求,并获取返回页面保存到本地。

python爬虫设置代理ip的方法

python爬虫设置代理ip的方法:

设置ip代理是爬虫必不可少的技巧;

查看本机ip地址;打开百度,输入“ip地址”,可以看到本机的IP地址;

python爬虫设置代理ip的方法

本文使用的是goubanjia.com里面的免费ip;

python爬虫设置代理ip的方法

使用时注意要注意传输协议是http还是https,代码如下;

# 用到的库
import requests
# 写入获取到的ip地址到proxy
proxy = {
    'https':'221.178.232.130:8080'
}
# 用百度检测ip代理是否成功
url = 'https://www.baidu.com/s?'
# 请求网页传的参数
params={
    'wd':'ip地址'
}
# 请求头
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'
}
# 发送get请求
response = requests.get(url=url,headers=headers,params=params,proxies=proxy)
# 获取返回页面保存到本地,便于查看
with open('ip.html','w',encoding='utf-8') as f:
    f.write(response.text)

打开存入的“ip.html”查看内容如下;

python爬虫设置代理ip的方法

感谢你能够认真阅读完这篇文章,希望小编分享python爬虫设置代理ip的方法内容对大家有帮助,同时也希望大家多多支持创新互联,关注创新互联行业资讯频道,遇到问题就找创新互联,详细的解决方法等着你来学习!


网页名称:python爬虫设置代理ip的方法
分享地址:http://bjjierui.cn/article/gdspde.html

其他资讯