网创优客建站品牌官网
为成都网站建设公司企业提供高品质网站建设
热线:028-86922220
成都专业网站建设公司

定制建站费用3500元

符合中小企业对网站设计、功能常规化式的企业展示型网站建设

成都品牌网站建设

品牌网站建设费用6000元

本套餐主要针对企业品牌型网站、中高端设计、前端互动体验...

成都商城网站建设

商城网站建设费用8000元

商城网站建设因基本功能的需求不同费用上面也有很大的差别...

成都微信网站建设

手机微信网站建站3000元

手机微信网站开发、微信官网、微信商城网站...

建站知识

当前位置:首页 > 建站知识

python爬虫函数解码 py爬虫代码

python爬虫抓下来的网页,中间的中文乱码怎么解决

对于python的中文编码问题可以参考下面的帖子

创新互联是一家专注于成都网站建设、成都做网站与策划设计,金乡网站建设哪家好?创新互联做网站,专注于网站建设10年,网设计领域的专业建站公司;建站业务涵盖:金乡等地区。金乡做网站价格咨询:18980820575

同时,对于网页的中文乱码,建立使用requests模块代替urllib\urllib2

requests的content方法,对中文编码,支持比较好,基本不会出现乱码。

req=requests.get(url,cookies=mecookies)

print req.content

具体用法,参见下面两个帖子,较详细:

python3爬虫urllib.request.urlopen("网址").read() 本来是utf-8,为什么还要加上urlencode(“utf-8”)

你这行代码是不需要urlencode()的。

对于返回的request对象,其read()方法获得的其实是一个字节流对象,而非字符串对象,所以这时需要调用该字节流对象的decode()方法,按指定编码方式进行解码。

至于urlencode(),这是urllib中的一个函数,它的作用是将字符串进行url编码。这个编码其实就是个转义的过程,将那些因可能造成解释器误会或安全问题而不适合出现在请求中的符号进行转义,并且把超出url编码表的字符降维。

如何入门 Python 爬虫

爬虫我也是接触了1个月,从python小白到现在破译各种反爬虫机制,我给你说说我的方向:

1、学习使用解析网页的函数,例如:

import urllib.request

if __name__ == '__main__':

url = "..."

data = urllib.request.urlopen(url).read()     #urllib.request.urlopen(需要解析的网址)

data = data.decode('unicode_escape','ignore') #用unicode_escape方式解码

print(data)

2、学习正则表达式:

正则表达式的符号意义在下面,而正则表达式是为了筛选出上面data中的信息出来,例如:

def get_all(data):

reg = r'(search.+)(" )(mars_sead=".+title=")(.+)(" data-id=")'

all = re.compile(reg);

alllist = re.findall(all, data)

return alllist

3、将得到的结果压进数组:

if __name__ == '__main__':

info = []

info.append(get_all(data))

4、将数组写进excel:

import xlsxwriter

if __name__ == '__main__':

info = []

info.append(get_all(data))

workbook = xlsxwriter.Workbook('C:\\Users\\Administrator\\Desktop\\什么文件名.xlsx')  # 创建一个Excel文件

worksheet = workbook.add_worksheet()  # 创建一个工作表对象

for i in range(0,len(info)):

worksheet.write(行, 列, info[i], font)#逐行逐列写入info[i]

workbook.close()#关闭excel

一个简单的爬虫搞定,爬虫的进阶不教了,你还没接触过更加看不懂


文章题目:python爬虫函数解码 py爬虫代码
分享链接:http://bjjierui.cn/article/dosijsh.html

其他资讯