嗨喽，大家好呀！这里是魔王呐~
成都创新互联服务项目包括马尾网站建设、马尾网站制作、马尾网页制作以及马尾网络营销策划等。多年来，我们专注于互联网行业，利用自身积累的技术优势、行业经验、深度合作伙伴关系等，向广大中小型企业、政府机构等提供互联网行业的解决方案，马尾网站推广取得了明显的社会效益与经济效益。目前，我们服务的客户以成都为中心已经辐射到马尾省份的部分城市，未来相信会继续扩大服务区域并继续获得客户的支持与信任！
win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车
在pycharm中点击Terminal(终端) 输入安装命令
<通用模板> 采集视频<小电影> 采集图片<美女小姐姐> 采集小说
确定了自己想要采集数据是什么?
通过开发者工具抓包分析 <不知道 1 知道 2>
通过F12开发者工具里面的搜索关键字, 找到相应的数据
爬虫模拟浏览器对于url地址发送请求, 获取服务器返回响应数据
import requests # 数据请求模块 <工具> import parsel # 数据解析模块<工具> import csv # csv数据表格 # mode='a' mode是什么意思 保存方式 a 是什么意思 追加保存 f= open('data_1.csv', mode='a', encoding='utf-8', newline='') csv_writer= csv.DictWriter(f, fieldnames=[ '标题', '评论', '推荐', '作者', '日期', '出版社', '售价', '原价', '折扣', '电子书', '详情页', ]) csv_writer.writeheader() # 写表头 """ 发送请求 爬虫模拟浏览器对于url地址发送请求, 获取服务器返回响应数据 变量规则: 不能使用数字开头 不推荐使用关键字作为变量名""" # 确定网址 for page in range(1, 26): # 包含头, 不包含尾巴 print(f'=======================正在采集{page}页数据内容=======================') url= f'http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-recent7-0-0-1-{page}' # headers 请求头 用来伪装模拟python代码 字典的数据类型 headers= { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.54 Safari/537.36' } # 调用requests这个模块里面get请求方法, 对于url地址发送请求, 并且携带上headers请求伪装, 最后用自定义response变量接受返回数据 response= requests.get(url=url, headers=headers) # print(response) # 打印发送请求得到的内容 200]> 响应对象 200状态码表示请求成功 # print(response.text) # 获取响应对象的文本数据 """ 解析数据, 提取我们想要数据内容 css选择器: 根据标签属性内容提取数据 完全掌握你在系统课程学2.5个小时 解析方法: css xpath re 那种好用用那种 如果你xpath没解析出来,换一下 """ selector = parsel.Selector(response.text) # 把获取下来html字符串数据转成selector对象 lis= selector.css('ul.bang_list li') # 调用css方法解析数据 第一次提取 获取所有li标签内容 # print(lis) for li in lis: title= li.css('.name a::attr(title)').get() # 获取书名 # 同理可得 p:nth-child(1) 组合选择表示取第几个P标签 comment= li.css('.star a::text').get().replace('条评论', '') # 评论 recommend= li.css('.tuijian::text').get().replace('推荐', '') # 推荐 author= li.css('.publisher_info a::attr(title)').get() # 作者 date= li.css('.publisher_info span::text').get() # 日期 press= li.css('div:nth-child(6) a::text').get() # 出版社 price= li.css('.price p:nth-child(1) .price_n::text').get() # 售价 price_r= li.css('.price p:nth-child(1) .price_r::text').get() # 原价 price_s= li.css('.price p:nth-child(1) .price_s::text').get().replace('折', '') # 折扣 price_e= li.css('.price_e .price_n::text').get() # 电子书 href= li.css('.name a::attr(href)').get() # 详情页 dit= { '标题': title, '评论': comment, '推荐': recommend, '作者': author, '日期': date, '出版社': press, '售价': price, '原价': price_r, '折扣': price_s, '电子书': price_e, '详情页': href, } csv_writer.writerow(dit) print(title, comment, recommend, author, date, press, price, price_r, price_s, price_e, href)
