前言
嗨喽，大家好呀！这里是魔王呐~
创新互联公司是一家集网站建设,荷塘企业网站建设,荷塘品牌网站建设,网站定制,荷塘网站建设报价,网络营销,网络优化,荷塘网站推广为一体的创新建站企业，帮助传统企业提升企业形象加强企业竞争力。可充分满足这一群体相比中小企业更为丰富、高端、多元的互联网需求。同时我们时刻保持专业、时尚、前沿，时刻以成就客户成长自我，坚持不断学习、思考、沉淀、净化自己，让我们为更多的企业打造出实用型网站。
环境使用:
模块使用:
- requests >>> pip install requests 数据请求模块
- parsel >>> pip install parsel 数据解析模块
- csv 内置模块
如果安装python第三方模块:
- win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车
- 在pycharm中点击Terminal(终端) 输入安装命令
如何配置pycharm里面的python解释器?
- 选择file(文件) >>> setting(设置) >>> Project(项目) >>> python interpreter(python解释器)
- 点击齿轮, 选择add
- 添加python安装路径
pycharm如何安装插件?
- 选择file(文件) >>> setting(设置) >>> Plugins(插件)
- 点击 Marketplace 输入想要安装的插件名字 比如:翻译插件 输入 translation / 汉化插件 输入 Chinese
- 选择相应的插件点击 install(安装) 即可
- 安装成功之后 是会弹出 重启pycharm的选项 点击确定, 重启即可生效
思路分析
这有自己的一套模板 <通用>
一. 数据来源分析
- 确定自己采集数据是什么, 并且这些数据可以从那里获取到
链家网站数据, 静态网页.... <你所看到的数据, 都来于网页源代码>
二. 代码实现步骤过程
- 发送请求, 对于url地址发送请求https://cs.lianjia.com/ershoufang/.html
- 获取数据, 获取网页源代码数据
- 解析数据, 提取我们想要的数据内容
- 保存数据, 把数据保存到表格里面
代码
一、采集数据
1.1 导入模块
# 导入数据请求模块
import requests
# 导入数据解析模块
import parsel
import re
import csv
f= open('二手房多页.csv', mode='a', encoding='utf-8', newline='')
csv_writer= csv.DictWriter(f, fieldnames=[
'标题',
'卖点',
'总价',
'单价',
'户型',
'楼层',
'共有楼层数',
'装修',
'朝向',
'建造时间',
'面积',
'小区',
'区域',
'所属区',
'梯户比例',
'是否有电梯',
'房屋属性',
'详情页',
])
csv_writer.writeheader()
新闻标题：房屋千千万，如何找到便宜实惠的呢，python采集数据并做数据可视化~
浏览路径：
http://bjjierui.cn/article/dsogghd.html
