创新互联www.cdcxhl.cn八线动态BGP香港云服务器提供商，新人活动买多久送多久，划算不套路！
创新互联公司专注于衢州网站建设服务及定制，我们拥有丰富的企业做网站经验。 热诚为您提供衢州营销型网站建设，衢州网站制作、衢州网页设计、衢州网站官网定制、
微信平台小程序开发服务，打造衢州网络公司原创品牌,更为您提供
衢州网站排名全网营销落地服务。
本篇文章给大家分享的是有关Python中BeautifulSoup4的使用方法，小编觉得挺实用的，因此分享给大家学习，希望大家阅读完这篇文章后可以有所收获，话不多说，跟着小编一起来看看吧。
1 urllib和urllib2
Python中包含了两个网络模块，分别是urllib与urllib2，urllib2是urllib的升级版，拥有更强大的功能。urllib，让我们可以像读文件一样，读取http与ftp。而urllib2，则在urllib的基础上，提供了更多的接口，如cookie、代理、认证等更强大的功能。
这里借鉴下文章一和文章二的说法：
urllib仅可以接受URL，不能创建，设置headers的request类实例；
但是urllib提供urlencode()方法用来GET查询字符串的产生，而urllib2则没有（这是urllib和urllib2经常一起使用的主要原因）
编码工作使用urllib的urlencode()函数，帮我们讲key:value这样的键值对转换成‘key=value’这样的字符串，解码工作可以使用urllib的unquote
该两个库都是Python自带库，且由于简单爬虫所需要的功能比较少，所以不做更多赘述。
2 BeautifulSoup
现在的Mac已经不能用
$ sudo easy_install pip
来安装pip，而只能用一个get-pip.py的方法，网上有大量教程。然后安装完毕后用pip来安装beautilfulsoup4。
安装完以后一个简单的例子（环境Python2.7，其实Python3在这段代码也差不多）：
from urllib import urlopen
from bs4 import BeautifulSoup
html = urlopen("http://blog.orisonchan.cc")
bsObj = BeautifulSoup(html.read())
print(bsObj.h2)网页不存在的情况如何判断
方法一：空值判断
if html is None:
print("URL not found")
else:
# expressions方法二：try-catch
try:
html = urlopen("http://blog.orisonchan.cc")
except HTTPError as e:
print(e)
# expressions这里从O`Reilly系列图书《Python网络数据采集》中摘抄一个完整例子：
from urllib.request import urlopen
from urllib.error import HTTPError
from bs4 import BeautifulSoup
def getTitle(url):
try:
html = urlopen(url)
except HTTPError as e:
return None
try:
bsObj = BeautifulSoup(html. read())
title = bsObj.body.h2
except AttributeError as e:
return None
return title
title = getTitle(" http://www.pythonscraping.com/pages/page1.html")
if title == None:
print("Title could not be found")
else:
print(title)2.1 常用方法
2.1.1 find()
格式：
find(name, attributes, recursive, text ,keywords)
参数介绍
name：标签名，如a，p。
attributes：一个标签的若干属性和对应的属性值。
recursive：是否递归。如果是，就会查找tag的所有子孙标签，默认true。
text：标签的文本内容去匹配，而不是标签的属性。
keyword：选择那些具有指定属性的标签。
find()示例：
from urllib import urlopen
from bs4 import BeautifulSoup
html = urlopen("http://blog.orisonchan.cc")
bsObj = BeautifulSoup(html.read(), 'html.parser')
print str(bsObj.find(name='h2', attrs={'class': {'post-title'}}))结果
常见“树”概念解析（1）
2.1.2 find_all()
find_all(name, attributes, recursive, text , limit, keywords)
参数介绍
name：标签名，如a，p。
attributes：一个标签的若干属性和对应的属性值。
recursive：是否递归。如果是，就会查找tag的所有子孙标签，默认true。
text：标签的文本内容去匹配，而不是标签的属性。
limit: 个数限制，find其实就等于limit=1，查看find源码即可发现。
keyword：选择那些具有指定属性的标签。
bsObj.find_all("a")可以简写为bsObj("a")
find_all()示例：
from urllib import urlopen
from bs4 import BeautifulSoup
html = urlopen("http://blog.orisonchan.cc")
bsObj = BeautifulSoup(html.read(), 'html.parser')
print str(bsObj.find_all(name='h2', attrs={'class': {'post-title'}})[1:3]).decode('unicode-escape')结果
[
Spark聚合下推思路以及demo,
写一个Spark DataSource的随手笔记]
2.2 常用对象
2.2.1 tag对象
即html中的标签。其中两个属性就是name和attributes。使用如下：
from urllib import urlopen
from bs4 import BeautifulSoup
html = urlopen("http://blog.orisonchan.cc")
bsObj = BeautifulSoup(html.read(), 'html.parser')
tag = bsObj.h2
print(tag)
print(tag.name)
print(tag.attrs)
print(tag['class'])结果
常见“树”概念解析（1）
h2
{u'class': [u'post-title'], u'itemprop': u'name headline'}
[u'post-title']
2.2.2 NavigableString对象
用来表示包含在tag中的文字。注意！如果tag中包含子tag，navigableString对象会是None！
2.2.3 Comment对象
用来查找HTML里的注释标签。是一个特殊的NavigableString，所以也有其性质。
2.3 导航树（Navigating Trees）
2.3.1 子节点们
对tag级别调用childen属性可得到该tag的所有子节点：
from urllib import urlopen
from bs4 import BeautifulSoup
html = urlopen("http://blog.orisonchan.cc")
bsObj = BeautifulSoup(html.read(), 'html.parser')
for child in bsObj.find(name='h2', attrs={'class': {'post-title'}}).children:
print(child)结果
常见“树”概念解析（1）
2.3.2 兄弟节点（们）
next_siblings属性和previous_siblings属性可以查询兄弟节点们。
next_sibling和previous_sibling可以查下一个/上一个兄弟。
需要注意的是，很可能直接相邻的上一个下一个兄弟节点并不是Tag而是一个换行符啊标点符号啊等NavigableString对象（字符串节点）。
2.3.3 父节点（们）
parent属性得到某元素父节点。
parents属性递归得到所有的父节点。
2.4 过滤器
2.4.1 字符串
即上文提到bsObj.find_all("a")和bsObj("a")。
2.4.2 标签列表
形如bsObj.find_all(["a", "p"])则会去寻找a标签和p标签。
2.4.3 True
True可以匹配任何职，但是不会返回字符串节点
2.4.4 正则表达式
引入Python自带的re（regular expressions）
示例：
from urllib import urlopen
from bs4 import BeautifulSoup
import re
html = urlopen("http://blog.orisonchan.cc/2018/08/14/43")
bsObj = BeautifulSoup(html.read(), 'html.parser')
print bsObj.find_all(name='img', attrs={'src': re.compile("[a-z]*.png")})[1]结果
2.4.5 自定义方法作为参数
这个不知道该怎么表述，有兴趣的可以去官方文档看一下，这里直接来一个demo：
from urllib import urlopen
from bs4 import BeautifulSoup
import re
html = urlopen("http://blog.orisonchan.cc/2018/08/14/43")
bsObj = BeautifulSoup(html.read(), 'html.parser')
def png_image(tag):
return tag.name == "img" and re.compile("[a-z]*tree.png").search(tag.attrs["src"])
for img in bsObj.find_all(png_image):
print(img)结果返回了该篇文章4个img中的3个：
以上就是Python中BeautifulSoup4的使用方法，小编相信有部分知识点可能是我们日常工作会见到或用到的。希望你能通过这篇文章学到更多知识。更多详情敬请关注创新互联-成都网站建设公司行业资讯频道。
网站名称：Python中BeautifulSoup4的使用方法-创新互联
文章分享：
http://bjjierui.cn/article/dsccij.html
