这篇文章主要介绍“怎么用Python爬虫下载整本小说”，在日常操作中，相信很多人在怎么用Python爬虫下载整本小说问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”怎么用Python爬虫下载整本小说”的疑惑有所帮助！接下来，请跟着小编一起来学习吧！
成都创新互联公司专业网站建设，网站制作与网站建设公司，1800元做网站建设全包，免费赠送网站基础优化服务，让你的网站变得更有价值，公司拥有完善的专业网站设计公司流程，能够为企业提供建站服务。使用PHP+MYSQL开发可交付网站源代码;符合网站优化排名的后台管理系统；网站制作收费合理；免费进行网站备案等企业网站建设一条龙服务.
1.首先第一步，导入两个我们需要的包
# 用于获取网页的html
from urllib import request
# 用于解析html
from bs4 import BeautifulSoup
（广告还挺显眼的）
我们看下这个界面然后再来看看html源码
我们会发现，我框住的地方正是我们所需要的地方，但是注意上面的最新章节和我们的正式的小说目录也就是下面的地方，他们都处于
然后再来看看小说阅读的界面：
这个界面就很简单了，我们来看看HTML源码：
很容易看到
标签中的也就是正文
OK，经过我们初步分析，我们可以开始写代码了！
3.首先我们写出获取网页html源码的一个方法：
# 得到网页的html
def getHtml(url):
url = url
res = request.urlopen(url)
res = res.read().decode()
# print(res)
return res这个方法传入一个url,会返回一个html源码
4.然后我们再来写一下，获取整本小说所有章节的链接的方法：
# 解析小说章节页面,获取所有章节的子链接def jsoupUrl(html):
# 获取soup对象
url_xiaoshuo = BeautifulSoup(html)
# 因为我们要拿取class为box1中的div
class_dict = {'class': 'box1'}
url_xiaoshuo = url_xiaoshuo.find_all('div', attrs=class_dict)
# 因为分析html中的代码可以发现div的class为box1的有两个,通过上面的代码返回的是一个list格式的结果，所以下面的索引应该是１
# 我们要获取li中的值，所以find_all，这个方法返回的是一个ｌｉｓｔ集合
url_xiaoshuo = url_xiaoshuo[1].find_all('li')
# print(url_xiaoshuo)
# 创建一个集合,用于存放每个章节的链接
url_xs = []
for item in url_xiaoshuo:
# 获取每个元素中的href值
url = item.a['href']
# 将值传入url_xs集合中
url_xs.append(url)
return url_xs
具体的解释，我已经写在注释里了，不懂的可以在公众号后台留言
5.我们获取到每个章节的链接之后，我们就需要把每一章节的内容给弄下来并且把它写入到txt文本而且每个文本的标题为章节的标题
# 解析小说每个章节的的主要内容
def jsoupXiaoshuo(list):
for item in list:
html = getHtml(item)
html = BeautifulSoup(html)
# 获取小说标题
title = html.h2.get_text()
xiaoshuo = html.find_all('p')
for item in xiaoshuo:
str = item.get_text()
# open中的第二个参数是让每一次的字符串接连到上一个字符串，千万不能是ｗ
with open(title + '.txt', 'a') as f:
f.write(str+'\n')6.最后我们再main方法中运行这几个方法即可：
if __name__ == '__main__':
html = getHtml("http://www.136book.com/dadaozhaotian/")
url_xs = jsoupUrl(html)
jsoupXiaoshuo(url_xs)运行出来的结果：
到此，关于“怎么用Python爬虫下载整本小说”的学习就结束了，希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习，快去试试吧！若想继续学习更多相关知识，请继续关注创新互联网站，小编会继续努力为大家带来更多实用的文章！
