全网小说免费读！！0基础学Python爬虫

前言
本文案例适合爬虫入门学习，有些地方描述不清晰，如有疑问欢迎在下方留言。完整代码@ 私聊楼主领取。
环境：Python3.6+Windows
大概思路：
获取小说主页源代码
在主页源代码中找到每个章节的超链接
获取每个章节超链接的源代码
获取章节的内容
保存内容到本地

导入一些基本的模块：
import requests
from bs4 import BeautifulSoup
import random

以上代码获取网页全部源代码，然后，使用正则表达式获取文章全部章节的URL。

构建函数，避免重复代码

接下来，用with open方法写入txt文件中。

使用find_all 函数获取内容，并提取第0个 [0] 中的文本 text。
这样提取出来之后用 join 函数和 split 函数把内容格式化成为一个长的字符串。
最后，出来的效果如下：

下载贴吧APP
看高清直播、视频！

分享到: