Python爬取小说网站总推荐排行榜所有小说~

2.获取网页数据

代码如下（示例）：

url = 'https://www.tianyabook.com/top/allvote/'

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
}
response = requests.get(url=url, headers=headers)
response.encoding = response.apparent_encoding

运行返回结果：

4.保存数据

def download(title, book_id):
    filename = 'D:\\python\\demo\\电子书下载\\小说\\' + title + '.txt'
    download_url = 'http://www.tianyabook.com/modules/article/txtarticle.php?id={}'.format(book_id)
    response_2 = requests.get(url=download_url, headers=headers)
    with open(filename, mode='a', encoding='utf-8') as f:
        f.write(response_2.text)

总结

提示：这里对文章进行总结： 以上就是全部的内容，本文仅仅简单爬取小说网站，这里是直接访问小说下载的地址。