美女如何无水印下载？python带你批量采集（含完整源码）

环境介绍：

• python 3.8 解释器
• pycharm 2021专业版 >>> 激活码 编辑器
• 谷歌浏览器
• 谷歌驱动
• selenium >>> 驱动 >>> 浏览器

模块使用： 采集一个

• requests >>> pip install requests
• re

采集多个

• selenium >>> pip install selenium==3.141.0 (3.141.0) 指定模块版本去安装 使用这个模块安装浏览器驱动
• time

如果安装python第三方模块:

1. win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车
2. 在pycharm中点击Terminal(终端) 输入安装命令

如何配置pycharm里面的python解释器?

1. 选择file(文件) >>> setting(设置) >>> Project(项目) >>> python interpreter(python解释器)
2. 点击齿轮, 选择add
3. 添加python安装路径

pycharm如何安装插件?

1. 选择file(文件) >>> setting(设置) >>> Plugins(插件)
2. 点击 Marketplace 输入想要安装的插件名字 比如:翻译插件 输入 translation / 汉化插件 输入 Chinese
3. 选择相应的插件点击 install(安装) 即可
4. 安装成功之后 是会弹出 重启pycharm的选项 点击确定, 重启即可生效

案例基本流程思路: 一. 分析数据来源

1. 确定自己需求 , 我们采集内容是什么? 采集那个网站… 先采集一个, 然后再去采集多个
2. 通过开发者工具进行抓包分析…

I. 开发者工具 网页浏览器自带, F12 或者鼠标右键点击检查选择network

II. 刷新网页…让网页数据内容重新完整加载一遍

III. 通过network下面的media里面找到url地址

IV. 不够… >>> 分析这个url地址从哪里来的… 通过抓包分析, 得到url地址 通过一次编码

二. 代码实现的步骤 基本四大步骤…

1. 发送请求, 对于刚刚分析得到url地址发送请求
2. 获取数据, 获取服务器返回响应数据
3. 解析数据, 提取我们想要url地址以及标题
4. 保存数据, 把内容保存本地文件夹

代码 导入模块

import requests  # 导入数据请求模块 第三方模块 pip install requests
import re  # 导入正则表达式模块  内置模块

from selenium import webdriver
import time  # 时间模块

selenium 用selenium模块用驱动操作浏览器

人怎么去操作浏览器, 怎么去写代码

1. 打开浏览器 webdriver.Chrome(executable_path=“chromedriver”) 括号里面是需要加驱动路径 如果你驱动放在和代码一个文件夹里面, 可以不用写路径 或者你的驱动放在python安装目录里面 也可以不用写路径 其他位置, 都需要指定路径位置
2. 输入网址
3. 查看网页内容

requests请求数据,获取服务器返回数据内容 selenium你可以直接根据元素面板去定位数据内容

模拟浏览器对于url地址发送请求, 最后获取服务返回响应数据

发送请求:

1. 确定url
2. 模拟伪装 请求头headers 是可以直接在开发者工具里面复制粘贴 request headers 直接复制 字典数据类型, 构建完整键值对形式 user-agent 用户代理 表示浏览器基本身份标识
3. 请求方式 状态码 200 表示请求成功… 但是不一定得到你想要的数据…

没有得到你想要数据内容, 是什么原因导致的? 为什么被反爬了 因为你被识别出来 你是爬虫程序 比如说: 超市面试试吃 老是你来吃东西, 不给你吃了

里面网址被我删去了一部分好过审，会的小伙伴自己添加一下，不会的可左侧扫🐎领取哦~

driver = webdriver.Chrome()  # 实例化一个浏览器对象
driver.get('')
driver.implicitly_wait(10)


def drop_down():
    for x in range(1, 30, 4):
        time.sleep(1)
        j = x / 9
        js = '' % j
        driver.execute_script(js)

源码、解答、资料、教程可加Q裙：261823976免费领
list_1 = [1, 2, 3, 4, 5, 6, 7]
list_1[1:]
drop_down()
lis = driver.find_elements_by_css_selector(
    'div.mwbaK9mv > div:nth-child(2) > ul .ECMy_Zdt')  # 通过 css 选择器查找元素  获取多个li标签返回列表
# url_list = [li.find_element_by_css_selector('a').get_attribute('href') for li in lis]
for li in lis:
    try:
        time.sleep(1)
        url = li.find_element_by_css_selector('a').get_attribute('href')
        # url = ''  # 网址
        headers = {
            'cookie': '',
            'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.54 Safari/537.36'
        }
        response = requests.get(url=url, headers=headers)
        # print(url)
        #  响应对象 200 状态码 表示请求成功 response.text 获取响应对象文本数据
        # print(response.text)
        """
        数据解析, 提取我们想要数据内容
            re正则表达式 
        re.findall() 调用re模块里面findall方法 去查询匹配数据
            找到所有 >>> 从什么地方去找什么样数据 (.*?) 表示你想要数据内容, 通配符, 可以匹配任意字符(除了换行符以外)
        """
        title = re.findall('(.*?)', response.text, re.S)[0]
        title = re.sub(r'[/\:*?"|\n]', '', title)
        video_url = re.findall('src(.*?)%22%7D%2C%7B%22src', response.text)[0]  # 编码的内容获取
        video_url_1 = requests.utils.unquote(video_url).replace('":"', 'https:')  # 解码
        # 编码 requests.utils.quote
        # 就业工作 1 接单赚钱 2
        # print(title)
        # print(video_url)
        # print(video_url_1)
        video_content = requests.get(url=video_url_1, headers=headers).content  # 发送请求获取二进制数据内容
        解答、资料、教程可加Q裙：261823976免费领
        with open('img\\' + title + '.mp4', mode='wb') as f:
            f.write(video_content)  # 写入内容
            print('正在保存: ', title)
    except Exception as e:
        print(e)

尾语

成功没有快车道，幸福没有高速路。

所有的成功，都来自不倦地努力和奔跑，所有的幸福都来自平凡的奋斗和坚持

——励志语录

本文章就写完啦~感兴趣的小伙伴可以复制代码去试试

你们的支持是我最大的动力！！记得三连哦~ 💕 欢迎大家阅读往期的文章呀