稳扎稳打学爬虫08—Selenium的使用方法详解

1 搭建环境 1.1 安装 selenium

pip install selenium -i https://pypi.tuna.tsinghua.edu.cn/simple

1.2 安装浏览器驱动

可以参考另一篇文章**“chromedriver下载与安装方法**” https://blog.csdn.net/one_bird_/article/details/131592362 整体步骤如下： 下载路径： http://npm.taobao.org/mirrors/chromedriver/

2 示例

# 让 selenium 启动谷歌浏览器
from selenium import webdriver 
# from selenium.webdriver import Chrome
# 1、创建浏览器对象
web = webdriver.Chrome() 
# web = Chrome()
#2、打开一个网址
web.get("http://www.baidu.com")

3 设置无头浏览器

from selenium.webdriver import Chrome
#准备好参数配置
opt  = Options()
opt.add_argument('--headless')
opt.add_argument('--disable-gpu')

web = Chrome(options = opt) #把参数配置设置到浏览器中,就变成了无头浏览器
web.get("http://www.baidu.com")

4 进行窗口切换

web.get("xxxxxxxx")
#在selenium中，新窗口默认是不进行切换的
#进行窗口切换
web.switch_to.window(driver.window_handles[-1])
#关闭子窗口
web.close()
#变更selenium的窗口视角，回到原来的窗口中
web.switch_to.window(driver.window_handles[0])

5 iframe中的内容获取

#如果页面中遇到iframe，需要先拿到iframe,然后切换到iframe视角,然后才可以拿数据
iframe = web.get('https://www.91kanju.com/vod-play/541-2-1.html')
web.switch_to.frame(iframe)
#切回原页面
web.switch_to.default_content()

6 程序被识别的解决办法 6.1 chrome的版本号小于88

#使用Chrome的DevTools协议来控制浏览器屏蔽Chrome浏览器的"Chrome正受到自动测试软件控制"提示
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome import options
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.chrome.options import Options

chrome_options = Options()
chrome_options.add_experimental_option("excludeSwitches", ["enable-automation"])
chrome_options.add_experimental_option('useAutomationExtension', False)

driver = webdriver.Chrome(options=chrome_options)
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
    "source": """
        Object.defineProperty(navigator, 'webdriver', {
            get: () => undefined
        })
    """
})

driver.get(xxxxxx)
html = driver.page_source

6.2 chrome的版本号大于88

option = Options()
# 可写可不写
#option.add_experimental_option('excludeSwitches',['enable-automatioin'])
option.add_argument('--disable-black-features = AutomationControlled')

web = Chrome(option = option)
web.get(xxxxxxx)