爬虫中selenium的其他使用方法（二）

每日分享： 

你一定要狠下心来努力，努力变成一个很厉害的人；身材不好就去锻炼，没钱就努力去赚，没有必要让其他人知道计划，努力让自己变得很厉害，厉害到有天你可以随时离开令你不舒服的圈子，你要用选择和努力惊艳时光，而不是去抱怨生活。

• 掌握selenium开启无界面模式
• 了解selenium使用代理ip
• 了解selenium替换user-agent

一、selenium开启无界面模式

绝大多数服务器是没有界面的，selenium控制谷歌浏览器也存在无界面模式（又称无头模式）

• 开启无界面模式的方法
  • 实例化配置对象
    • options = webdriver.ChromeOptions()
  • 配置对象添加开启无界面模式的命令
    • options.add_argument("--headless")
  • 配置对象添加禁用gpu的命令
    • options.add_argument("--disable-gpu")
  • 实例化带有配置对象的driver对象
    • driver = webdriver.Chrome(options=options)
• 代码如下：

from selenium import webdriver
# 实例化配置对象
options = webdriver.ChromeOptions()
# 配置对象添加开启无界面浏览器的命令
options.add_argument('--headless')
# 禁用gpu
options.add_argument('--disable-gpu')
# 实例化带有配置对象的driver
driver = webdriver.Chrome(options=options)
driver.get('http://baidu.com')
# 截图
driver.save_screenshot('百度.png')

二、selenium使用代理ip

selenium控制浏览器也是可以使用代理ip

• 使用代理ip的方法
  • 实例化配置对象
    • options = webdriver.ChromeOptions()
  • 配置对象添加使用代理ip的命令
    • options.add_argument('--proxy-server=https://61.133.87.228:55443')
  • 实例化带有配置对象的driver对象
    • driver = webdriver.Chrome(options=options)

代码如下：

from selenium import webdriver
# 实例化配置对象
options = webdriver.ChromeOptions()
# 使用代理ip
options.add_argument('--proxy-server=https://61.133.87.228:55443')
# 实例化带有配置对象的driver
driver = webdriver.Chrome(options=options)
driver.get('http://baidu.com')

三、selenium替换user-agent

selenium控制谷歌浏览器时，user-agent默认是谷歌浏览器，我们可以使用不同的user-agent

• 替换user-agent的方法
  • 实例化配置对象
    • options = webdriver.ChromeOptions()
  • 配置对象添加替换UA的命令
    • options.add_argument('--user-agent=')
  • 实例化带有配置对象的driver对象
    • driver = webdriver.Chrome(options=options)

代码：

from selenium import webdriver
# 实例化配置对象
options = webdriver.ChromeOptions()
# 替换user-agent的命令
options.add_argument('--user-agent=Mozilla/5.0 HAHA')
# 实例化带有配置对象的driver
driver = webdriver.Chrome(options=options)
driver.get('http://baidu.com')

结果：

可以看到我们的user-agent已经改了