【Python行业分析】BOSS直聘招聘信息获取之使用webdriver进行爬取

序

进行网页数据爬取的方式有很多，我前面使用了requests模块添加浏览器的cookies来对页面数据进行爬取的，那我们是不是可以直接使用浏览器来获取数据呢，当然是可以的。

虽然boss对这种自动化测试软件也是做了限制的，但是比上一版的爬虫程序来说还是可以爬到更多的数据，BOSS的反爬策略：

• 前几次使用自动化爬取时会提示进行活体验证
• 再继续爬的话就会配限制访问，当然不会影响你登录的用户
• 密码登录这个时候也会被策略限制，智能扫码登录了

可以操作浏览器的模块 WebDriver

导入浏览器驱动，用get方法打开浏览器，例如：

import time
from selenium import webdriver

def mac