今天我们要正式使用程序来把爬取到的页面筛选出有效数据并保存到文件中,我会从最基础的一步一步去完善程序,帮助大家来理解爬虫程序,其中还是有许多问题我没能解决,也希望有大佬可以留言帮助一下 由于cookies调试比较麻烦,我是先当了个静态页面来取数据的,通了后有加的爬取过程。
数据提取from tp.boss.get_cookies import get_cookie_from_chrome
from bs4 import BeautifulSoup as bs
import requests
HOST = "https://www.zhipin.com/"
def test5(query_url, job_list)