您当前的位置: 首页 >  Python

嗨学编程

暂无认证

  • 0浏览

    0关注

    1405博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文

python爬取拉钩网职位信息写入mongodb数据库

嗨学编程 发布时间:2019-05-29 16:44:36 ,浏览量:0

(1)、环境准备

requests + pymongo 库

(2)、页面分析

首先登录拉钩并输入关键字:爬虫工程师

我们可以发现这些数据都是js加载的

接着打开chrome的开发者工具选项并勾选XHR

我们发现我们需要的信息包含在result中

我们通过观察发现该请求为post请求

最后我们需要模拟该请求获取数据

(3)、代码实现

(4)、效果展示

关注
打赏
1663681728
查看更多评论
立即登录/注册

微信扫码登录

0.0494s