Python网络爬虫爬取智联招聘职位

观察网站结构。

打开智联招聘网页，搜索数据分析师，出来很多招聘岗位，限定全国范围，从下图看出有12354个职位，一共有90页，看最后一页职位已经只是和数据分析师相关而已。 看看最后一页搜索结果 PS:小技巧，在页面下部跳转页面输入一个很大的数字，比如10000可以跳到最后一页。

右键查看网页源代码，CTRL+F搜索关键要爬取信息，如下图红框内容

页面红框上的 大数据分析师 字样竟然搜不到！！！

可能藏在json文件里了

那就再试试，搜一下 数据分析师 大和后面的数据分析中间有个标签，这是什么意思，吓得我赶紧百度了一下 继续观察源代码，发现我想要的信息都在这（下图红框），看来不用抓包分析辣~ 开始写爬虫程序

打开我最爱的pycharm（直译为py的魅力）不信你百度看

from urllib import request
import re
import os,glob
import xlwt

导入一些模块

PS：

1.request模块主要是会自动解码来自服务器的内容

2.re模块是写正则表达式提取信息用

3.glob是一个文件操作相关模块，用它可以查找符合自己目的的文件，类似于Windows下的文件搜索

4.os模块提供了一个统一的操作系统接口函数

5.xlwt模块读写excel文件需要

book = xlwt.Workbook()
sheet = book.add_sheet('sheet', cell_overwrite_ok=True)
path = 'D:\\work'
os.chdir(path)

以上是设置路径和为最后数据写入excel文件做铺垫

result11=[]
result21=[]
result31=[]
result41=[]
result51=[]

建立五个空的列表放我要抓的最终信息 经尝试网站是gbk编码，我实际操作中发现和上图红框内中文有关，所以encode和decode总是报错，我想找个不含中文的同样网址，试试F12吧

在网页按下F12，刷新网页，观察到请求的url是下图红框中的 里面没有中文啊，复制出来访问看看。

果然一样！！！

注意到这个url最后有个p=1，这很可能是页码，我换成5试试吧

看上图，果然是这样，我试试最后第90页 果然是这样，接下来继续写代码

for k in range(1,91):
    html=request.urlopen("http://sou.zhaopin.com/jobs/searchresult.ashx?jl=%e5%85%a8%e5%9b%bd&kw=%e6%95%b0%e6%8d%ae%e5%88%86%e6%9e%90%e5%b8%88&sm=0&isfilter=0&fl=489&isadv=0&sg=aae5284f62664af8b14611bda6d68315&p="+str(k)).read()    #读取网页源代码内容


    pat1 = 'onclick="submitLog.*?">(.*?)'
    pat2 = '(.*?)