您当前的位置: 首页 >  Python

嗨学编程

暂无认证

  • 1浏览

    0关注

    1405博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文

python爬虫基础知识小结

嗨学编程 发布时间:2019-08-15 15:25:52 ,浏览量:1

image.png

equests

requests模块的介绍:能够帮助我们发起请求获取响应 requests的基本使用:requests.get(url) 以及response常见的属性: response.text 响应体 str类型 respones.content 响应体 bytes类型 response.status_code 响应状态码 response.request.headers 响应对应的请求头 response.headers 响应头 response.request._cookies 响应对应请求的cookie response.cookies 响应的cookie(经过了set-cookie动作) 掌握 requests.text和content的区别:text返回str类型,content返回bytes类型 掌握 解决网页的解码问题: response.content.decode() response.content.decode(“GBK”) response.text 掌握 requests模块发送带headers的请求:requests.get(url, headers={}) 掌握 requests模块发送带参数的get请求:requests.get(url, params={})

cookie字符串可以放在headers字典中,键为Cookie,值为cookie字符串 可以把cookie字符串转化为字典,使用请求方法的cookies参数接收 使用requests提供的session模块,能够自动实现cookie的处理,包括请求的时候携带cookie,获取响应的时候保存cookie

requests.utils.dict_from_cookiejar能够实现cookiejar转化为字典 请求方法中添加verify=False能够实现请求过程中不验证证书 请求方法中添加timeout能够实现强制程序返回结果的能够,否则会报错 retrying模块能够实现捕获函数的异常,反复执行函数的效果,和timeout配合使用,能够解决网络波动带来的请求不成功的问题

urllib urllib.request中实现了构造请求和发送请求的方法 urllib.request.Request(url,headers,data)能够构造请求 urllib.request.urlopen能够接受request请求或者url地址发送请求,获取响应 urllib.parse.urlencode(data_dict).encode(‘utf-8’)之后才能传入data参数 response.read()能够实现获取响应中的bytes字符串

关注
打赏
1663681728
查看更多评论
立即登录/注册

微信扫码登录

0.0938s