您当前的位置: 首页 >  scrapy

暂无认证

  • 2浏览

    0关注

    92582博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文

爬虫日记(88):Scrapy的Downloader类(三)

发布时间:2021-07-08 16:08:19 ,浏览量:2

接着下来我们来分析下载的过程以及数据返回之后的处理,在这个过程里要小心地安排处理的步骤,否则会比较容易出错。

在这里按这个流程图来处理,详细的代码如下:

第160行定义了下载函数,传入是slot对象、请求对象、蜘蛛类对象。

第164行创建一个延时对象,这个延时对象执行的是self.handlers.download_request函数,它会把请求的种类进行分类,如果是HTTP就调用HTTP类,如果是文件,就调用文件下载协议。

关注
打赏
1653961664
查看更多评论
立即登录/注册

微信扫码登录

0.0487s