第26篇-了解scrapy的基本使用

提前声明：该专栏涉及的所有案例均为学习使用，如有侵权，请联系本人删帖！

一、scrapy框架的介绍和安装

1.python安装scrapy模块

pip install scrapy

2.scrapy爬虫架构

• Scrapy 是一个快速、高层次的基于 python 的 web 爬虫构架，它用于抓取web站点并从页面中提取结构化的数据。可以更容易构建大规模的抓取项目；
• Scrapy 使用了 Twisted异步网络库来处理网络通讯。 异步处理请求，速度非常快。
• Scrapy 常应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。
• Scrapy 可以使用自动调节机制自动调整爬行速度

二、第一个scrapy案例

第1步：安装好Scrapy模块后，cmd命令创建一个项目

scrapy startproject 项目名

第2步：创建好项目后，用pycharm打开项目

项目目录

第3步：在pycharm中的控制台创建一个爬虫spider

这里每个spider就相当于一个独立的爬虫脚本，域名可以随便输入一个，后期代码中可以进行更改

scrapy genspider spider_name 域名

第4步：在settings.py中，修改robots协议

第5步：在新建好的spider中，初始化start_urls列表

start_urls列表是该爬虫启动的时候，最先执行的爬虫，默认返回的爬虫response在parse函数中接收。

第6步：settings.py中添加请求头 如果要添加cookies的设置

第7步：在spider文件中的parse方法里测试是否能够获取到页面数据。

scrapy crawl 爬虫名 # 有日志启动
scrapy crawl 爬虫名 --nolog # 无日志启动

第8步：在items.py中，定义我们要爬取的字段是那些。

第9步：在spider中导item包，并在parse方法中实例化一个item

第10步：运行项目 取到xpath的列表后需要获取数据要使用的方法：

 response.xpath返回一个selector对象，此对象可继续调用xpath元素及其方法
 可以通过以下两个方法获取selector对象的字符串内容：
   Extract_first()，相当于text[0]
   Extract()，取出返回整个的list的么一个字符串内容

第11步：将数据保存到mongoDB中的操作步骤 将提取完全的item去yeild出来传入pipeline中间件 要使用popelines.py中的item，必须需要配置 在items.py中重新插入一个字段,加此字段是因为hash查询速度快且唯一

在popelines.py加入以下代码

import pymongo, hashlib


class MaoyanPipeline(object):
    def __init__(self):
        self.client = pymongo.MongoClient()
        self.db = self.client['maoyan']

    def get_md5(self, value):  # hash查找更快
        md5 = hashlib.md5()
        md5.update(value.encode('utf-8'))
        return md5.hexdigest()

    def process_item(self, item, spider):
        item['detail_hash'] = self.get_md5(item['detail_url'])
        self.db['movie'].update({'detail_hash': item['detail_hash']}, {'$set': dict(item)}, True)
        return item

查询数据库是否有数据

三、start_requests方法

使用start_requests方法，也可以替换默认的启动 优点：可以手动的设置初始url的一些request信息，比如可以自带meta参数，比如可以给他收到设置一些请求头。

四、配置文件settings.py的详细介绍

#==>第一部分：基本配置第二部分：并发与延迟第三部分：智能限速/自动节流：AutoThrottle extension第四部分：爬取深度与爬取方式第五部分：中间件、Pipelines、扩展第六部分：缓存