爬虫第五课---scrapy（一）环境的安装，框架的基本介绍，运行流程和小案例

一、安装环境
scrapy 安装
win安装
1.安装Twisted   https://www.lfd.uci.edu/~gohlke/pythonlibs/
Twisted‑18.9.0‑cp36‑cp36m‑win32.whl  cp36 是python版本win32是python的位数
2.命令安装
pip install Twisted‑18.9.0‑cp36‑cp36m‑win32.whl
3.pip install scrapy

pip list 查看已经安装的第三方库
二、基本介绍
之前学习的请求库：urllib  urllib3 requeste  解析库:re lxml Bs4(BeautifulSoup4)
scripy是纯python开发的一个高效结构化的网页抓取框架
三、命令
1.全局命令
 scrapy startproject 创建项目

2.项目命令

scrapy genspider [options]  创建爬虫文件
scrapy genspider baidu_spider baidu.com
scrapy crawl 运行爬虫
scrapy list 查看当前项目可运行的爬虫

四、注意事项

此框架默认遵守robots协议
可以在settings中修改ROBOTSTXT_OBEY为false

五、运行流程