Python爬虫：关于scrapy、Gerapy等爬虫相关框架和工具

框架名称作用地址scrapy爬虫框架https://github.com/scrapy/scrapyScrapyd部署启动、状态监控https://github.com/scrapy/scrapydScrapyd-Client简化部署、scrapyd-deploy打包和上传https://github.com/scrapy/scrapyd-clientScrapyd-API通过 Python 控制 Scrapyhttps://github.com/djm/python-scrapyd-apiGerapy分布式爬虫管理框架https://github.com/Gerapy/Gerapy

scrapyd API 文档：http://scrapyd.readthedocs.io/en/stable/api.html

参考： 跟繁琐的命令行说拜拜！Gerapy分布式爬虫管理框架来袭！