目前不管是大公司还是小公司都对获取数据有一定需求,而爬虫就是获取数据的一种有效方式。开发爬虫固然轻松,但管理爬虫却不容易。而爬虫管理平台能够解决爬虫管理混乱的问题,很多企业都开发了相应的内部管理系统。随着开源项目Crawlab、Scrapydweb、Gerapy等爬虫管理平台的发展与普及,个人和企业都可以快速搭建一个爬虫管理系统。本场Chat将教你如何快速搭建爬虫管理平台。
本场Chat将涉及以下内容:
- 理解什么是爬虫管理平台
- 如何选择一个实用的爬虫管理平台
- 爬虫管理平台Crawlab介绍
- 使用Docker部署Crawlab
- 如何将Scrapy等爬虫集成到Crawlab
- 配合Jenkins构建持续集成工作流
适合人群:对爬虫管理有需求的个人或企业开发者
阅读全文: http://gitbook.cn/gitchat/activity/5d4ea4038d4d977b07d46741
您还可以下载 CSDN 旗下精品原创内容社区 GitChat App ,阅读更多 GitChat 专享技术内容哦。