在前面《5 分钟入门 Python 协程》和《Python 协程模块 asyncio 使用指南》的两场 Chat 中教大家理解了异步编程的思维方式,我们学习了 Python3 中最具有野心的一个模块 asyncio,并带着大家学习了 asyncio 这个模块 的一些常用方法,正是有了前面内容的铺垫,才有了本次的 Chat。
我们在写爬虫的时候,使用最多就是 requests 以及 scrapy 模块,我们知道 requests 模块请求网络的过程是阻塞的所以它访问网络的效率比较低,所以大多数人会选择 scrapy,但是 scrapy 比较重量级,如果用 scrapy 爬取小部分的数据,这就会有种杀鸡焉用牛刀的感觉,所以本场 Chat 将带领大家快速掌握基于异步编程的 aiohttp——一个轻量级的异步爬虫模块。
通过本场您将学到:
- 如何在异步编程中写一个爬虫程序
- 掌握 aiohttp 的常规操作
- 使用 aiohttp 之后数据如何存储(aiofiles 和 motor 的使用)
- 了解异步编程中涉及的一些知识,比如异步生成器等。
阅读全文: http://gitbook.cn/gitchat/activity/5e5d1543c1bb1f7b56b96172
您还可以下载 CSDN 旗下精品原创内容社区 GitChat App ,阅读更多 GitChat 专享技术内容哦。