网络爬虫是一种互联网机器人，它通过爬取互联网上网站的内容来工作。它是用计算机语言编写的程序或脚本，用于自动从Internet上获取任何信息或数据。机器人扫描并抓取每个所需页面上的某些信息，直到处理完所有能正常打开的页面。
网络爬虫大致有4种类型的结构：通用网络爬虫、聚焦网络爬虫、增量式网络爬虫、深层网络爬虫 。
网络爬虫是为了建立数据集以用于研究，业务和其他目的。· 了解和分析网民对公司或组织的行为· 收集营销信息，并在短期内更好地做出营销决策。· 从互联网收集信息并分析它们进行学术研究。· 收集数据，分析一个行业的长期发展趋势。· 监控竞争对手的实时变化
阅读全文: http://gitbook.cn/gitchat/activity/5ede0c71dd81866bcfb34578
您还可以下载 CSDN 旗下精品原创内容社区 GitChat App ，阅读更多 GitChat 专享技术内容哦。
