Python爬虫：Scrapy优化参数设置

修改 settings.py 文件

# 增加并发
CONCURRENT_REQUESTS = 100

# 降低log级别
LOG_LEVEL = 'INFO'

# 禁止cookies
COOKIES_ENABLED = False

# 禁止重试
RETRY_ENABLED = False

# 减小下载超时
DOWNLOAD_TIMEOUT = 15

# 禁止重定向
REDIRECT_ENABLED = False

参考 通用爬虫(Broad Crawls)