文章目录

• 内容介绍
• 基本配置
• Part1：基础配置
• Part2：并发与延迟
• Part3：智能限速/自动节流
• Part5： 爬取深度、方式
• Part6：中间件、Pipelines、扩展
• Part7：缓存

内容介绍

开发环境为 Python3.6，Scrapy 版本 2.4.x ，爬虫项目全部内容索引目录

看懂Python爬虫框架，所见即所得一切皆有可能

本章带你学习基于 Python3 的 Scrapy 爬虫框架 中数据爬取过程中解析Scrapy框架下settings配置文件的说明。

代码内容基于「Scrapy 爬虫框架」源码版本 2.4.0 ，更新内容会进行标记说明对应版本。

基本配置

1. 命令行选项

# 使用不同的机制填充设置&#x