开发流程

一、创建项目

scrapy startproject 项目名

生成每个文件的功能：

二、明确目标

三、创建爬虫

1.创建爬虫

scrapy genspider 爬虫名 允许的域

3.2 完成爬虫

四.保存数据

在pipelines.py文件中定义对数据处理的管道在settings.py文件中注册启用管道