1.安装第三方库scrapy,httpx,httpx[https]
pip install httpx httpx[http2] scrapy -i https://mirrors.aliyun.com/pypi/simple/

2.创建项目scrapy startproject 项目名
scrapy startproject baidu_scrapy

3.进入刚刚创建的这个框架目录:
D:\Py_code\2023\12\1225>cd baidu_scrapy

4.使用模板创建py文件
D:\Py_code\2023\12\1225\baidu_scrapy>scrapy genspider baidu_source www.baidu.com

5.修改setting

6.修改模板创建的py文件

7.运行代码
D:\Py_code\2023\12\1225\baidu_scrapy>scrapy crawl baidu_source


8.刚接触框架的小伙帮们可能不太习惯这种运行方法,这里也可以建一个main.py文件来直接运行这个main就ok,习惯使用第7步的小伙伴可以跳过这一步:

9.这里我们发现运行之后会有很多这种红色的信息,这不是报错 是日志,当然,想要不打印这些日志的话就修改日志级别就OK了

10.修改日志级别LOG_LEVEL='ERROR'

11.补充,请求头添加位置setting文件里面











