伢赞

关注

scrapy 解决302问题

伢赞

关注

阅读 7

2022-05-18

self.meta = {
'dont_redirect': True, # 禁止网页重定向
'handle_httpstatus_list': [301, 302] # 对哪些异常返回进行处理
}
def start_requests(self):
sql="select * from lpwz where wz not in (select wz from xinxi1)"
#self.get_one()
i=0
self.con.execute(sql)
while 1:
#self.con.execute(sql)
urlss=self.con.fetchone()
print("rrrrrrrrrrrrrrrrrrrrrr",urlss[0],type(urlss))
yield Request(urlss[0],meta=self.meta,callback=self.parse)





相关推荐

就是耍帅

scrapy.downloadermiddlewares.redirect 302自动重

就是耍帅 7 0 0

黎轩的闲暇时光

爬取url遇到302跳转问题怎么解决?

黎轩的闲暇时光 43 0 0

才德的女子

uploadify HTTP 302 错误如何解决?

才德的女子 34 0 0

程序小小黑

解决scrapy安装失败

程序小小黑 250 0 0

洛茄

Scrapy中文乱码解决

洛茄 95 0 0

小磊z

解决使用Jmeter进行测试时出现“302“,‘‘401“等用户未登录的问题

小磊z 4 0 0

fbd4ffd0717b

【leetcode报错】 leetcode格式问题解决:error: stray ‘\302’ in program [solution.c]

fbd4ffd0717b 37 0 0

徐一村

302状态码

徐一村 21 0 0

心智的年轮

Windows下安装Scrapy方法及常见安装问题总结——Scrapy安装教程

心智的年轮 57 0 0

8052cf60ff5c

使用Scrapy的调试工具和日志系统定位并解决爬虫问题

8052cf60ff5c 36 0 0

精彩评论(0)

0 0 举报