当前位置:首页 » 寻物指南 » 为什么xpath找不到数据

为什么xpath找不到数据

发布时间: 2023-02-02 09:53:16

‘壹’ 请大神帮我看看为什么我这个简单的小爬虫得不到数据急急急急急!!!

关闭scrapy自带的ROBOTSTXT_OBEY功能,在setting找到这个变量,设置为False即可解决。
我们观察scrapy抓包时的输出就能发现,在请求我们设定的url之前,它会先向服务器根目录请求一个txt文件:
这个文件中规定了本站点允许的爬虫机器爬取的范围(比如你不想让网络爬取你的页面,就可以通过robot来限制),因为默认scrapy遵守robot协议,所以会先请求这个文件查看自己的权限
我们在setting改变ROBOTSTXT_OBEY为False,让scrapy不要遵守robot协议,之后就能正常爬取了

热点内容
为什么孩子一上学动作慢 发布:2025-10-20 08:58:17 浏览:1122
肾虚为什么眼睛会难受 发布:2025-10-20 08:27:38 浏览:804
人类的眼睛为什么是透明的 发布:2025-10-20 08:02:01 浏览:866
男生为什么不忍心看女生生气 发布:2025-10-20 07:52:04 浏览:211
苹果咬了一口为什么会变颜色 发布:2025-10-20 07:44:38 浏览:567
两周的孩子晚上睡觉总哭为什么 发布:2025-10-20 07:39:46 浏览:969
为什么注册微信时协议点不了 发布:2025-10-20 07:36:14 浏览:939
为什么小米更换不了锁屏壁纸 发布:2025-10-20 07:36:13 浏览:735
苹果手机为什么不能用陌陌app 发布:2025-10-20 07:31:12 浏览:531
小米手机同等配置为什么便宜 发布:2025-10-20 07:25:02 浏览:1149