当前位置:首页 » 寻物指南 » 为什么xpath找不到数据

为什么xpath找不到数据

发布时间: 2023-02-02 09:53:16

‘壹’ 请大神帮我看看为什么我这个简单的小爬虫得不到数据急急急急急!!!

关闭scrapy自带的ROBOTSTXT_OBEY功能,在setting找到这个变量,设置为False即可解决。
我们观察scrapy抓包时的输出就能发现,在请求我们设定的url之前,它会先向服务器根目录请求一个txt文件:
这个文件中规定了本站点允许的爬虫机器爬取的范围(比如你不想让网络爬取你的页面,就可以通过robot来限制),因为默认scrapy遵守robot协议,所以会先请求这个文件查看自己的权限
我们在setting改变ROBOTSTXT_OBEY为False,让scrapy不要遵守robot协议,之后就能正常爬取了

热点内容
为什么女孩姨妈颜色是棕褐色的汤 发布:2025-07-27 14:30:51 浏览:537
为什么狗鸡能看见脏东西 发布:2025-07-27 14:26:42 浏览:778
改变颜色的C语言为什么不变色 发布:2025-07-27 14:16:21 浏览:543
微信保存视频为什么颜色会变色 发布:2025-07-27 14:11:55 浏览:509
小米手机跳屏为什么点一下就好了 发布:2025-07-27 14:06:23 浏览:756
手机为什么在通话中突然没声音 发布:2025-07-27 14:02:09 浏览:263
土鸡眼睛为什么会瞎 发布:2025-07-27 14:00:22 浏览:68
为什么电价便宜 发布:2025-07-27 13:53:02 浏览:576
为什么微信的信息显示无法加载 发布:2025-07-27 13:38:41 浏览:953
为什么淘宝主播都转站抖音 发布:2025-07-27 13:22:45 浏览:489