爬虫为什么总是找不到文件
① 请大神帮我看看为什么我这个简单的小爬虫得不到数据急急急急急！！！
关闭scrapy自带的ROBOTSTXT_OBEY功能，在setting找到这个变量，设置为False即可解决。
我们观察scrapy抓包时的输出就能发现，在请求我们设定的url之前，它会先向服务器根目录请求一个txt文件：
这个文件中规定了本站点允许的爬虫机器爬取的范围（比如你不想让网络爬取你的页面，就可以通过robot来限制），因为默认scrapy遵守robot协议，所以会先请求这个文件查看自己的权限
我们在setting改变ROBOTSTXT_OBEY为False，让scrapy不要遵守robot协议，之后就能正常爬取了
② python写一个网站注册爬虫，需要验证码打码，但是验证码链接一访问就是404错误，这是为什么
不太确定你说的验证码链接是说登录网站的，还是什么页面。404是找不到文件的意思（找不到或者拒绝你的访问，）或者ip被ban了。现在各个网站注册登录这块还是比较强的校验机制。特别侍棚隐是注册，你和陪一老厅个ip多次注册很容易被识别的。很多网站批量注册这一块都有小坑，最好综合分析一下。
③ 请问爬虫时遇到网页的Request URL是404要如何解决
404：文件资源找不到，可能是他的服务器上没有这个网页（可历明轿能之前有后槐友来某种原因被删除了），可能你爬虫抓取链接（URL）的时候没抓对
怎么办？？？：直接跳过去就行了，人肢肆家不让你抓或者都没有这个资源，你再怎么爬取都没意思
④ 为什么新建的网站会出现搜索引擎爬虫无法访问的情况
1：检查robots文件中是否有屏蔽对应的搜索引擎蜘蛛。
如果robots中写入了禁止搜索引擎抓取，那么蜘蛛是不会抓取的。
2：检查网站空间或服务器的地理位置。
如果网站服务器空间在国外或相对偏远的国外，有可能爬虫有无法访问的情况。
3：咨询空间服务商看是否对你所需要的蜘蛛做了屏蔽策略。
国外的一些空间有服务商针对搜索引擎做了一些策略，不排除屏蔽网络蜘蛛访问的可能。
4：域名曾绑定别的服务器，但此时更换了空间和绑定，原有ip已不存在
进入网络站长资源平台进行抓取测试，如果ip错误则点击手动刷新，清除蜘蛛ip缓存记录。
5：检查远程服务器是否宕机，但是开启了CDN永久在线功能
这种情况偶尔是有的，由于cdn缓存了网站，因此浏览器能打开，但是蜘蛛等其他方式无法打开。
⑤ python爬取网页数据,为啥保存到Excel里面没有东西
如果您使用 Python 从网页中抓取数据并将其保存到 Excel 文件，但 Excel 文件不包含任何数据，则可能有多种原因。以下是一些可能的原因和解决方案：
您没有使用正确的方法将数据写入 Excel 文件。若要将数据保存到 Excel 文件，需要态燃使用库，例如 或 。这些库提供可用于创建和写入 Excel 文件的函数和类。确保已导入正确的库，并使用正确的方法将数据写入文件。openpyxlxlsxwriter
将数据写入 Excel 文件后，您不会保存该文件。将数据写入磨闭族 Excel 文件后，需要使用 or 方法保存对文件的更改。如果不保存文件，则不会保留写入文件的瞎弊数据。save()save_as()
您没有在正确的模式下打开 Excel 文件。使用 Python 打开 Excel 文件时，需要指定是要读取文件还是写入文件。如果以只读模式打开文件，则无法向其写入数据。确保在写入模式下打开文件，在调用该方法时使用该选项。write_onlyopen()
您没有将数据写入 Excel 文件中的正确工作表。一个 Excel 文件可以包含多个工作表，您需要指定要将数据写入哪个工作表。请确保在调用 or 方法将数据写入 Excel 文件时使用正确的工作表名称。append()write()
回答不易望请采纳
⑥ 爬虫结束后打开文件里面没有数据
df.to_csv(...)前打印输出df有多少条数据，比慧昌如print(df.shape)，有可能是爬虫模块芦碧颤没有爬取陪败到数据