為什麼xpath找不到數據

『壹』 請大神幫我看看為什麼我這個簡單的小爬蟲得不到數據急急急急急！！！

關閉scrapy自帶的ROBOTSTXT_OBEY功能，在setting找到這個變數，設置為False即可解決。
我們觀察scrapy抓包時的輸出就能發現，在請求我們設定的url之前，它會先向伺服器根目錄請求一個txt文件：
這個文件中規定了本站點允許的爬蟲機器爬取的范圍（比如你不想讓網路爬取你的頁面，就可以通過robot來限制），因為默認scrapy遵守robot協議，所以會先請求這個文件查看自己的許可權
我們在setting改變ROBOTSTXT_OBEY為False，讓scrapy不要遵守robot協議，之後就能正常爬取了