关于scrapy使用xpath的问题。
这几天写了个爬京东商品的程序,事先用txt保存好了一些待搜索项用readlines读取搜索。
在程序运行过程中用xpath搜同一个位置的同个标签里的值(商品页数)有的时候会返回空值,而且每一轮循环返回空值的搜索项并不是同一个。(如某个商品第一次页数为空,第二次又有值)
一开始以为是response的问题,再返回空值的时候就print了response的body 但是打印结果是正常界面,能在里面找到xpath路径的值而且核对路径没有出错(//*[@id=“xx”]的形式)
期间顺便用了shell的view(response) 能用chrome 的xpath匹配到对应值
但是在scrapy执行的时候有的时候就会空值 求解
这几天写了个爬京东商品的程序,事先用txt保存好了一些待搜索项用readlines读取搜索。
在程序运行过程中用xpath搜同一个位置的同个标签里的值(商品页数)有的时候会返回空值,而且每一轮循环返回空值的搜索项并不是同一个。(如某个商品第一次页数为空,第二次又有值)
一开始以为是response的问题,再返回空值的时候就print了response的body 但是打印结果是正常界面,能在里面找到xpath路径的值而且核对路径没有出错(//*[@id=“xx”]的形式)
期间顺便用了shell的view(response) 能用chrome 的xpath匹配到对应值
但是在scrapy执行的时候有的时候就会空值 求解