网页资讯视频图片知道文库贴吧地图采购
进入贴吧全吧搜索

 
 
 
日一二三四五六
       
       
       
       
       
       

签到排名:今日本吧第个签到,

本吧因你更精彩,明天继续来努力!

本吧签到人数:0

一键签到
成为超级会员,使用一键签到
一键签到
本月漏签0次!
0
成为超级会员,赠送8张补签卡
如何使用?
点击日历上漏签日期,即可进行补签。
连续签到:天  累计签到:天
0
超级会员单次开通12个月以上,赠送连续签到卡3张
使用连续签到卡
07月20日漏签0天
excel吧 关注:281,356贴子:1,550,521
  • 看贴

  • 图片

  • 吧主推荐

  • 视频

  • 游戏

  • 1 2 3 下一页 尾页
  • 103回复贴,共3页
  • ,跳到 页  
<<返回excel吧
>0< 加载中...

网址不变,抓取多页数据的问题

  • 只看楼主
  • 收藏

  • 回复
  • 白音碎
  • 以E待劳
    10
该楼层疑似违规已被系统折叠 隐藏此楼查看此楼
查找了半天资料找到2篇文章结合,完美解决这个问题


  • 白音碎
  • 以E待劳
    10
该楼层疑似违规已被系统折叠 隐藏此楼查看此楼
首先感谢发表这2篇文章的作者--------------------------
1使用EXCEL中的Power Query一次抓取网站中的多页数据-----互联网上的小蜘蛛
2.Python 爬虫:跳转页面时,网页链接(url)不变,XHR中的含有网页信息的文件链接(url)不变,解决办法---不知名程序媛
--------------------------------------------


2025-07-20 01:21:06
广告
  • 白音碎
  • 以E待劳
    10
该楼层疑似违规已被系统折叠 隐藏此楼查看此楼
由于路人甲M2提供的网站翻页时网址不会变动,所以一般抓取就会失败。http://www.ahyycg.cn/NoticeBoard/CompanyBid.aspx
------------------------------------------------------


  • 白音碎
  • 以E待劳
    10
该楼层疑似违规已被系统折叠 隐藏此楼查看此楼


经过多次上下页,找到了页面变化时的参数_EVENTARGUMENT


  • 白音碎
  • 以E待劳
    10
该楼层疑似违规已被系统折叠 隐藏此楼查看此楼
再通过view source查看书写参数,由于密密麻麻一片,先复制到文本文档待用


  • 白音碎
  • 以E待劳
    10
该楼层疑似违规已被系统折叠 隐藏此楼查看此楼
查找页面参数,并复制出来那一段%2Fq7ovAlo5P5ZBubiqJ7y4%3D&__VIEWSTATEGENERATOR=6383BDA6&__EVENTTARGET=ctl00%24ContentPlaceHolder1%24pager1&__EVENTARGUMENT=1&__VIEWSTATEENCRYPTED=&__EVENTVALIDATION=XGaRMwMgYwckOzZ9Cz4mvO8eQhx8Y1ctDhdSprVTaENUQGD7OYxJEIjk89Qw9p9a0j2Dfr4Pg37UvEzpa1nONDN10LqDe%2B4imySIzWwff6hlrwCfw%2BYNLnqFBzBZir99kqYDhcb1neg%2BqE7tdUalwf7xFRo


  • 白音碎
  • 以E待劳
    10
该楼层疑似违规已被系统折叠 隐藏此楼查看此楼

找到具体参数并修改,用?连接修改后的内容输入浏览器地址栏测试(这里测试成功不出图了)


  • 白音碎
  • 以E待劳
    10
该楼层疑似违规已被系统折叠 隐藏此楼查看此楼
把刚才测试的网站分为3段如图输入,页数1,中间,其他上下


2025-07-20 01:15:06
广告
  • 白音碎
  • 以E待劳
    10
该楼层疑似违规已被系统折叠 隐藏此楼查看此楼
一切正常的话就进入PQ编辑器,在let前插入一行(n as number) as table=>,然后替换"1"为Text.From(n)



  • 白音碎
  • 以E待劳
    10
该楼层疑似违规已被系统折叠 隐藏此楼查看此楼
右键空白区域建一个空查询,={1..54}


  • 白音碎
  • 以E待劳
    10
该楼层疑似违规已被系统折叠 隐藏此楼查看此楼
然后到表,调用自定义函数



  • 白音碎
  • 以E待劳
    10
该楼层疑似违规已被系统折叠 隐藏此楼查看此楼
然后展开,删掉第1列的数字导出。


  • 白音碎
  • 以E待劳
    10
该楼层疑似违规已被系统折叠 隐藏此楼查看此楼
@路人甲M2


  • 白音碎
  • 以E待劳
    10
该楼层疑似违规已被系统折叠 隐藏此楼查看此楼

我设置54页,爬出来540个数据


2025-07-20 01:09:06
广告
  • ChinaMagicHerb
  • E通百通
    12
该楼层疑似违规已被系统折叠 隐藏此楼查看此楼
很好,感谢你的无私奉献,待会试一下。。


登录百度账号

扫二维码下载贴吧客户端

下载贴吧APP
看高清直播、视频!
  • 贴吧页面意见反馈
  • 违规贴吧举报反馈通道
  • 贴吧违规信息处理公示
  • 1 2 3 下一页 尾页
  • 103回复贴,共3页
  • ,跳到 页  
<<返回excel吧
分享到:
©2025 Baidu贴吧协议|隐私政策|吧主制度|意见反馈|网络谣言警示