网页
资讯
视频
图片
知道
文库
贴吧
地图
采购
进入贴吧
全吧搜索
吧内搜索
搜贴
搜人
进吧
搜标签
日
一
二
三
四
五
六
签到排名:今日本吧第
个签到,
本吧因你更精彩,明天继续来努力!
本吧签到人数:0
一键签到
可签
7
级以上的吧
50
个
一键签到
本月漏签
0
次!
0
成为超级会员,赠送8张补签卡
如何使用?
点击日历上漏签日期,即可进行
补签
。
连续签到:
天 累计签到:
天
0
超级会员单次开通12个月以上,赠送连续签到卡3张
使用连续签到卡
10月29日
漏签
0
天
大数据吧
关注:
165,725
贴子:
204,460
看贴
图片
吧主推荐
游戏
10
回复贴,共
1
页
<返回大数据吧
>0< 加载中...
来个python的简单爬虫和数据清洗
只看楼主
收藏
回复
她与她的心
颇具盛名
7
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
爬取的网站是这个,该网站没有任何反爬措施。
送TA礼物
IP属地:广西
1楼
2024-09-22 19:28
回复
她与她的心
颇具盛名
7
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
在开发者工具可以得到url,爬取方法为post,User-Agent和payload参数。
IP属地:广西
2楼
2024-09-22 19:32
回复
收起回复
区块城市(广州)科技发展
BlockCity将元宇宙与Web3、DAO融为一体,数字
大数据
,远不只是元宇宙地产和投资数字
大数据
成为永久居民,开启你的元宇宙生涯!
2024-10-29 04:34
广告
立即查看
她与她的心
颇具盛名
7
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
得到参数后,用requests.post方法爬取。(current表示数据页数,size表示每页20行数据)获得json文件后插入列表里。
IP属地:广西
3楼
2024-09-22 19:35
回复
收起回复
她与她的心
颇具盛名
7
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
前面的代码只爬取了第一页,接下来把每页都爬了。
IP属地:广西
4楼
2024-09-22 19:37
回复
收起回复
她与她的心
颇具盛名
7
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
数据有一千多页,要爬蛮久的,先等等。
IP属地:广西
5楼
2024-09-22 19:40
回复
收起回复
她与她的心
颇具盛名
7
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
额......爬取有点问题,一共就1649页,它竟然显示爬到1700页还没结束,不过既然都知道有1649页了,就这样改吧。
IP属地:广西
6楼
2024-09-22 19:54
回复
收起回复
她与她的心
颇具盛名
7
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
又要重新等一次。
IP属地:广西
7楼
2024-09-22 19:56
回复
收起回复
她与她的心
颇具盛名
7
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
爬取完成后,该清洗一下爬取的数据了,提取GetData每个字典中的data的records,因为数据就在那里面。
IP属地:广西
8楼
2024-09-22 20:10
回复
收起回复
区块城市(广州)科技发展
虚拟与现实的结合,数字
大数据
,一个去中心化的平行世界,立即拥有你的数字分身不只是数字藏品、数字
大数据
,快速开启元宇宙生涯
2024-10-29 04:34
广告
立即查看
她与她的心
颇具盛名
7
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
然后用pandas处理一下,转换为dataframe框架,只显示网站显示的列,删去其它列,再把要显示的列的列名翻译一下。
删除多余列:
翻译列名:
IP属地:广西
9楼
2024-09-22 20:14
回复
收起回复
她与她的心
颇具盛名
7
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
存入csv中,查看一下结果吧。
感觉还行。
IP属地:广西
10楼
2024-09-22 20:17
回复
收起回复
她与她的心
颇具盛名
7
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
代码都不到100行,还是挺容易的,都不需要什么算法,都是基本逻辑。
IP属地:广西
来自
Android客户端
11楼
2024-09-22 20:25
回复
收起回复
登录百度账号
扫二维码下载贴吧客户端
下载贴吧APP
看高清直播、视频!
贴吧热议榜
1
杨笠登上经济学人专题报道
1662540
2
BLG总决赛交手T1
1185868
3
李小龙模仿者遭向佐扇巴掌
821421
4
林诗栋0比4完败F勒布伦
641264
5
曼联官宣滕哈赫下课
632725
6
TVB著名演员李丽丽去世
608616
7
国乒法国冠军赛0冠收场
549263
8
《龙腾世纪4》首个评分出炉
505516
9
Uzi说chovy没有冠军的命
488229
10
Gumayusi放话LCK不会输给LPL
432620
贴吧页面意见反馈
违规贴吧举报反馈通道
贴吧违规信息处理公示