最先url管理器添加了新的url到待抓取集合中，判断了待添加的url是否在容器中、是不是有待抓取的url，并且获取待抓取的url，将url从待抓取的url集合移动到已抓取的url集合。

4.数据信息储存数据信息储存到相关的数据库、队列、文件等便于做数据计算和与应用对接。上述便是爬虫技术实现数据爬取的完整流程，以上内容希望能给大家在抓取数据信息时提供一些帮助。