爬虫选择HTTP代理IP是再合适不过了的，根据需求批量生成IP，性价比相对来说更高。HTTP代理可分为很几种，每一种的代理的匿名度及作用多不一样，透明代理访问也会显示本地IP，而普通代理访问目标网站时，另一方知道用到的是代理IP，而高级代理则会隐蔽本地真正网络ip，目标网站也不知道你用到的是本地IP或是代理IP，目标网站难以辨别是真正用户或是爬虫采集数据信息者。所以爬虫通过换高匿IP地址更好的采集信息，反反爬虫机制，让工作更高效。