爬虫被封IP可以说是所有爬虫工程师必须要迈过去的一道坎，在爬虫工作的过程中，经常会遇到封IP的麻烦事，究竟要怎样爬才不会被封呢?
许多人觉得之所以被封IP，是由于爬取的太快了，确实是这样。那好吧，我就一而再、再而三地放慢速度，总算不被封了。但这速度和蜗牛没有什么差别了，爬虫也失去了它存在的价值!有些人总算想到了使用http代理来做爬虫，提高速度爬，被封;再换一个IP，再被封;接着换，还是被封，反正封了一个IP，还有千千万万IP，工作效率总算提高了。但这种方法也有个严重的问题，上哪找这么多高效稳定的http代理?