通常在什么时候,代理ip会更多的被选择使用?在爬虫的过程中,ip代理就是很多工作者会选择的。
在爬取某些网站时,我们经常会设置HTTP代理IP来避免爬虫程序被封。
普通匿名代理能隐藏客户机的真实IP,但会改变我们的请求信息,服务器端有可能会认为我们使用了代理。
不过使用此种代理时,虽然被访问的网站不能知道客户端的 IP 地址,但仍然可以得到你在使用代理,当然某些能够侦测IP的网页仍然可以查到客户端的 IP。
而高度匿名代理不改变客户机的请求,这样在服务器看来就像有个真正的客户浏览器在访问它,这时客户的真实IP是隐藏的,服务器端不会认为我们使用了代理。
因此,爬虫程序需要使用到代理IP时,尽量选择高匿名代理。
随着代理ip的匿名程度越高,大家的ip地址就不容易被目标网站给发现,对爬虫开展也有推动作用。