菜单

在浏览器中设置代理IP避免反爬

标签:代理 ,代理IP ,代理ip ,ip ,IP

背景:

当我们在某些网站做大量查询或请求的时候,经常会遇到类似这样的提示:“您的查询过于频繁,请稍后查询。”或页面403拒绝访问。

这时候证明已经触发了网站的反爬机制,服务器拒绝再向我们提供信息,我们再怎么刷新都查不到数据了。

解决思路:

当我们用同一个IP去高频查询的时候,对方服务器会怀疑我们这个IP是不是爬虫,把我们的IP临时限制访问,这里提供2种解决思路:

1、常规思路:让流程更加模拟人工,降低查询频率,在流程中设置随机等待时间。

2、使用浏览器IP代理,切换不同IP去查询。

第1种思路主要是避免被服务器当作爬虫触发反爬机制,通用性比较高,在多种场景下都可以用,但是严重影响效率。第2种思路主要针对仅监控IP的反爬机制,即使触发反爬也没关系,换个IP继续干,极大地提高了效率。

本文主要介绍思路2——在浏览器中设置IP代理避免反爬

实现:

1、我们需要有很多IP,可以到网上搜一搜,有非常多的IP代理平台,价格也很便宜,一个IP几分钱。(一般都可以申请免费试用的,觉得好用再充值。)

2、设置好获取IP的方式,最好是用浏览器插件的方式。以这个快代理平台为例,在其网站下载浏览器插件后。在谷歌浏览器(Chrome浏览器)中安装好插件,然后注册登录该平台,插件启用后,浏览器就可以通过代理IP进行网页访问了。

3、在八爪鱼RPA中,打开网页指令选择使用谷歌浏览器(选安装了代理IP插件的浏览器),这样在访问网页时就可以用代理ip进行网站的访问了。

上一个
捕获图像
下一个
应用市场
最近修改: 2024-03-14