在浏览器中设置代理IP避免反爬

1. 背景

当我们在某些网站做大量查询或请求的时候，经常会遇到类似提示：

• ”您的查询过于频繁，请稍后查询“
• 页面 403 拒绝访问

出现该提示证明已经触发了网站的反爬机制，服务器拒绝再向我们提供信息，意味着我们再怎么刷新都查不到数据了。

 

2. 解决思路

当我们用同一个 IP 去高频查询的时候，对方服务器会怀疑当前 IP 是不是爬虫，并把当前 IP 临时限制访问。提供 2 种解决思路：

1. 常规思路：在流程中添加更多模拟人的操作，降低查询频率，在流程中设置随机等待时间和鼠标随机移动
2. 使用浏览器 IP 代理，切换不同 IP 去查询

第1种思路，主要是避免当前RPA操作被服务器当作爬虫，从而触发反爬机制。好处是通用性比较高，在多种场景下都可以用，弊端是严重影响效率。

第2种思路，主要针对仅监控 IP 的反爬机制。即使触发反爬也没关系，换个IP也能继续运行，显著提高 RPA 运行效率。

 

本文主要介绍思路2——在浏览器中设置代理IP避免反爬

3. 实现步骤

步骤一：准备多个 IP

我们需要很多IP，可以到互联网检索 IP 代理平台（很多类似平台），价格也很便宜，一个 IP 几分钱（一般都可以申请免费试用的，觉得好用再充值）

步骤二：设置获取 IP 的方式

推荐用浏览器插件的方式。以”快代理平台“为例：

①在对应网站下载好浏览器插件；

②在谷歌浏览器（Chrome浏览器）拓展程序中安装好插件，然后注册、登录该平台；

③插件启用后，浏览器就可以通过代理 IP 进行网页访问了

步骤三：使用"打开网页"指令

在八爪鱼 RPA 中，使用【打开网页】指令时选择谷歌浏览器（即安装了代理IP插件的浏览器）。这样后续访问网页时，就可以使用代理 IP 了。