菜单

循环采集多个网页列表数据-翻页

应用概览

通过本应用可以实现循环翻页采集某一个网页的列表数据
运行网站: http://search.people.cn/s?keyword=%E5%88%9B%E6%96%B0&st=0&_=1706494865873

流程图

应用场景

采集网页多页列表数据,需要点击翻页
例如天猫商城搜索列表页,需要点击翻页
 
新闻网站列表数据点击加载更多
 
 
房产信息列表数据,需要点击翻页
 
 

应用讲解

打开网页,在该网页内,循环采集网页数据并按行写入到数据表格内,采集完成一页后采集下一页,直到采集完预设次数,最后导出数据表格

准备工作

循环采集单网页列表数据 中我们详细讲解了采集一页数据的方法,翻页的过程中,每一页执行采集的流程都是重复性的,为了方便我们管理查看,将采集单页数据封装在一个流程内
 
点击流程,+号按钮,建立子流程
 
命名为采集单页流程
 
 
将采集的指令,按住ctrl多选,右击剪切到子流程【采集单页数据】内
 
 
在主流程内调用刚才创建的子流程
 
 
此时流程执行到【调用子流程】时就会转入子流程内继续执行
 

应用搭建

我们调用子流程只是采集一页的数据,需要在外层再创建一个循环,在每次循环的过程中点击翻页
使用按次数循环,循环20次
 
将调用子流程拖入循环内,每一次循环都采集一页数据
 
 
接下来在每次循环内,使用【点击网页元素】指令,点击下一页按钮
 
 
创建结果如图所示,这样就保证点击下一页按钮20次,每次都采集单页数据
 

运行应用

 
最近修改: 2024-03-21