提取Р创建URL循环采集任务Р修改XpathР步骤1:创建阿里巴巴数据采集任务Р进入主界面,选择“自定义采集”Р将要采集的阿里巴巴列表或搜索结果页URL复制粘贴到输入框中,点击“保存网址”Р打开网页的时候页面需要向下滚动才会出现所有的数据,所以可以在这一步设置一个高级选项,在滚动页面这里设置页面加载完成向下滚动,滚动次数设置3秒,每次间隔3秒,滚动方式选择“直接滚动到底部”。Р保存网址后,页面将在八爪鱼采集器中打开,红色方框中的商品url是这次演示采集的信息Р步骤2:创建翻页循环Р1)将页面下拉到底部,找到下一页按钮,鼠标点击,在右侧操作提示框中,选择“循环点击下一页”Р步骤3:采集阿里巴巴商品URLР1)如图,移动鼠标选中列表中商品的名称,右键点击,需采集的内容会变成绿色,然后点击“选中全部”Р2)选择“采集以下链接地址”Р3)点击“保存并开始采集”。根据采集的情况选择合适的采集方式,这里选择“启动本地采集”Р说明:本地采集占用当前电脑资源进行采集,如果存在采集时间要求或当前电脑无法长时间进行采集可以使用云采集功能,云采集在网络中进行采集,无需当前电脑支持,电脑可以关机,可以设置多个云节点分摊任务,10个节点相当于10台电脑分配任务帮你采集,速度降低为原来的十分之一;采集到的数据可以在云上保存三个月,可以随时进行导出操作Р步骤4:阿里巴巴商品数据采集及导出Р采集完成后,会跳出提示,选择导出数据,导出后如下图Р步骤5:创建URL列表采集任务Р重新创建一个采集任务,将导出后的阿里巴巴商品链接复制,放到输入框中,点击“保存网址”Р注意:输入框中的url列表数量不要超过2W个,超过的部分可以新建任务进行采集,url打开的页面必须是相同网站样式相近的,否则会导致数据采集缺失。八爪鱼会自动去除重复和无效的网站。Р2)在页面中点击需要采集的文本数据,比如厂家名称,点击“采集该元素文本”
全文预览
