试用 购买
留言论坛
当前页面:熊猫智能采集软件> 留言论坛
发新贴

关于子页面的采集结果

作者: 殷冰 | 阅读: 882/1   2021/3/19 15:50:28
 
所需采集的内容只有通过内容页面的子页面来采集,不采集内容页面,把子页面链接分析后采集到标题和内容,可是,内容页面是不同的,可是这些不同的内容页面可能会出现重复的子页面的所需采集的链接,结果,就会得到若干个同样的标题和内容的数据,如何去重呢?只保留第一次子页面采集到的内容,第二次及以后采集到的相同链接的子页面的内容数据时可以直接判断过滤或者废弃呢?这些子页面可能是不同一级页面的超链接,谢谢!


2 楼: 管理员 2021/3/22 12:16:09
 
不是很明白你描述的意思,请你直接把要采集的页面的网址发来看看。如果需要保密该网址,可以直接私信网站客服QQ或微信。


回复
 
 
 
验证码:
 

电话:021-5160 1615

手机:171 9219 7361

凯发k8官方网站首页-凯发k8官网登陆-凯发k8官方网站登入建议/合作: 139 1618 6547

凯发k8官方网站首页-凯发k8官网登陆-凯发k8官方网站登入邮箱:123jlxie@ 163.com

凯发k8官方网站首页-凯发k8官网登陆-凯发k8官方网站登入服务时间:周一至周五(09:00-18:00)

友情链接: 通用数据采集器

凯发k8官方网站首页-凯发k8官网登陆-凯发k8官方网站登入Copyright @ 2011 aksanahsap.net All Rights Reserved 上海齐索信息科技有限公司

电玩棋牌游戏送30元-天天电玩城游戏大厅-棋牌游戏送20现金 棋牌游戏送20现金-天天棋牌送10元-888棋牌游戏平台 888棋牌游戏平台-888棋牌网址大全-88棋牌下载就送888 天天电玩城游戏大厅-天天棋牌送10元下载-新濠电玩城游戏大厅 天天棋牌送10元下载-棋牌游戏平台送10元-天天电玩城游戏大厅 88棋牌下载就送888-888棋牌游戏平台-888棋牌网址大全