找回密码
 立即注册

QQ登录

只需一步,快速开始

扫一扫,访问微社区

查看: 152|回复: 5

[求助] 网页结构相同的1000+个网址(作为线索),有的网址有要抓...

2

主题

4

帖子

4

积分

贫民

积分
4
小丽友 发表于 2018-11-23 10:08:17 | 显示全部楼层 |阅读模式
线索网址为如下等,所以线索网址可见附件:
<<<<<
https://www.wdzj.com/dangan/dyj/
https://www.wdzj.com/dangan/sjhl/
https://www.wdzj.com/dangan/dsmm/
https://www.wdzj.com/dangan/xqd1/
https://www.wdzj.com/dangan/cxjr/
https://www.wdzj.com/dangan/xwch/

要抓取的数据为ICP号,我设计的命名主题和规则名称为:正常平台ICP号。

我发现有的线索网址有,有的线索网址没有这个数据,还发现他们的Xpath路径是相同的(如下),故在规则中高级设置中自定义了Xpath,
/html/body/div[position()=10]/div/div[position()=1]/div[position()=1]/dl[position()=1]/dd[position()=6]

但发现DS打数机仍然有些网址线索中的数据未能抓取下来,不知什么原因,求助大牛帮忙解答!非常感谢!
回复

使用道具 举报

1

主题

3

帖子

3

积分

贫民

积分
3
dai123456 发表于 2018-11-23 14:14:48 | 显示全部楼层

就是为了ICP号这一个信息吗?我看网页结构都是一样的,不用自定义xpath都可以,没有的网页就采集到一个 - 符号,后期可以通过过滤,把这类内容过滤掉
回复 支持 反对

使用道具 举报

2

主题

4

帖子

4

积分

贫民

积分
4
小丽友  楼主| 发表于 2018-11-23 14:17:10 | 显示全部楼层
对的,就是想单独抓取这个数据,因为别的数据已经成功抓取到了,但唯独这个数据,大部分都没有抓取到,要么本来有的抓取为空,要么抓取到上一行要素的信息。。
回复 支持 反对

使用道具 举报

1

主题

3

帖子

3

积分

贫民

积分
3
dai123456 发表于 2018-11-23 15:34:45 | 显示全部楼层
自定义xpath应该这样写
//*[@class='bgbox-bt zzfwbox']/dl/dd/div[contains(preceding-sibling::div/em/text(), 'ICP号')]/text()
复制代码
相对于那个 ICP号 这个字符串
回复 支持 反对

使用道具 举报

2

主题

4

帖子

4

积分

贫民

积分
4
小丽友  楼主| 发表于 2018-11-23 15:45:39 | 显示全部楼层
dai123456 发表于 2018-11-23 15:34
自定义xpath应该这样写
//*[@class='bgbox-bt zzfwbox']/dl/dd/div[contains(preceding-sibling::div/em/te ...

哦 谢谢阿  我这边总是显示503或者403  这个有解决的办法嘛
回复 支持 反对

使用道具 举报

1

主题

2

帖子

2

积分

贫民

积分
2
dai123123 发表于 2018-11-23 16:03:39 | 显示全部楼层
遇到对方的发爬了,建议你更换一下ip,我们公司使用的是代理云,高并发,源源不断的产生新的ip  量大的话,可以考虑的
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表