Python论坛 - 国内最好的Python中文社区»论坛 › 技术交流 › python问答 - 求助悬赏区 Help! › Python爬虫抓取不同规则的表格数据求助大神提供好的方法 ...

发新帖

查看: 3469|回复: 3

[求助] Python爬虫抓取不同规则的表格数据求助大神提供好的方法

1 主题	2 帖子	2 积分

积分: 2

发消息

dyx9307222 发表于 2018-6-26 17:39:26 | 显示全部楼层 |阅读模式

有多个网页每个网页表达数据都是table表格,但是每个表格的规则都不相同,有什么好的方法批量抓取吗?

回复

使用道具举报

50 主题	1057 帖子	1108 积分

Rank: 9 Rank: 9 Rank: 9

积分: 1108

发消息

blueelwang 发表于 2018-6-28 19:52:01 | 显示全部楼层

机器处理大量重复数据时效率非常高，所以一定要找到这些表格的共性，如果找不到那么这种爬虫效率很低，开发成本也会很高

回复支持反对

使用道具举报

0 主题	956 帖子	956 积分

积分: 956

发消息

sheeboard 发表于 2018-6-29 07:34:42 | 显示全部楼层

见tabel就抓，html放到本地写个parse function来提取数据，然后人工整理。

回复支持反对

使用道具举报

1 主题	2 帖子	2 积分

积分: 2

发消息

dyx9307222 楼主| 发表于 2018-6-29 16:18:57 | 显示全部楼层

blueelwang 发表于 2018-6-28 19:52
机器处理大量重复数据时效率非常高，所以一定要找到这些表格的共性，如果找不到那么这种爬虫效率很低，开 ...

确实很费时间

回复支持反对

使用道具举报

发新帖

快速回复 返回顶部 返回列表