找回密码
 立即注册

扫一扫,访问微社区

QQ登录

只需一步,快速开始

查看: 3779|回复: 4

[求助] Python求爬虫数据处理

1

主题

3

帖子

3

积分

贫民

积分
3
xiaobai 发表于 2016-7-25 21:25:09 | 显示全部楼层 |阅读模式
是这样的,我刚学习Python1个月的样子,所以是纯纯的小白一个。
和很多人一样,也是从爬虫项目入手。刚在学习使用Python的过程中碰到一个问题,我要爬下来的数据格式是JSON格式,但这个源数据里有很多的键值为空,譬如:
{"a":"", "b":"123","c":[{"d1":"","e1":"456","f1":""},{"d1":"","e1":"456","f1":""},{"d1":"","e1":"456","f1":""}]}

请教前辈,如何只抓取非空键值并进行保存?

万分感谢!!

回复

使用道具 举报

50

主题

1057

帖子

1108

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
1108

活跃会员热心会员最佳导师默默耕耘突出贡献优秀版主荣誉管理论坛元老

blueelwang 发表于 2016-7-25 21:38:04 | 显示全部楼层
遍历一下, 把空值的删掉即可
回复 支持 反对

使用道具 举报

1

主题

3

帖子

3

积分

贫民

积分
3
xiaobai  楼主| 发表于 2016-7-25 21:55:21 | 显示全部楼层
blueelwang 发表于 2016-7-25 21:38
遍历一下, 把空值的删掉即可

能进一步请教一下如何有效率的遍历吗?
每一个数据由一百对左右的键构成,里面某些键值是列表,列表里面又有几十个元素。
头都大了
回复 支持 反对

使用道具 举报

50

主题

1057

帖子

1108

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
1108

活跃会员热心会员最佳导师默默耕耘突出贡献优秀版主荣誉管理论坛元老

blueelwang 发表于 2016-7-25 21:58:37 | 显示全部楼层
定义一个递归函数fun就行, 判断如果键值不是字符串则调用自身函数fun继续处理, 直到是字符串为止
回复 支持 反对

使用道具 举报

1

主题

3

帖子

3

积分

贫民

积分
3
xiaobai  楼主| 发表于 2016-7-27 19:03:48 | 显示全部楼层
blueelwang 发表于 2016-7-25 21:58
定义一个递归函数fun就行, 判断如果键值不是字符串则调用自身函数fun继续处理, 直到是字符串为止 ...

逻辑大致理解一点,就是不知道如何下手
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表