找回密码
 立即注册

扫一扫,访问微社区

QQ登录

只需一步,快速开始

查看: 2823|回复: 1

[求助] hdf5 文件保存小数位和文件大小不一致问题

1

主题

2

帖子

2

积分

贫民

积分
2
domodo 发表于 2017-8-19 21:06:28 | 显示全部楼层 |阅读模式
本帖最后由 domodo 于 2017-8-19 21:37 编辑

本人正在学习python中的数据保存,用 pandas.to_hdf() 保存到本地文件中,遇到以下两个问题:
1、通过df = pandas.read_excel(),从本地xlsx文件中读取数据时,结果是图片 data1 中的情况,2位的浮点数:

2、通过 df.astype('float16') 将默认的数据 float64 强制转换成 float16 时,发现数位有问题,结果是图片 data2 中的情况,浮点数马上不准了,但是转换成 float32 就没问题(见data3),这是怎么回事?

3、我把所有读入的7年的数据都转成 float32保存之后,又读取了更新的3个月数据,之后用 concat() 函数将两部分数据按日期轴合并,再次强制转换成 float32 后保存,文件在合并前后的大小分别是 242m 和 490 m,这就奇怪了,才补充了几个月的数据,为什么文件大小膨胀了一倍还多?

以上两个问题向各位请教。
因为文件较大,不方便直接上传,抱歉。

data1

data1

data2

data2

data3

data3
回复

使用道具 举报

1

主题

2

帖子

2

积分

贫民

积分
2
domodo  楼主| 发表于 2017-8-21 14:03:02 | 显示全部楼层
精度问题搞清楚怎么回事了,可是无解。

文件合并后膨胀得很厉害,这个暂时找不到原因。。。
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表