找回密码
 立即注册

扫一扫,访问微社区

QQ登录

只需一步,快速开始

查看: 2478|回复: 3

[求助] 请问:哪位高人用过pandarallel?使用中出错

1

主题

4

帖子

4

积分

贫民

积分
4
太积极 发表于 2019-8-12 19:20:22 | 显示全部楼层 |阅读模式
本帖最后由 太积极 于 2019-8-12 19:42 编辑

由于需要于上千万条dataframe进行计算,耗时太久,于是,想到用pandarallel。
可是,
from pandarallel import pandarallel
后,
pandarallel.initialize()

运行,警告:
WARNING: Logging before InitGoogleLogging() is written to STDERR
E0812 19:11:57.484051 2409853824 io.cc:168] Connection to IPC socket failed for pathname /var/folders/sp/vz74h1tx3jlb3jqrq__bjwh00000gp/T/pandarallel-32ts0h6r/plasma_sock, retrying 20 more times
WARNING: Logging before InitGoogleLogging() is written to STDERR
I0812 19:11:57.485960 2409853824 store.cc:1116] Allowing the Plasma store to use up to 2GB of memory.
I0812 19:11:57.486624 2409853824 store.cc:1143] Starting object store with directory /tmp and huge page support disabled

看了帮助文档:
    '''
此方法需要4个可选参数:

- `shm_size_mb`:Pandarallel共享内存的大小,以MB为单位。如果
  默认值太小,可以设置较大的一个。默认情况下,
  它设置为2 GB。 (INT)
- `nb_workers`:工人数量。默认情况下,它设置为数字
  您的操作系统看到的核心数。 (INT)
- `progress_bar`:将其设置为“True”以显示进度条。
- `verbose`:详细程度。 > 1显示所有日志 -  1,仅显示
  初始化日志 -  <1显示无日志(int)
    '''
pandarallel.initialize(shm_size_mb=6072, nb_workers=11,progress_bar=False, verbose=0)
仍然出现警告:
WARNING: Logging before InitGoogleLogging() is written to STDERR
E0812 19:12:56.934706 2409853824 io.cc:168] Connection to IPC socket failed for pathname /var/folders/sp/vz74h1tx3jlb3jqrq__bjwh00000gp/T/pandarallel-zxjkriqd/plasma_sock, retrying 20 more times

谢谢高人!

回复

使用道具 举报

1

主题

4

帖子

4

积分

贫民

积分
4
太积极  楼主| 发表于 2019-8-12 19:23:31 | 显示全部楼层
本帖最后由 太积极 于 2019-8-12 19:28 编辑

        ds['sum总数’] = ds.parallel_apply(lambda x: jszj1(lb, x['s1'], x['s2'], x['s3'], x['s4'], x['s5'], x[‘n1'], x[‘n2']),axis=1)
这是出错所在行。谢谢高手
回复 支持 反对

使用道具 举报

0

主题

18

帖子

18

积分

贫民

积分
18
wengboyu 发表于 2019-8-13 18:00:47 | 显示全部楼层
回复 支持 反对

使用道具 举报

1

主题

4

帖子

4

积分

贫民

积分
4
太积极  楼主| 发表于 2019-8-14 23:21:51 | 显示全部楼层
wengboyu 发表于 2019-8-13 18:00
https://zhuanlan.zhihu.com/p/61746020

谢谢,我也是看的这篇文章,不过,这文章没提到警告怎么办,谢谢
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表