找回密码
 立即注册

扫一扫,访问微社区

QQ登录

只需一步,快速开始

查看: 3316|回复: 1

[求助] python读取数据处理

4

主题

8

帖子

8

积分

贫民

积分
8
竹韵飘香 发表于 2017-4-26 19:45:07 | 显示全部楼层 |阅读模式
我写的代码加上处理要十小时,这太坑(C++好像只需要5分钟)。
目前得到一个2GB文件,格式如下所示(【部分数据,一共六百多万行】前面九行的格式一直,就是有些值有变化,这也是不需要的数据):(我原来的思路是处理得出写出我要的数据也就是ITEM:ATOMS id,type,xs,ys,zs之后的数据result.txt,,然后重新读取result.txt数据进行处理,这个花费要10小时,所以想问问怎么读取直接处理)
(我想要处理的是:每块数据开头九行不需要,然后之后的数据读取成五列,然后计算每两行数据的x,y,z与z轴形成的角度大小,(也就是空间上的两个点)),
ITEM: TIMESTEP
50000
ITEM: NUMBER OF ATOMS
150000
ITEM: BOX BOUNDS pp pp pp
5.4707499220706715e+01 1.3968300077929459e+02
8.5261969777867606e+01 1.7334823022213180e+02
-7.9500500000000000e+02 7.9500500000000000e+02
ITEM: ATOMS id type xs ys zs
1 2 0.1708 0.228182 0.310668
2 2 0.167036 0.235251 0.308524
3 2 0.149806 0.233318 0.306623
4 2 0.160338 0.239989 0.304289
5 2 0.160683 0.253364 0.302185
6 2 0.139504 0.271516 0.300311
7 2 0.150571 0.287643 0.298269
8 2 0.152145 0.303647 0.296086
9 2 0.159291 0.311904 0.293852
10 2 0.166106 0.344719 0.292343
11 2 0.156983 0.361383 0.290417
12 2 0.153952 0.366168 0.288264
13 2 0.156265 0.39184 0.286528
14 2 0.153577 0.406079 0.284517
15 2 0.131359 0.392436 0.282799
16 2 0.128767 0.364054 0.280586
17 2 0.109327 0.333412 0.279308
18 2 0.0998224 0.320242 0.277244
19 2 0.088801 0.296276 0.275334
20 2 0.0720739 0.287995 0.273277
21 2 0.0561111 0.290332 0.271323
22 2 0.0383751 0.289779 0.26907
23 2 0.025998 0.289072 0.267019
24 2 0.0296787 0.297789 0.264862
ITEM: TIMESTEP
100000
ITEM: NUMBER OF ATOMS
150000
ITEM: BOX BOUNDS pp pp pp
5.4707499220706715e+01 1.5968300077929459e+02
8.5261968777867606e+01 1.7334823022213180e+02
-7.9500500000000000e+02 7.9500500000000000e+02
ITEM: ATOMS id type xs ys zs
1 2 0.1708 0.228182 0.310668
2 2 0.167036 0.235251 0.308524
3 2 0.149806 0.233318 0.306623
4 2 0.160338 0.239989 0.304289
5 2 0.160683 0.253364 0.302185
6 2 0.139504 0.271516 0.300311
7 2 0.150571 0.287643 0.298269
8 2 0.152145 0.303647 0.296086
9 2 0.159291 0.311904 0.293852
10 2 0.166106 0.344719 0.292343
11 2 0.156983 0.361383 0.290417
12 2 0.153952 0.366168 0.288264
13 2 0.156265 0.39184 0.286528
14 2 0.153577 0.406079 0.284517
15 2 0.131359 0.392436 0.282799
16 2 0.128767 0.364054 0.280586
17 2 0.109327 0.333412 0.279308
18 2 0.0998224 0.320242 0.277244
19 2 0.088801 0.296276 0.275334
20 2 0.0720739 0.287995 0.273277
21 2 0.0561111 0.290332 0.271323
22 2 0.0383751 0.289779 0.26907
23 2 0.025998 0.289072 0.267019
24 2 0.0296787 0.297789 0.264862
ITEM: TIMESTEP
150000
ITEM: NUMBER OF ATOMS
150000
ITEM: BOX BOUNDS pp pp pp
5.4707499220706715e+01 1.3968300077929459e+02
8.5261969777867606e+01 1.7334823022213180e+02
-7.9500500000000000e+02 7.9500500000000000e+02
ITEM: ATOMS id type xs ys zs
1 2 0.1708 0.228182 0.310668
2 2 0.167036 0.235251 0.308524
3 2 0.149806 0.233318 0.306623
4 2 0.160338 0.239989 0.304289
5 2 0.160683 0.253364 0.302185
6 2 0.139504 0.271516 0.300311
7 2 0.150571 0.287643 0.298269
8 2 0.152145 0.303647 0.296086
9 2 0.159291 0.311904 0.293852
10 2 0.166106 0.344719 0.292343
11 2 0.156983 0.361383 0.290417
12 2 0.153952 0.366168 0.288264
13 2 0.156265 0.39184 0.286528
14 2 0.153577 0.406079 0.284517
15 2 0.131359 0.392436 0.282799
16 2 0.128767 0.364054 0.280586
17 2 0.109327 0.333412 0.279308
18 2 0.0998224 0.320242 0.277244
19 2 0.088801 0.296276 0.275334
20 2 0.0720739 0.287995 0.273277
21 2 0.0561111 0.290332 0.271323
22 2 0.0383751 0.289779 0.26907
23 2 0.025998 0.289072 0.267019
24 2 0.0296787 0.297789 0.264862
ITEM: TIMESTEP
200000
ITEM: NUMBER OF ATOMS
150000
ITEM: BOX BOUNDS pp pp pp
5.4707499220706715e+01 1.3968300077929459e+02
8.5261969777867606e+01 1.7334823022213180e+02
-7.9500500000000000e+02 7.9500500000000000e+02
ITEM: ATOMS id type xs ys zs
1 2 0.1708 0.228182 0.310668
2 2 0.167036 0.235251 0.308524
3 2 0.149806 0.233318 0.306623
4 2 0.160338 0.239989 0.304289
5 2 0.160683 0.253364 0.302185
6 2 0.139504 0.271516 0.300311
7 2 0.150571 0.287643 0.298269
8 2 0.152145 0.303647 0.296086
9 2 0.159291 0.311904 0.293852
10 2 0.166106 0.344719 0.292343
11 2 0.156983 0.361383 0.290417
12 2 0.153952 0.366168 0.288264
13 2 0.156265 0.39184 0.286528
14 2 0.153577 0.406079 0.284517
15 2 0.131359 0.392436 0.282799
16 2 0.128767 0.364054 0.280586
17 2 0.109327 0.333412 0.279308
18 2 0.0998224 0.320242 0.277244
19 2 0.088801 0.296276 0.275334
20 2 0.0720739 0.287995 0.273277
21 2 0.0561111 0.290332 0.271323
22 2 0.0383751 0.289779 0.26907
23 2 0.025998 0.289072 0.267019
24 2 0.0296787 0.297789 0.264862
ITEM: TIMESTEP
250000
ITEM: NUMBER OF ATOMS
150000
ITEM: BOX BOUNDS pp pp pp
5.4707499220706715e+01 1.3968300077929459e+02
8.5261969777867606e+01 1.7334823022213180e+02
-8.9500500000000000e+02 8.9500500000000000e+02
ITEM: ATOMS id type xs ys zs
1 2 0.1708 0.228182 0.310668
2 2 0.167036 0.235251 0.308524
3 2 0.149806 0.233318 0.306623
4 2 0.160338 0.239989 0.304289
5 2 0.160683 0.253364 0.302185
6 2 0.139504 0.271516 0.300311
7 2 0.150571 0.287643 0.298269
8 2 0.152145 0.303647 0.296086
9 2 0.159291 0.311904 0.293852
10 2 0.166106 0.344719 0.292343
11 2 0.156983 0.361383 0.290417
12 2 0.153952 0.366168 0.288264
13 2 0.156265 0.39184 0.286528
14 2 0.153577 0.406079 0.284517
15 2 0.131359 0.392436 0.282799
16 2 0.128767 0.364054 0.280586
17 2 0.109327 0.333412 0.279308
18 2 0.0998224 0.320242 0.277244
19 2 0.088801 0.296276 0.275334
20 2 0.0720739 0.287995 0.273277
21 2 0.0561111 0.290332 0.271323
22 2 0.0383751 0.289779 0.26907
23 2 0.025998 0.289072 0.267019
24 2 0.0296787 0.297789 0.264862


回复

使用道具 举报

30

主题

116

帖子

116

积分

侠客

积分
116
chenmengdan 发表于 2017-5-9 14:35:53 | 显示全部楼层
我也是按照你的那种思路写了一下,你的具体代码是怎样的,可以看看吗
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表