多个csv文件合并成单个csv表格求助

longetree · 发表于 2017-3-2 00:32:58

rt，python初学者，查了1整天没整明白，无耻伸手求助；
想用python把多个jmeter生成的csv结果文件整合，并解析成定制的趋势图，第一步csv文件的就头痛了；

csv数据格式：
T1,T2,T3,T4,T5,T6 #均为标题，不需要的数据
L1,smp1,smp2,smp3,smp4,smp5 #L* 为标题，不需要的数据
L2,smp6,smp7,smp8,smp9,smp10 #L* 为标题，不需要的数据

希望将多个如上格式csv整合成下列格式：

title	csv_file1	csv_file2	csv_file3	csv_file4	csv_fileN
T2	smp1	smp6
T3	smp2	smp7
T4	smp3	smp8
T5	smp4	smp9
T6	smp5	smp10

希望有大兄弟不吝赐教帮开拓下思路，谢谢

昨夜星辰 · 发表于 2017-3-2 09:35:17

没太看懂你的需求，最好上传一些源文件和最终的结果文件。

longetree · 发表于 2017-3-2 10:48:41

本帖最后由 longetree 于 2017-3-2 10:50 编辑

昨夜星辰发表于 2017-3-2 09:35
没太看懂你的需求，最好上传一些源文件和最终的结果文件。

sorry，发帖时没写对

原始格式：多个jmeter summery的csv格式报表（行数列数及格式固定,只需要取http请求行数据即可，总体不需要采纳，多个接口则出现http请求2行）

Label	# Samples	Average	Median	90% Line	95% Line	99% Line	Min	Max	Error %	Throughput	Received KB/sec	Sent KB/sec
HTTP请求	1129	258	252	278	291	333	179	1343	0.00%	38.44059	1599.12	0
总体	1129	258	252	278	291	333	179	1343	0.00%	38.44059	1599.12	0

需求格式：
ps：threads表示线程数，每列其实都是一个csv表报的竖排列

Threads	100	200	300	400	500
Sample	337824	312690	313112	312287	312630
Average/ms	50	109	164	219	274
Median/ms	34	76	100	113	117
90%Line/ms	105	249	301	393	504
Error%	0	0	0	0.08	0.27
Thougtput/sec	1965.2	1821.5	1816.3	1798.8	1785.6
kb-sec	877.4	843.8	841.9	836.4	835.9

昨夜星辰 · 发表于 2017-3-2 11:28:40

longetree 发表于 2017-3-2 10:48
sorry，发帖时没写对

原始格式：多个jmeter summery的csv格式报表（行数列数及格式固定,只需要取http请求 ...

还是看不懂，你看一下我昨天给另一个人回复的帖子（http://bbs.pythontab.com/thread-3469-1-1.html），他说得就比较清楚，我都不用问那么多就直接把脚本写出来了。建议你上传几个csv文件，然后手动把想要的结果文件发出来看看，这样会比较清晰。

longetree · 发表于 2017-3-2 13:03:49

昨夜星辰发表于 2017-3-2 11:28
还是看不懂，你看一下我昨天给另一个人回复的帖子（http://bbs.pythontab.com/thread-3469-1-1.html），他 ...

aggregate.csv (248 Bytes, 下载次数: 2)

昨夜星辰 · 发表于 2017-3-2 14:06:45

longetree 发表于 2017-3-2 13:03
上面这个csv文件是单次运行jmeter可以生成的结果
通常会选择不同线程数（Threads）递增执行多遍，会生 ...

从你源文件和目标文件的数据，我实在是看不出有什么关联，源文件里的Samples是1129，而目标文件里的Sample却都是300000+的，另外，那个线程数又怎么和源文件关联起来？
实在是搞不懂，帮不了你了~

jackyspy · 发表于 2017-3-2 14:14:41

肯定是很简单的东西。
但是楼主没有清楚说明自己不懂的地方，不会读取csv？不会处理数据？还是。。。啥都不会？

longetree · 发表于 2017-3-2 15:07:41

jackyspy 发表于 2017-3-2 14:14
肯定是很简单的东西。
但是楼主没有清楚说明自己不懂的地方，不会读取csv？不会处理数据？还是。。。啥都不 ...

单纯读取和写都是没问题的，但是不会处理多个list转换成竖列写入类似一个表格

longetree · 发表于 2017-3-2 15:13:12

昨夜星辰发表于 2017-3-2 14:06
从你源文件和目标文件的数据，我实在是看不出有什么关联，源文件里的Samples是1129，而目标文件里的Sampl ...

大兄弟，不知道怎么描述了，这样看下

处理前：（Label1--N）

Label1

# Samples

Average

Median

90% Line

95% Line

99% Line

Min

Max

Error %

Throughput

Received KB/sec

Sent KB/sec

HTTP请求

A1

A2

A3

A4

A5

A6

A7

总体

Label2