找回密码
 立即注册

扫一扫,访问微社区

QQ登录

只需一步,快速开始

查看: 6421|回复: 8

[讨论] 如何用py,对实时日志,每隔5分钟做统计处理

1

主题

3

帖子

15

积分

贫民

积分
15
seanlin138 发表于 2015-10-20 14:01:32 | 显示全部楼层 |阅读模式
RT
对某个运行着的程序 实时输出的日志,用python每隔5分钟,对输出的日志做一些信息的统计。
平常shell里,一般是用管道实时处理,但没有时间的概念。
py常驻进程的话,想到的是用subprocess处理一次tail -f 日志后,sleep 5min,再处理。
或者不用常驻,每隔5min启动一次,但如何记住上次结束的日志位置,假如日志里没有时间标示。

回复

使用道具 举报

1

主题

3

帖子

15

积分

贫民

积分
15
seanlin138  楼主| 发表于 2015-10-21 14:46:11 | 显示全部楼层
静悄悄,是不是得到海外论坛问问
回复 支持 反对

使用道具 举报

1

主题

3

帖子

15

积分

贫民

积分
15
seanlin138  楼主| 发表于 2015-10-26 10:26:16 | 显示全部楼层
回复

使用道具 举报

0

主题

2

帖子

28

积分

贫民

积分
28
Hadron74 发表于 2015-12-2 10:29:37 | 显示全部楼层
Linux吗,可以用cron
回复 支持 反对

使用道具 举报

50

主题

1057

帖子

1108

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
1108

活跃会员热心会员最佳导师默默耕耘突出贡献优秀版主荣誉管理论坛元老

blueelwang 发表于 2015-12-2 15:55:26 | 显示全部楼层
可以记录一个程序日志,记录上次读到的是日志文件的多少行,把行号写进程序日志,这样就产生了一个标记,不知道满不满足你的需求?
回复 支持 反对

使用道具 举报

1

主题

6

帖子

6

积分

贫民

积分
6
crazylovecat 发表于 2016-8-2 18:35:09 | 显示全部楼层
之前我们都是每次将日志文件rename到一个备份目录下,然后再去解析,不过这种方案前提是需要写日志文件的程序能支持日志文件自动创建
回复 支持 反对

使用道具 举报

0

主题

18

帖子

18

积分

贫民

积分
18
kushao1267 发表于 2016-10-25 18:12:32 | 显示全部楼层
Linux的话可以通过crontab发布定时任务,任务里调用py脚本就可以了。
回复 支持 反对

使用道具 举报

1419

主题

1891

帖子

291

积分

侠客

积分
291

最佳新人热心会员默默耕耘

whydo1 发表于 2016-10-25 22:10:27 | 显示全部楼层
这样行不行?
每隔5分钟将日志中的内容读取出来, 然后将日志文件清空,
将读取出来的内容 追加 到另一个文件中(相当于做了一个日志备份).
再对读取的内容进行统计处理

以后, 重复上面的步骤. 原日志文件中一直是新的内容, 不需要判断上次读到了哪里. 而完整的日志, 可以在备份的日志中找到.
python3.4.4, win10
回复 支持 反对

使用道具 举报

0

主题

33

帖子

33

积分

贫民

积分
33
jackyspy 发表于 2017-3-2 16:29:51 | 显示全部楼层
crontab最靠谱
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表