这个问题类似于未回答的 rsyslog specific question on Server Fault .我不清楚最好的解决方案是通过现有的软件,如 rsyslog 或 logstash,还是我必须自己构建一些东西。这就是我在这里问的原因。
问题
我有几个并行运行的 python 进程(不由多进程处理)。他们构建需要写入该组的相同日志文件的组。从多个进程到同一个文件的日志记录必须经过某种序列化以避免文件损坏,因此我想到了 rsyslog 或 logstash。
我没能找到(rsyslog 和 logstash 都没有)的是如何过滤包含我事先不知道的文件名的字段(或标记或在该系统中可能调用的任何内容) (包含我无法控制的版本号)并将这些消息写入对应的文件。
所以,我知道对于具有动态输出的静态输入过滤器是如何完成的。但是不知道动态输入动态输出是怎么做到的。
我最喜欢的幻想解决方案
在 Python 应用程序中:
创建一个自定义格式化程序,添加一个包含目标日志文件名称的字段(例如 rsyslog 的 syslogtag)
添加一个 SyslogHandler 或类似于我的记录器的东西。
在 rsyslog 或 logstash 配置中添加如下规则
<config of some logging system>
[filterfor] <field> -> write messages containing <value of field> to logfile /path/to/logs/<value of field>.log
完成。
问题
这是否可能开箱即用或(在 logstash 中)使用(尚未编写的)插件?
编辑:也许一个例子可以阐明我在寻找什么。
示例日志消息,括号中的目标为 exapmle:
<group_a> Message that will end up only in "group_a.log"
<group_a> Another Message for "group_a.log"
<group_b> Some interesting message for "group_b.log"
<group_c> Message for "group_c.log"
这些基于匹配名称的消息将最终出现在相应的日志文件中。对于上面的示例,日志文件及其内容为:
/var/log/group_logs/group_a.log
<group_a> Message that will end up only in "group_a.log"
<group_a> Another Message for "group_a.log"
/var/log/group_logs/group_b.log
<group_b> Some interesting message for "group_b.log"
/var/log/group_logs/group_c.log
<group_c> Message for "group_c.log"
所以它会像正则表达式一样工作,将匹配的名称保存在一个组中并将其用作文件名。
请您参考如下方法:
rsyslog 的工作解决方案如下:
- 所有日志消息都包含由(任意)开始和结束分隔符分隔的目标文件名。它们必须只包含文件名(在这种情况下,我们使用 [[ 作为开始和 ]] 作为结束分隔符)
- 日志消息被发送到 local0 设施以将它们与其他消息分开。
rsyslog 配置中的重要部分是:
$template debugFile,"/var/log/%msg:R,ERE,1,DFLT:\[\[(.*)\]\]--end%.log"
通过正则表达式从消息生成日志文件的绝对路径 - Regular Expression Checker/Generator由 rsyslog 团队提供在这里可能会有帮助。
$template rawFormat,"%msg%\n"
仅包含原始日志消息的输出模板(主要是装饰性的)。
local0.* ?debugFile;rawFormat
将此模板和格式用于发送到 local0 设施的所有日志。
