ElasticSearch+Kibana+Filebeat 采集日志内的json数据

之举

墨衍会员 · AI 创作全网分发码龄10年

关注

VIP免费原创 2023-02-08 13:32:41 1.5k 阅读 AI 写同款· GEO 优化 ›

1.ELK之Elasticsearch&Kibana一篇入门(安装/分片/操作流程/常用语句/分词) elasticsearch安装阅读详情

方式有很多，以下是我学习中自己写的。

要被采集的日志：

{"time":"2023-02-07T10:11:20+08:00","type":"info","msg":"{\"business\":\"elk\",\"module\":\"demo\",\"action\":\"test\",\"level\":\"info\",\"date\":\"2023-02-07 10:11:20\",\"second\":\"0.899408\",\"data\":{\"id\":233,\"name\":\"张三\",\"gender\":24,\"phone\":13511112222}}"}
[2023-02-07T10:11:39+08:00][info] {"business":"elk","module":"demo","action":"test","level":"info","date":"2023-02-07 10:11:39","second":"0.493702","data":{"id":233,"name":"张三","gender":24,"phone":13511112222}}

两条不同格式的日志是为了测试不同格式的采集方式
第一条是纯json格式日志
第二条是ThinkPHP6的默认日志格式，符合大多数的日志格式

在ElasticSearch创建pipeline(管道)：

在“Kibana->Stack Management->采集管道->创建管道”

或者

在“Kibana->开发工具->控制台”运行以下代码

PUT _ingest/pipeline/elk-test-pipeline    
{
    "description" : "解析混合日志",
    "processors" : 
    [{
        "grok": {
            "field": "message",
            "description": "正常日志格式解析",
            # grok表达式，注意空格
            "patterns": ["\\[%{TIMESTAMP_ISO8601:time}\\]\\[%{LOGLEVEL:type}\\] %{GREEDYDATA:msg}"],
            # 出错时增加该字段，方便筛查是否出错了
            "on_failure": [