告别Nginx原始日志!VictoriaLogs+Grafana构建企业级应用日志分析平台实战

运维噩梦:日志泄露!VictoriaLogs 如何用 vmauth 实现安全访问控制,告别裸奔? 温馨提示:由于 Grafana 也是部署在K8S集群中,因此可以直接使用内部服务名称(例如 victorialogs)来访问 VictoriaLogs 服务(读取存储的日志),而外部写操作,为了安全起见,则通过 vmauth 代理来完成,以限制外部客户端上传日志数据时需提供认证票据,并且只能访问到 VictoriaLogs 上传的 HTTP API 接口。【工作学习实践笔记】,当前价格¥199,除了获得从业笔记的同时还可进行问题答疑以及每月远程技术支持,希望大家多多支持,收获定大于付出! 阅读详情

[ 知识是人生的灯塔,只有不断学习,才能照亮前行的道路 ]

📢 大家好,我是 WeiyiGeek,一名深耕安全运维开发(SecOpsDev)领域的技术从业者,致力于探索DevOps与安全的融合(DevSecOps),自动化运维工具开发与实践,企业网络安全防护,欢迎各位道友一起学习交流、一起进步 🚀,若此文对你有帮助,一定记得倒点个关注⭐与小红星❤️,收藏学习不迷路 😋 。

0x00 前言简述

描述:做为一个合格的运维工程师,在面对企业安全运维管理中,日志审计是一项非常重要的工作。日志审计可以帮助我们了解系统的运行状态、发现潜在的安全问题以及进行故障排查等。在企业中,最常见的日志类型包括应用服务器日志和网络安全设备日志,那么如何高效的采集、存储和可视化这些日志数据,成为了运维工程师需要解决的重要问题,这也作者前面所遇的问题,进过作者一番调研与实践,最终选型 VictoriaLogs 开源日志聚合系统,它可以帮助我们高效地采集、存储和可视化查询日志数据,并通过 Grafana 将日志数据可视化展示出来。

通过前面的几篇文章,读者应该可以了解到 VictoriaLogs 是一个开源的、高性能的日志聚合系统,作者介绍了 VictoriaLogs 的一些基本概念,包括 VictoriaLogs 的架构、二进制及容器部署方式、多种日志上传实践,访问权限安全配置等。在文中读者可能看到作者针对 VictoriaLogs 在企业中应用/网络日志审计落地实践的场景,给出了详细的方案设计。

从本章开始,作者将通过 Nginx/OpenResty 产出应用日志 + Promtail 实现日志采集 + VictoriaLogs 日志存储 + Granafa 日志可视化查询,以及 网络安全设备审计 + Rsyslogs 日志格式化转发 + VictoriaLogs 日志存储 + Granafa 日志可视化查询 等一系列的落地方案设计为基础,分为两篇实践文章,为读者如何在企业中落地应用日志审计和网络设备、安全设备日志审计采集到可视化查看的整套流程,以完善企业中最薄弱的安全防护环节。

先来看看作者熬了两宿爆肝制作,最终实现的 Nginx 网站请求分析即用户画像面板效果图:

  • 站点访问统计

weiyigeek.top-官网站点访问统计图

  • 站点访问趋势及接口耗时

weiyigeek.top-官网站点访
VictoriaLogs:高性能、低成本、易运维的下一代日志数据库 VictoriaLogs是一款面向云原生时代的高性能日志数据库,由VictoriaMetrics团队开发。它采用LogJSON格式存储日志,压缩率高达5%-15%,相比Elasticsearch可节省50-100倍存储成本。核心优势包括:单核100MB/s的写入吞吐、无外部依赖的极简架构、专为日志优化的LogsQL查询语言,以及自动化的生命周期管理。相比Loki和Elasticsearch,VictoriaLogs在存储成本、查询性能和运维复杂度方面表现更优,特别适合资源受限或需要简化运维的场景。通过单一二 阅读详情

相关推荐

使用VictoriaLogs+filebeat实现日志可视化

应用VictoriaLogs+filebeat。

zhangjinfei49的博客 1702

告别杂乱Windows安全日志!VictoriaLogs+Grafana构建企业级审计日志分析平台实战

在每年的三级系统等保测评工作中,内部总能发现一些安全问题,例如,规章制度缺失,审计日志不完善,软件系统漏洞、弱密码、未及时更新补丁等,这些问题不仅影响了企业的网络安全,也给企业带来了潜在的风险。》来实现 Windows 审计日志采集到可视化查询,随着时间的积累,作者发现了一个弊端就是 Loki 查询的效率在大时间范围时非常的慢,不适用于历史日志的查询,这显然针对于当前企业内部审计日志查询展示是不够友好的,其次是在 Grafana 只是实现了日志的检索,并未将 Windows 审计日志进行统计并分类显示。

全栈工程师修炼指南-IT知识分享 2112

VictoriaLogs:维多利亚洛基(Loki On Victoria)

维多利亚洛基(Loki On Victoria) 该项目在实验上支持VictoriaMetrics群集上的协议,其性能可能比原始loki更好。 可以在找到更多讨论。 支持的 LogQL扩展了MetricsQL,以支持以及对查询指标的完整PromQL和MetricsQL支持。 主要的HTTP API /loki/api/v1/query /loki/api/v1/query_range /loki/api/v1/label和/loki/api/v1/labels /loki/api/v1/label/<name>/values /loki/api/v1/tail (websocket) /loki/api/v1/push 通过tcp对prometheus样式数据的附加支持,例如loki{component="parser",level="WARN"} "app log l

[ESP32]:基于esp-modbus实现serial主机

[ESP32]:基于esp-modbus实现serial主机

LINKKEEE的博客 2559

别再折腾框架了!用华为应用市场官方渠道搞定GBOX,安全安装谷歌全家桶(鸿蒙HarmonyOS 3/4实测)

本文详细介绍了如何在鸿蒙系统上通过华为应用市场官方渠道安全安装GBOX,实现谷歌全家桶的无损使用。该方法避免了传统破解方式的安全风险,利用沙箱技术隔离运行环境,确保系统稳定性和数据安全。特别适合鸿蒙HarmonyOS 3/4用户安全使用谷歌生态应用。

weixin_29305313的博客 4612

从零到一:手把手教你用Python搭建医学影像识别CNN模型(附完整代码)

本文详细介绍了如何使用Python和TensorFlow/Keras从零开始构建一个医学影像识别的CNN模型,涵盖数据预处理、模型架构设计、训练调优及部署全流程。通过实战案例和完整代码,帮助开发者快速掌握深度学习在医学影像识别中的应用,特别适合医疗AI领域的初学者和研究者。

spark7igniter的博客 193

一、数学建模层次分析法(AHP)【清风数学建模个人笔记】

层次分析法: 层次分析法主要用于解决评价类问题(例如:选择哪种方案更好、哪位员工、运动员等表现得更优秀) 评价类问题: 分析问题得出评判问题的子标,分别给不同子标赋予权重(权重和要为1) ...

m0_58882109的博客 1万+

离合器KP点自学习:从原理到工程实践的全景解析

本文全面解析了离合器KP点自学习的原理与工程实践,详细介绍了KP点的物理本质、控制价值及自学习方法。通过扭矩增量式和转速变化式学习法,结合不同变速箱构型的适配策略,提升离合器控制的精度与效率。文章还探讨了液压系统迟滞补偿和摩擦材料老化应对方案,为工程实践提供可靠保障。

weixin_33717117的博客 281

告别手动复制粘贴!用R语言脚本批量抓取TCMSP中药靶点基因(附完整代码)

本文介绍如何使用R语言脚本自动化抓取TCMSP数据库中的中药靶点基因数据,告别手动复制粘贴的低效操作。通过详细的代码示例和参数设置,帮助研究人员快速获取并过滤符合药代动力学标准的中药成分及其靶点基因,大幅提升研究效率。特别适合生物信息学和中药现代化研究领域的从业者。

weixin_26950847的博客 260

实战指南 | IC模拟版图设计从零到精通,手把手带你掌握EDA工具与GDSII输出

本文提供了一份从零开始的IC模拟版图设计实战指南。详细介绍了如何搭建Linux环境、安装Cadence Virtuoso等EDA工具,并深入解析了PDK设计规则。通过手把手绘制CMOS反相器版图的实例,系统讲解了版图绘制、DRC/LVS验证、寄生参数提取、匹配设计以及ESD防护等核心技能,最终指导如何正确生成交付芯片制造厂的标准GDSII文件,帮助读者掌握完整的模拟版图设计流程。

weixin_29214691的博客 385

YOLOv11改进策略【模型轻量化】| 替换骨干网络为 MobileViTv1高效的信息编码与融合模块,获取局部和全局信息

本文记录的是基于MobileNet V4的YOLOv11目标检测轻量化改进方法研究。其中MobileViT块旨在以较少的参数对输入张量中的进行建模,结合卷积与 Transformer 的优势,并实现有效的信息编码与融合本文配置了原论文中和三种模型,以满足不同的需求。

Limiiiing的博客 1065

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

上一篇: 运维噩梦:日志泄露!VictoriaLogs 如何用 vmauth 实现安全访问控制,告别裸奔?
下一篇: 告别杂乱Windows安全日志!VictoriaLogs+Grafana构建企业级审计日志分析平台实战
全栈工程师修炼指南
博客等级 码龄13年 2万+粉丝 448原创
评论 4
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

全栈工程师修炼指南

原创不易,赞赏鼓励!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值