首页 > 极客资料 博客日记
你还用ES存请求日志?ClickHouse+Vector打造最强Grafana日志分析看板
2024-11-02 15:30:03极客资料围观14次
文章你还用ES存请求日志?ClickHouse+Vector打造最强Grafana日志分析看板分享给大家,欢迎收藏极客之家,专注分享技术知识
为什么要做NGINX日志分析看板
Grafana官网的dashboards有NGINX日志采集到ES数据源的展示看板,也有采集到LOKI数据源的展示看板,唯独没有采集到ClickHouse数据源的展示看板。所以这个轮子是必须要造的。
为什么不使用ES存储
ElasticSearch是全文检索引擎的文档数据库,对于业务日志、异常日志、多行日志这类,非结构化、半结构化的日志数据,经常需要做关键字查询,模糊匹配等操作,非常适合使用es,使用倒排索引实现快速全文搜索。
ClickHouse是一个列式存储数据库,尤其擅长处理结构化的大规模的SQL查询和聚合分析操作,所以针对NGINX这类结构化的请求日志,在处理多维分析、聚合查询、分组统计等操作速度极快,并且压缩比极高,存储成本比ES低10倍,CPU、内存的占用也有巨大优势。
NGINX日志采集架构
- 基础架构
- 完整架构
Grafana请求日志分析看板预览
该看板是基于 ClickHouse + Vector 的NGINX请求日志分析看板。包括请求与耗时分析、异常请求分析、用户分析、地理位置分布图、指定接口分析、请求日志明细。
尤其在异常请求分析方面,总结多年异常请求分析经验,从各个角度设计大量异常请求的分析图表。
-
整体请求与耗时分析
-
NGINX异常请求分析
- 用户请求数据分析
- 地理位置数据分析
- 指定接口明细分析
- 请求日志详情分析
导入NGINX请求日志分析的Grafana看板
Grafana看板ID:22037
下载地址:
https://grafana.com/grafana/dashboards/22037
注意:
- 在Grafana中增加ClickHouse数据源时,注意点开Additional settings右边的箭头,配置Default database为存放日志的默认库,如上的:nginxlogs。
- 如果你保存日志的表名不是
access
结尾的,项目
菜单会没有数据,需要点击看板右上角的设置
-变量
-project
,在下方的Regex
项,输入你需要展示的日志表的正则,或者留空,展示默认库的所有表。
版权声明:本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:jacktools123@163.com进行投诉反馈,一经查实,立即删除!
标签:
相关文章
最新发布
- Nuxt.js 应用中的 prerender:routes 事件钩子详解
- 【问题解决】Tomcat由低于8版本升级到高版本使用Tomcat自带连接池报错无法找到表空间的问题
- 【FAQ】HarmonyOS SDK 闭源开放能力 —Vision Kit
- 六、Spring Boot集成Spring Security之前后分离认证流程最佳方案
- 《JVM第7课》堆区
- .NET 8 高性能跨平台图像处理库 ImageSharp
- 还在为慢速数据传输苦恼?Linux 零拷贝技术来帮你!
- 刚毕业,去做边缘业务,还有救吗?
- 如何避免 HttpClient 丢失请求头:通过 HttpRequestMessage 解决并优化
- 让性能提升56%的Vue3.5响应式重构之“版本计数”