Please enable JavaScript.
Coggle requires JavaScript to display documents.
日志管理 (需求 (EFK日志管理方案 (了解EFK当前部署方案 :check:, EFK基本原理 :check:, E日志搜索方法,K图像使用方式…
日志管理
需求
EFK日志管理方案
了解EFK当前部署方案 :check:
EFK基本原理 :check:
E日志搜索方法,K图像使用方式
EFK最佳部署实践
各种日志需求
#
k8s系统组件
主机节点
ceph存储日志
calico网络方案日志
logdb+EFK
私有部署
韦总内部对接
扩展
filebeat
各种接入方案
EFK
了解EFK当前部署方案 :check:
ElasticSearch使用方法 :green_cross: :!!:
日志检索语法
初级检索 query-lite :check:
query body
复杂检索
高级配置,定期清理
fluentd
基本配置方式 :check:
工作原理 :check:
fluentd处理逻辑 :check:
kibana
基本配置方式 :check:
工作原理
logservice
代码研读 :check:
修补bug
indice缺失
:green_cross: :!!:
排序解析有误
:green_cross: :!!:
fluentd推送时间过长
:green_cross: :!!:
#
兼容pandora :check: :!!:
细节设计
#
时区问题 :green_cross: :!!:
logdb+EFK
logdb :green_cross: :!!:
基本原理
配置方法
部署
公司内部接入 :check:
私有化部署 :red_cross:
xs+pipeline :green_cross: :!!: :!!:
了解pipeline :check:
调试pipeline-plugin
阅读源码 :green_cross:
了解大致结构,调用逻辑
ruby语法结构没有缕清
bug解决
时区解析错误bug :check:
pandora鉴权bug :check:
pipeline schema固定bug :check:
fluentd-k8s plugin无过滤bug :green_cross: :!!: :!!:
接入
接入cs :check:
接入xs
形成使用文档 :green_cross: :!!: :!!:
方案
私有云
数据后端
es :green_cross:
初步搭建 :check:
性能需求 :red_cross:
#
采集端
fluentd
#
filebeat :red_cross:
展示端
#
功能需求
采集端
容器打日志过快
多日志文件收集
数据后端
消息队列需求
定期回滚
公有云
pandora
采集端
fluentd :check:
不同日志源
容器日志 :check:
主机日志 :red_cross: :!!:
systemctl日志 :red_cross:
性能问题
日志rotate :check:
fluentd缓冲区不足 :red_cross:
采集性能调研 :red_cross:
pipeline对接问题 :check:
logkit :red_cross:
不同日志源 :red_cross:
性能问题
数据后端
logdb + pipeline :check:
展示端
ke-portal :red_cross: :!!:
#
kibana :red_cross: :!!:
查询代理 logservice
接口提供
ke-portal
容器日志 :check:
主机日志 :red_cross: :!!:
kibana :red_cross: :!!:
bug
from参数不解析 :red_cross: :!!:
日志index超出范围报错 :red_cross: :!!:
信息调研
需求收集
内容需求
容器日志
容器stdout/stderr :check:
多文件日志 :red_cross:
节点日志
内核日志 :green_cross:
systemctl :green_cross: :!!:
k8s组件日志
kubelet :green_cross: :!!:
其他 :check:
重要组件日志
docker :green_cross: :!!:
网络日志
ceph日志
功能需求
es日志定期清理:green_cross: :!!:
日志报警
收集日志多来源
日志logrotate方案 :check:
节点本地容器日志rotate方案 :check:
日志时区问题 :green_cross:
性能需求
日志及时推送 :green_cross:
日志混杂 :green_cross:
限制日志输出量 :green_cross:
市场调研
整体日志实践方案
针对某具体功能
日志报警
多日志来源