README
¶
ps-log 日志分析
项目背景
- 开发/测试/生产环境(微服务数量在 40+ 情况下), 出现了 error log等不能被开发感知, 当反馈到开发时时间间隔较长, 如何解决?
解决: 定时(如:10m)去解析 log 中每行包含 error 的内容, 再进行对应的处理(如: 发钉钉, 发邮件, 发es等)
- 定时去分析 log 吗, 需要实时感知 error log 怎么办呢?
解决: 通过文件事件通知来感知文件变化呀, 有变化的时候就去查看文件内容呀
- 实时感知的文件需要起多个监听任务吗? 需要多次打开相同的文件怎么处理呢?
解决: 不需要,只需要1个监听者,1个处理者; 可以通过池化文件句柄
介绍
go get -u gitee.com/xuesongtao/ps-log
- 支持 定时/实时 去解析多个 log 文件; 采集完后会根据配置进行采集位置的持久化保存(即: 文件偏移量保存), 便于停机后重启防止出现重复采集现象(注: Change 设置的比较大时, 需要注意处理重启服务时, 偏移量未保存出现的重复数据)
- 支持 log
行内容多个匹配规则; 支持解析错误堆栈(即: 支持行内容合并); 匹配的内容支持不同的处理方式(支持同步/异步处理) - 采用文件池将频繁使用的句柄进行缓存; 采用
tire树缓存匹配规则提高匹配效率
使用
func main() {
ps, err := pslog.NewPsLog(pslog.WithAsync2Tos())
if err != nil {
panic(err)
}
defer ps.Close()
// 实时监听
if err := ps.TailLogs(); err != nil {
panic(err)
}
tmp := "log/test.log"
handler := &pslog.Handler{
CleanOffset: true, // 重新加载时, 清理已保存的 文件偏移量
Change: -1, // 每次都保存文件偏移量
Tail: true, // 实时监听
ExpireAt: pslog.NoExpire, // 不过期
Targets: []*pslog.Target{
{
Content: " ", // 目标内容
Excludes: []string{}, // 排查内容
To: []pslog.PsLogWriter{&pslog.Stdout{}},
},
},
}
// 注册
if err := ps.Register(handler); err != nil {
panic(err)
}
closeCh := make(chan int)
go func() {
fh := xfile.NewFileHandle(tmp)
if err := fh.Initf(os.O_RDWR | os.O_APPEND | os.O_TRUNC); err != nil {
log.Println(err)
return
}
defer fh.Close()
for i := 0; i < 10; i++ {
time.Sleep(10 * time.Millisecond)
_, err := fh.AppendContent(time.Now().Format(base.DatetimeFmt+".000") + " " + fmt.Sprint(i) + "\n")
if err != nil {
log.Println("write err:", err)
}
}
close(closeCh)
}()
// 添加待监听的 path
if err := ps.AddPaths(tmp); err != nil {
panic(err)
}
// dump
log.Println(ps.List())
for range closeCh {
}
}
其他
Documentation
¶
Index ¶
- Variables
- func PrintFilePool(print bool)
- func SetLogger(l plg.PsLogger)
- type FileInfo
- type Handler
- type LogDir
- type LogHandlerBus
- type LogPath
- type Matcher
- type Opt
- type Project
- type ProjectLog
- type ProjectSrc
- type PsLog
- func (p *PsLog) AddPath2Handler(path string, handler *Handler) error
- func (p *PsLog) AddPath2HandlerMap(path2HandlerMap map[string]*Handler) error
- func (p *PsLog) AddPaths(paths ...string) error
- func (p *PsLog) Close()
- func (p *PsLog) CronLogs(makeUpTail ...bool)
- func (p *PsLog) HasClose() bool
- func (p *PsLog) List(printTarget ...bool) string
- func (p *PsLog) Register(handler *Handler) error
- func (p *PsLog) ReplacePath2Handler(path string, handler *Handler) error
- func (p *PsLog) TailLogs(watchChSize ...int) error
- type PsLogWriter
- type Simple
- type Stdout
- type Target
- type Tire
- type Watch
- type WatchFileInfo
Constants ¶
This section is empty.
Variables ¶
var (
NoExpire = base.Datetime2TimeObj("9999-12-31 23:59:59") // 不过期
)
Functions ¶
Types ¶
type FileInfo ¶
type FileInfo struct {
Handler *Handler // 这里优先 PsLog.handler
Dir string // 文件目录
Name string // 文件名
// contains filtered or unexported fields
}
func (*FileInfo) CleanNameFmt ¶
CleanNameFmt 清理 Name 中的格式, 如: test.log => test
type Handler ¶
type Handler struct {
LoopParse bool // 循环解析, 用于监听单文件日志, 说明: 这个采集的有可能不准确(在这种是基于文件大小和内存记录的偏移量做比较, 模式建议用 tail, cron 的话如果间隔时间太长就可能漏)
CleanOffset bool // 是否需要清理保存的 offset, 只限于开机后一次
Tail bool // 是否实时处理, 说明: true 为实时; false 需要外部定时调用
Change int32 // 文件 offset 变化次数, 为持久化文件偏移量数阈值, 当, 说明: -1 为实时保存; 0 达到默认值 defaultHandleChange 时保存; 其他 大于后会保存
ExpireDur time.Duration // 文件句柄过期间隔, 常用于全局配置
ExpireAt time.Time // 文件句柄过期时间, 优先 ExpireDur 如: 2022-12-03 11:11:10
MergeRule line.Merger // 日志文件行合并规则, 默认 单行处理
Targets []*Target // 目标 msg
Ext string // 外部存入, 回调返回
// contains filtered or unexported fields
}
Handler 处理的部分
type LogHandlerBus ¶ added in v1.0.0
type LogHandlerBus struct {
LogPath string // log 的路径
Msg string // buf 中的 string
Ext string // Handler 中的 Ext 值
// contains filtered or unexported fields
}
logHandler 解析到的内容
func (*LogHandlerBus) Reset ¶ added in v1.0.0
func (l *LogHandlerBus) Reset()
func (*LogHandlerBus) Write ¶ added in v1.0.0
func (l *LogHandlerBus) Write(b []byte)
type LogPath ¶ added in v1.0.0
type LogPath struct {
// contains filtered or unexported fields
}
func NewLogPath ¶ added in v1.0.0
func NewLogPath() *LogPath
func (*LogPath) ParseLogPath ¶ added in v1.0.0
func (l *LogPath) ParseLogPath(project *Project) []*ProjectLog
ParseLogPaths 解析项目 log path
func (*LogPath) ParseSrc ¶ added in v1.0.0
func (l *LogPath) ParseSrc(src *ProjectSrc) []*ProjectLog
ParseSrc 收集 src 下的 go 项目, 注意: src.SrcPath 必须为绝对路径 src 目录即为项目根目录, 目录结构如下:
src ├── demo1 │ ├── app │ ├── boot │ ├── config │ ├── log │ ├── main.go └── demo2 │ ├── app │ ├── boot │ ├── config │ ├── log │ ├── main.go
func (*LogPath) SetExcludeProjectDir ¶ added in v1.0.0
SetExcludeProjectDir 设置排除的项目目录
type Project ¶ added in v1.0.0
type Project struct {
LogDir *LogDir
ProjectPath string // 项目 path, 必须为绝对路径, 如: /root/demo/src/demo
}
Project 项目根目录
type ProjectLog ¶ added in v1.0.0
type ProjectSrc ¶ added in v1.0.0
ProjectSrc 项目根目录
type PsLog ¶
type PsLog struct {
// contains filtered or unexported fields
}
PsLog 解析 log
func (*PsLog) AddPath2Handler ¶ added in v1.0.0
AddPath2Handler 单个添加, 如果 path 已存在则跳过, 反之新增 会根据文件对应的 Handler 进行处理, 如果为 Handler 为 nil, 会按 p.handler 来处理
func (*PsLog) AddPath2HandlerMap ¶
AddPath2HandlerMap 添加文件对应的处理方法, 如果 path 已存在则跳过, 反之新增 会根据文件对应的 Handler 进行处理, 如果为 Handler 为 nil, 会按 p.handler 来处理
func (*PsLog) List ¶ added in v1.0.0
List 返回待处理的内容 printTarget 是否打印 TARGETS, EXCLUDES(因为这两个可能会很多), 默认 true 格式: -------------------------------------------------------------------------------------- | PATH | OPEN | EXPIRE | TAIL | BEGIN | OFFSET | TARGETS | EXCLUDES | -------------------------------------------------------------------------------------- | xxxx | 2 | XXXX-XX-XX XX:XX:XX | true | 0 | 100 |【 ERRO 】| | ---------------------------------------------------------------------------------------
func (*PsLog) ReplacePath2Handler ¶ added in v1.0.3
ReplacePath2Handler 新增文件对应的处理方法, 如果 path 已存在则替换, 反之新增 会根据文件对应的 Handler 进行处理, 如果为 Handler 为 nil, 会按 p.handler 来处理
type PsLogWriter ¶ added in v1.0.0
type PsLogWriter interface {
WriteTo(bus *LogHandlerBus)
}
type Simple ¶ added in v1.0.0
type Simple struct {
// contains filtered or unexported fields
}
Simple 简单匹配
type Stdout ¶ added in v1.0.0
type Stdout struct{}
func (*Stdout) WriteTo ¶ added in v1.0.0
func (p *Stdout) WriteTo(bus *LogHandlerBus)
type Target ¶
type Target struct {
Content string // 目标内容
Excludes []string // 排除 msg
To []PsLogWriter // 一个目标内容, 多种处理方式
// contains filtered or unexported fields
}
Target 目标内容
type Tire ¶ added in v1.0.0
type Tire struct {
// contains filtered or unexported fields
}
字典树
type Watch ¶
type Watch struct {
// contains filtered or unexported fields
}
Watch 监听的文件
type WatchFileInfo ¶
WatchFileInfo
Source Files
Directories