使用分布式爬虫抓取的报错log,需要拿来分析,降低平台抓取错误率。使用FELK(Filebeat+ElastiSearch+Logstash+Kibana)框架。碰到的时间相关问题总结一下。
  • logstash写入es时间为获取日志时间,非日志打印时间
    • 解决方法:使用target替换当前写入Es的timestamp(若需要kibana的时间range功能,此字段必须保留)
1
2
3
4
5
6
date {
match => ["logdate(自己定义的logtime)", "yyyy-MM-dd HH:mm:ss"]
target => "@timestamp"
"locale" => "en"
timezone => "UTC"
}
  • Es时间准确,kibana显示相差8个小时

    • 解决方法:修改kibana时区设置
  • kibana-Visualize按照固定间隔生成图表

    • 操作方法: