Logstash 时区问题导至数据被写进错误的 ES 索引的解决方法

Python019

Logstash 时区问题导至数据被写进错误的 ES 索引的解决方法,第1张

在上篇: .NET 的 ELK 监控方案 里, 我们将 Logstash 的配置节点 output 这样写:

logstash 会自动从数据中找到 i 这个字段, 并结合 @timestamp 来指定这条数据到要写到哪个 index 下面去.

如果配置中没有指定 @timestamp 从哪里取值, logstash 会默认把第一次读到取这条数据时间做为 @timestamp .

但是请注意, logstash 使用的是 UTC 时间. 这个地方将会引发标题所描述的问题.

比如, 当前时间是 2018-08-17T00:29:59.618+08:00 , 转换为 UTC 时间就成了 2018-08-16T16:29:59.618Z

Logstash 把这个 UTC 时间用来确定数据该存到哪个 Index 里面, 这就导至了 本来是 8月17日的数据, 却被写到 8月16 日的索引下面去了.

如果只是用 Kibana 做为可视化工具, 问题不大.

但是我们每天大概能收集到 100G的日志, 搜索条件多样化 , 在加上对语法不熟悉, Kibana 已经不能给我们提供便捷的使用体验了.

但是对自制的查询工具而言, 又不能跨 index 查询(有重复的日志), 所以这个问题被无限放大了.

要解决这个问题, 又不能作大规模的改动, 最好的办法就是看有什么方法把 @timestamp 用中国时间来表示.

从百度上找了两篇文章, 说用 date filter 来修改时区, 但是写到 es 里的 @timestamp 依然是 UTC 时间, 估计也是行不通, 就没有继续在上面尝试.

和之前的配置比起来, 这个新配置多了一个节点: filter

用 ruby 脚本把事件的 timestamp 的本地时间赋值给 index_day (这个 index_day 并不存在于原始的日志数据中),

然后在 output 节点的 index 中使用这个 index_day. 这样一来每天8点之前的日志就会写到正确的 index 中了.

不过, 每天结束的那几分钟产生的日志有可能会被写到下一天的索引里去..

TimeZone 配置参见 Date Filter , logstash 将日志北京时间保存成utc

Filter Ruby 参见, Logstash Filter Ruby , 不要问我, 我也不会

Output elashtic Index 配置参见 Elasticsearch output plugin

在我们打开Sketchup界面时,首先会选择模版,或者是默认的模版,这个模版规定了我们的尺寸单位,我们画的线是按照选择的单位格式来进行计算和规划。

在二次开发中,默认的单位为英寸,有时候需要对绘制的线,进行长度统计和单位转换,可通过调用方法进行英寸单位的互转。

运行结果:

字符串:

数组:

什么语言实现?

+ ====== 如何在不同编程语言中实现普通时间 → Unix时间戳(Unix timestamp)? ======

+

+ Java long epoch = new java.text.SimpleDateFormat("dd/MM/yyyy HH:mm:ss").parse("01/01/1970 01:00:00")

+

+ JavaScript var commonTime = new Date(Date.UTC(year, month - 1, day, hour, minute, second))

+

+ MySQL SELECT unix_timestamp(time) 时间格式: YYYY-MM-DD HH:MM:SS 或 YYMMDD 或 YYYYMMDD

+

+ Perl 先 use Time::Local 然后 my $time = timelocal($sec, $min, $hour, $day, $month, $year)

+

+ PHP mktime(hour, minute, second, day, month, year)

+

+ PostgreSQL SELECT extract(epoch FROM date('YYYY-MM-DD HH:MM:SS'))

+

+ Python 先 import time 然后 int(time.mktime(time.strptime('YYYY-MM-DD HH:MM:SS', '%Y-%m-%d %H:%M:%S')))

+

+ Ruby Time.local(year, month, day, hour, minute, second)

+

+ SQL Server SELECT DATEDIFF(s, '1970-01-01 00:00:00', time)

+

+ Unix / Linux date +%s -d"Jan 1, 1970 00:00:01"

+

+ VBScript / ASP DateDiff("s", "01/01/1970 00:00:00", time)