日期处理器

日期处理器 #

date 处理器用于从文档字段中解析日期,并将解析后的数据添加到新字段中。默认情况下,解析后的数据存储在 @timestamp 字段中。

语法 #

以下是为 date 处理器提供的语法:

{
  "date": {
    "field": "date_field",
    "formats": ["yyyy-MM-dd'T'HH:mm:ss.SSSZZ"]
  }
}

配置参数 #

下表列出了 date 处理器所需的和可选参数。

参数是否必填描述
field必填包含要转换的数据的字段名称。支持模板使用。
formats必填期望的日期格式数组。可以是日期格式或以下格式之一:ISO8601、UNIX、UNIX_MS 或 TAI64N。
description可选处理器的一个简要描述。
if可选处理器运行的条件。
ignore_failure可选指定处理器是否在遇到错误时继续执行。如果设置为 true ,则忽略失败。默认为 false 。
locale可选解析日期时使用的区域设置。默认为 ENGLISH 。支持模板片段。
on_failure可选在处理器失败时运行的处理器列表。
output_format可选用于目标字段的日期格式。默认为 yyyy-MM-dd'T'HH:mm:ss.SSSZZ
tag可选处理器的标识标签。在调试中区分同一类型的处理器很有用。
target_field可选存储解析数据的字段名称。默认目标字段为 @timestamp 。
timezone可选解析日期时使用的时区。默认为 UTC 。支持模板片段。

如何使用 #

按照以下步骤在管道中使用处理器。

步骤 1:创建管道 #

以下查询创建了一个名为 date-output-format 的管道,该管道使用 date 处理器将欧洲日期格式转换为美国日期格式,并添加了新的字段 date_us ,包含所需的 output_format

PUT /_ingest/pipeline/date-output-format
{
  "description": "Pipeline that converts European date format to US date format",
  "processors": [
    {
      "date": {
        "field" : "date_european",
        "formats" : ["dd/MM/yyyy", "UNIX"],
        "target_field": "date_us",
        "output_format": "MM/dd/yyy",
        "timezone" : "UTC"
      }
    }
  ]
}

步骤 2(可选):测试管道 #

建议您在摄取文档之前测试您的管道。

要测试管道,请运行以下查询:

POST _ingest/pipeline/date-output-format/_simulate
{
  "docs": [
    {
      "_index": "testindex1",
      "_id": "1",
      "_source": {
        "date_us": "06/30/2023",
        "date_european": "30/06/2023"
      }
    }
  ]
}

返回内容确认管道按预期工作:

{
  "docs": [
    {
      "doc": {
        "_index": "testindex1",
        "_id": "1",
        "_source": {
          "date_us": "06/30/2023",
          "date_european": "30/06/2023"
        },
        "_ingest": {
          "timestamp": "2023-08-22T17:08:46.275195504Z"
        }
      }
    }
  ]
}

步骤 3:摄取文档 #

以下查询将文档索引到名为 testindex1 的索引中:

PUT testindex1/_doc/1?pipeline=date-output-format
{
  "date_european": "30/06/2023"
}

步骤 4(可选):检索文档 #

要检索文档,请运行以下查询:

GET testindex1/_doc/1