管道处理

管道处理 #

摄取管道是一系列处理器 ,用于在文档被摄取到索引时对其进行处理。管道中的每个处理器执行一项特定的任务,例如过滤、转换或丰富数据。

处理器是可自定义的任务,它们按照请求正文中出现的顺序运行。此顺序非常重要,因为每个处理器都依赖于前一个处理器的输出。应用处理器后,修改后的文档将显示在您的索引中。

先决条件 #

以下是使用 Easysearch 摄取管道的先决条件:

  • 在生产环境中使用摄取功能时,您的集群应至少包含一个节点,且该节点的节点角色权限设置为 ingest 。有关在集群中设置节点角色的信息,请参阅集群形成 。
  • 如果启用了 Easy sea r ch Security 插件,您必须具有 cluster_manage_pipelines 权限才能管理摄取管道。

怎么定义管道 #

管道定义描述了采集管道的顺序,可以用 JSON 格式编写。采集管道包含以下内容:

{
    "description" : "..."
    "processors" : [...]
}

请求的字段:

字段名是否必需类型描述
processors必需数组对象当数据被输入到 Easysearch 时执行特定数据处理任务的组件。
description可选字符串摄取管道的描述。