管道处理 #
摄取管道是一系列处理器 ,用于在文档被摄取到索引时对其进行处理。管道中的每个处理器执行一项特定的任务,例如过滤、转换或丰富数据。
处理器是可自定义的任务,它们按照请求正文中出现的顺序运行。此顺序非常重要,因为每个处理器都依赖于前一个处理器的输出。应用处理器后,修改后的文档将显示在您的索引中。
先决条件 #
以下是使用 Easysearch 摄取管道的先决条件:
- 在生产环境中使用摄取功能时,您的集群应至少包含一个节点,且该节点的节点角色权限设置为 ingest 。有关在集群中设置节点角色的信息,请参阅集群形成 。
- 如果启用了 Easy sea r ch Security 插件,您必须具有 cluster_manage_pipelines 权限才能管理摄取管道。
怎么定义管道 #
管道定义描述了采集管道的顺序,可以用 JSON 格式编写。采集管道包含以下内容:
{
"description" : "..."
"processors" : [...]
}
请求的字段:
| 字段名 | 是否必需 | 类型 | 描述 |
|---|---|---|---|
processors | 必需 | 数组对象 | 当数据被输入到 Easysearch 时执行特定数据处理任务的组件。 |
description | 可选 | 字符串 | 摄取管道的描述。 |