指纹分词过滤器 #

指纹（fingerprint）分词过滤器用于对文本进行标准化和去重处理。当文本处理的唯一性或者一致性至关重要时，这个过滤器特别有用。指纹分词过滤器通过以下步骤处理文本以实现这一目的：

1. 小写转换：将所有文本转换为小写。
2. 分词：把文本拆分成词元。
3. 排序：按字母顺序排列这些词元。
4. 去重：消除重复的词元。
5. 合并词元：将这些词元合并成一个字符串，通常使用空格或其他指定的分隔符进行连接。

参数说明 #

指纹分词过滤器可以使用以下两个参数进行配置。

参考样例 #

以下示例请求创建了一个名为 my_index 的新索引，并配置了一个带有指纹分词过滤器的分词器：

PUT /my_index
{
  "settings": {
    "analysis": {
      "filter": {
        "my_fingerprint": {
          "type": "fingerprint",
          "max_output_size": 200,
          "separator": "-"
        }
      },
      "analyzer": {
        "my_analyzer": {
          "type": "custom",
          "tokenizer": "standard",
          "filter": [
            "lowercase",
            "my_fingerprint"
          ]
        }
      }
    }
  }
}

产生的词元 #

使用以下请求来检查使用该分词器生成的词元：

POST /my_index/_analyze
{
  "analyzer": "my_analyzer",
  "text": "Easysearch is a powerful search engine that scales easily"
}

返回内容包含产生的词元

{
  "tokens": [
    {
      "token": "a-easily-engine-is-easysearch-powerful-scales-search-that",
      "start_offset": 0,
      "end_offset": 57,
      "type": "fingerprint",
      "position": 0
    }
  ]
}