简单分割匹配词元生成器 #
简单分割匹配(simple_pattern_split
)词元生成器使用正则表达式将文本分割成词元。该正则表达式定义了用于确定文本分割位置的模式。文本中任何匹配该模式的部分都会被用作分隔符,分隔符之间的文本则成为一个词元。当你想定义分隔符,并根据某个模式对文本的其余部分进行分词时,可以使用此词元生成器。
该词元生成器仅将输入文本中匹配到的部分(基于正则表达式)用作分隔符或边界,以将文本分割成词条。匹配到的部分不会包含在生成的词元中。例如,如果将词元生成器配置为在点号(.
)处分割文本,输入文本为 one.two.three
,那么生成的词元就是 one
、two
和 three
。点号本身不会包含在生成的词条中。
参考样例 #
以下示例请求创建了一个名为 my_index
的新索引,并配置了一个使用简单分割匹配词元生成器的分词器。该分词器被配置为在连字符(-
)处分割文本:
PUT /my_index
{
"settings": {
"analysis": {
"tokenizer": {
"my_pattern_split_tokenizer": {
"type": "simple_pattern_split",
"pattern": "-"
}
},
"analyzer": {
"my_pattern_split_analyzer": {
"type": "custom",
"tokenizer": "my_pattern_split_tokenizer"
}
}
}
},
"mappings": {
"properties": {
"content": {
"type": "text",
"analyzer": "my_pattern_split_analyzer"
}
}
}
}
产生的词元 #
使用以下请求来检查使用该分词器生成的词元:
POST /my_index/_analyze
{
"analyzer": "my_pattern_split_analyzer",
"text": "2024-10-09"
}
返回内容包含产生的词元
{
"tokens": [
{
"token": "2024",
"start_offset": 0,
"end_offset": 4,
"type": "word",
"position": 0
},
{
"token": "10",
"start_offset": 5,
"end_offset": 7,
"type": "word",
"position": 1
},
{
"token": "09",
"start_offset": 8,
"end_offset": 10,
"type": "word",
"position": 2
}
]
}
参数说明 #
简单分割匹配词元生成器可以使用以下参数进行配置。
参数 | 必需/可选 | 数据类型 | 描述 |
---|---|---|---|
max_token_length | 可选 | 整数 | 设置生成词元的最大长度。若超过该长度,词元将按照 max_token_length 所配置的长度拆分为多个词元。默认值为 255。 |