向量搜索 #
Easysearch 2.4.0 内置基于 Lucene 的原生 HNSW 向量搜索。新建向量索引时,推荐使用 dense_vector mapping 和 knn 查询,
不需要安装 k-NN 插件。旧 k-NN 插件继续用于已有索引和兼容场景。
Easysearch 3.0 新增 OSQ HNSW 搜索,基于 Lucene 的 Optimized Scalar Quantization
(优化的标量量化),用 1-bit 索引向量检索候选,再按配置以原精度向量重排。功能名为 Easysearch OSQ HNSW,
对外采用 ES 兼容参数 index_options.type: "bbq_hnsw";省略该配置仍使用普通 HNSW。
3.0 也支持 OSQ Disk 搜索,使用磁盘簇检索和量化候选评分,对外配置为
index_options.type: "bbq_disk"。Disk 与 HNSW 使用不同的索引结构和参数。
核心能力 #
| 能力 | 内置向量搜索说明 |
|---|---|
| 向量字段 | 单值 dense_vector;普通 HNSW 为1–4096维 float;OSQ HNSW 为64–4096维、Disk为1–4096维 float/bfloat16 |
| 索引 | HNSW 支持 m 和 ef_construction;3.0 可显式选择 OSQ HNSW 或 Disk 量化索引及原精度重排 |
| 相似度 | cosine、dot_product、l2_norm、max_inner_product |
| 查询 | query-level knn 和协调全局 top-k 的顶层 knn |
| 过滤 | 在 knn 搜索中使用 filter 预过滤 |
| Nested(3.0) | 原生HNSW、OSQ HNSW、OSQ Disk均支持父去重及inner_hits;顶层在knn内配置,DSL在外层nested配置 |
| 复合查询 | query-level knn 可放入 bool、dis_max、function_score 等复合查询 |
| 客户端 | 已验证 Elasticsearch 8.19 Java 和 Python 官方客户端 |
快速开始 #
创建原生 HNSW 索引:
PUT /my-vectors
{
"mappings": {
"properties": {
"title": {
"type": "text"
},
"embedding": {
"type": "dense_vector",
"dims": 4,
"index": true,
"similarity": "cosine",
"index_options": {
"type": "hnsw",
"m": 16,
"ef_construction": 100
}
}
}
}
}
写入一个向量:
PUT /my-vectors/_doc/1?refresh=true
{
"title": "Easysearch 向量搜索入门",
"embedding": [1.0, 0.0, 0.0, 0.0]
}
执行 HNSW 搜索:
POST /my-vectors/_search
{
"size": 10,
"query": {
"knn": {
"field": "embedding",
"query_vector": [1.0, 0.0, 0.0, 0.0],
"k": 10,
"num_candidates": 100
}
}
}
完整参数、过滤、得分、调优、迁移和客户端示例见原生 HNSW 搜索,mapping 约束见 dense_vector 字段类型。
选择向量接口 #
原生 HNSW、OSQ HNSW、OSQ Disk 与旧 k-NN 插件的选择如下;旧插件与原生接口不能混用:
| 接口 | 字段类型 | 查询语法 | 适用场景 |
|---|---|---|---|
| 普通 HNSW | dense_vector,index_options.type: "hnsw" | knn query、顶层 knn | 2.4.0 起内置,使用未量化浮点向量 |
| OSQ HNSW | dense_vector,兼容 API 值 index_options.type: "bbq_hnsw" | knn query、顶层 knn | 3.0 新增,使用量化候选检索及可配置的原精度重排 |
| OSQ Disk | dense_vector,兼容 API 值 index_options.type: "bbq_disk" | knn query、顶层 knn | 3.0 新增,使用磁盘簇检索、量化评分和可配置的原精度重排 |
| 旧 k-NN 插件 | knn_dense_float_vector、knn_sparse_bool_vector | knn_nearest_neighbors | 已有旧插件索引和兼容场景 |
旧插件需要单独安装,支持 knn_dense_float_vector、knn_sparse_bool_vector、LSH、exact 等既有接口。旧索引不会自动
转换为原生 HNSW;迁移时必须创建新索引并 Reindex。旧接口参考旧 k-NN 查询 API和
旧 k-NN 字段类型。
本章内容 #
| 页面 | 说明 |
|---|---|
| 原生 HNSW 搜索 | dense_vector、两种knn入口、3.0 nested/inner_hits及2.4.0版本边界 |
| OSQ HNSW 搜索 | 3.0 映射、写入、候选重排、nested 和向量存储恢复 |
| OSQ Disk 搜索 | 3.0 磁盘量化索引、访问目标、候选重排与迁移 |
| 向量字段建模 | 原生 HNSW 的维度、字段数量、写入、迁移和容量设计 |
| 旧插件向量搜索指南 | 旧插件的复合查询、function_score 和性能调优 |
| 旧插件向量字段建模 | 旧插件多向量设计、LSH/exact 模型选型与写入策略 |
| 旧 k-NN 查询 API | knn_nearest_neighbors 查询参数完整参考 |
| 向量搜索与语义搜索 | 向量搜索、语义搜索、复合查询与混合搜索的定位区分 |
相关资源 #
- dense_vector 字段类型
- 旧 k-NN 字段类型参考
- Embedding 服务集成
- 向量工作流
- 混合搜索:搜索管道 RRF(
hybrid_ranker_processor) - AI API 集成