向量搜索

向量搜索 #

Easysearch 2.4.0 内置基于 Lucene 的原生 HNSW 向量搜索。新建向量索引时,推荐使用 dense_vector mapping 和 knn 查询, 不需要安装 k-NN 插件。旧 k-NN 插件继续用于已有索引和兼容场景。

Easysearch 3.0 新增 OSQ HNSW 搜索,基于 Lucene 的 Optimized Scalar Quantization (优化的标量量化),用 1-bit 索引向量检索候选,再按配置以原精度向量重排。功能名为 Easysearch OSQ HNSW, 对外采用 ES 兼容参数 index_options.type: "bbq_hnsw";省略该配置仍使用普通 HNSW。

3.0 也支持 OSQ Disk 搜索,使用磁盘簇检索和量化候选评分,对外配置为 index_options.type: "bbq_disk"。Disk 与 HNSW 使用不同的索引结构和参数。

核心能力 #

能力内置向量搜索说明
向量字段单值 dense_vector;普通 HNSW 为1–4096维 float;OSQ HNSW 为64–4096维、Disk为1–4096维 float/bfloat16
索引HNSW 支持 m 和 ef_construction;3.0 可显式选择 OSQ HNSW 或 Disk 量化索引及原精度重排
相似度cosine、dot_product、l2_norm、max_inner_product
查询query-level knn 和协调全局 top-k 的顶层 knn
过滤在 knn 搜索中使用 filter 预过滤
Nested(3.0)原生HNSW、OSQ HNSW、OSQ Disk均支持父去重及inner_hits;顶层在knn内配置,DSL在外层nested配置
复合查询query-level knn 可放入 bool、dis_max、function_score 等复合查询
客户端已验证 Elasticsearch 8.19 Java 和 Python 官方客户端

快速开始 #

创建原生 HNSW 索引:

PUT /my-vectors
{
  "mappings": {
    "properties": {
      "title": {
        "type": "text"
      },
      "embedding": {
        "type": "dense_vector",
        "dims": 4,
        "index": true,
        "similarity": "cosine",
        "index_options": {
          "type": "hnsw",
          "m": 16,
          "ef_construction": 100
        }
      }
    }
  }
}

写入一个向量:

PUT /my-vectors/_doc/1?refresh=true
{
  "title": "Easysearch 向量搜索入门",
  "embedding": [1.0, 0.0, 0.0, 0.0]
}

执行 HNSW 搜索:

POST /my-vectors/_search
{
  "size": 10,
  "query": {
    "knn": {
      "field": "embedding",
      "query_vector": [1.0, 0.0, 0.0, 0.0],
      "k": 10,
      "num_candidates": 100
    }
  }
}

完整参数、过滤、得分、调优、迁移和客户端示例见原生 HNSW 搜索,mapping 约束见 dense_vector 字段类型。

选择向量接口 #

原生 HNSW、OSQ HNSW、OSQ Disk 与旧 k-NN 插件的选择如下;旧插件与原生接口不能混用:

接口字段类型查询语法适用场景
普通 HNSWdense_vector,index_options.type: "hnsw"knn query、顶层 knn2.4.0 起内置,使用未量化浮点向量
OSQ HNSWdense_vector,兼容 API 值 index_options.type: "bbq_hnsw"knn query、顶层 knn3.0 新增,使用量化候选检索及可配置的原精度重排
OSQ Diskdense_vector,兼容 API 值 index_options.type: "bbq_disk"knn query、顶层 knn3.0 新增,使用磁盘簇检索、量化评分和可配置的原精度重排
旧 k-NN 插件knn_dense_float_vector、knn_sparse_bool_vectorknn_nearest_neighbors已有旧插件索引和兼容场景

旧插件需要单独安装,支持 knn_dense_float_vector、knn_sparse_bool_vector、LSH、exact 等既有接口。旧索引不会自动 转换为原生 HNSW;迁移时必须创建新索引并 Reindex。旧接口参考旧 k-NN 查询 API和 旧 k-NN 字段类型。

本章内容 #

页面说明
原生 HNSW 搜索dense_vector、两种knn入口、3.0 nested/inner_hits及2.4.0版本边界
OSQ HNSW 搜索3.0 映射、写入、候选重排、nested 和向量存储恢复
OSQ Disk 搜索3.0 磁盘量化索引、访问目标、候选重排与迁移
向量字段建模原生 HNSW 的维度、字段数量、写入、迁移和容量设计
旧插件向量搜索指南旧插件的复合查询、function_score 和性能调优
旧插件向量字段建模旧插件多向量设计、LSH/exact 模型选型与写入策略
旧 k-NN 查询 APIknn_nearest_neighbors 查询参数完整参考
向量搜索与语义搜索向量搜索、语义搜索、复合查询与混合搜索的定位区分

相关资源 #