應(yīng)用場(chǎng)景

方案架構(gòu)

圖1 語義檢索架構(gòu)圖

數(shù)據(jù)寫入：使用Elasticsearch原生Bulk接口寫入數(shù)據(jù)，搜索大模型插件自動(dòng)調(diào)用Embedding模型將文本轉(zhuǎn)換為向量，生成的語義向量存儲(chǔ)在CSS向量 數(shù)據(jù)庫 中。

語義查詢：使用Elasticsearch原生multi_match查詢語句，搜索大模型插件自動(dòng)轉(zhuǎn)換查詢語句為語義向量查詢，執(zhí)行多路召回（關(guān)鍵詞+向量相似度），調(diào)用精排模型對(duì)結(jié)果進(jìn)行二次排序，返回最終結(jié)果。

方案優(yōu)勢(shì)

• 提升搜索精度：通過語義理解與精排實(shí)現(xiàn)多路召回與重排序，提升結(jié)果相關(guān)性。
• 兼容開源生態(tài)：兼容開源Elasticsearch，適配multi_match語句。
• 易用性高：通過插件方式實(shí)現(xiàn)，僅需配置模型服務(wù)和索引，無需改造業(yè)務(wù)代碼。

約束限制

Elasticsearch AI搜索功能依賴Embedding節(jié)點(diǎn)，該節(jié)點(diǎn)的配置采用白名單機(jī)制，如需試用，請(qǐng)?zhí)峤?a target="_blank" rel="noopener noreferrer">工單申請(qǐng)權(quán)限。

前提條件

• 確認(rèn)Elasticsearch集群滿足以下條件。
  • 集群狀態(tài)：可用
  • 集群版本：7.10.2（在基本信息頁面查看“集群版本”）
  • 配置要求：已配置Embedding節(jié)點(diǎn)（在依賴服務(wù)頁面查看是否存在“可用”狀態(tài)的獨(dú)享版集群）
• 獲取獨(dú)享版集群的訪問地址。
  1. 登錄云搜索服務(wù)管理控制臺(tái)。
  2. 在左側(cè)導(dǎo)航欄，選擇“搜索大模型 > 獨(dú)享版集群”。
  3. 在集群列表，選擇目標(biāo)集群，在“內(nèi)網(wǎng)訪問地址”列獲取并記錄集群的內(nèi)網(wǎng)IP地址，后續(xù)配置模型服務(wù)需要使用。

     一般是“<host>:<port>”或“<host>:<port>,<host>:<port>”樣式。

     圖2 獲取集群訪問地址
     

步驟一：登錄Kibana

登錄Kibana進(jìn)入命令執(zhí)行頁面。Elasticsearch集群支持多種客戶端訪問，本文僅以CSS服務(wù)集成的Kibana為例介紹配置指導(dǎo)。

1. 登錄云搜索服務(wù)管理控制臺(tái)。
2. 在左側(cè)導(dǎo)航欄，選擇“集群管理 > Elasticsearch”。
3. 在集群列表，選擇目標(biāo)集群，單擊操作列的“Kibana”，登錄Kibana。
4. 在Kibana左側(cè)導(dǎo)航欄選擇“Dev Tools”，進(jìn)入操作頁面。

   控制臺(tái)左側(cè)是命令輸入框，其右側(cè)的三角形圖標(biāo)為執(zhí)行按鈕，右側(cè)區(qū)域則顯示執(zhí)行結(jié)果。

步驟二：?jiǎn)⒂盟阉鞔竽Ｐ筒寮?/h4>

在Kibana中執(zhí)行以下命令，啟用搜索大模型插件。

PUT _cluster/settings
{
  "persistent": {
    "pg_search.inference.enable": true
  }
}

返回如下信息，表示成功啟用搜索大模型插件。

{
  "acknowledged" : true,
  "persistent" : {
    "pg_search" : {
      "inference" : {
        "enable" : "true"
      }
    }
  },
  "transient" : { }
}

步驟三：配置模型服務(wù)

1. 在Kibana中執(zhí)行以下命令，配置Embedding模型服務(wù)。

   PUT _inference/model_service/pangu_vector  // pangu_vector為模型服務(wù)名稱，支持自定義
   {
     "description": "搜索大模型-語義向量化模型", // 服務(wù)描述信息
     "service_config": {
       "semantic_vector": {          // 模型類型
         "service_urls": [           // Embedding模型服務(wù)的訪問地址列表（數(shù)組格式）
           "http://{endpoint}/app/search/v1/vector" // 替換{endpoint}為獨(dú)享版集群的訪問地址，例如訪問地址為10.20.30.40:18088，則此處應(yīng)填寫"http://10.20.30.40:18088/app/search/v1/vector"
         ],
         "algorithm": "GRAPH",      // 使用圖算法進(jìn)行近似最近鄰搜索
         "metric": "inner_product", // 相似度度量方式：內(nèi)積
         "dimension": "768"        // 向量維度768
       }
     }
   }

2. 在Kibana中執(zhí)行以下命令，配置Rerank模型服務(wù)。

   PUT _inference/model_service/pangu_ranking  // pangu_ranking為模型服務(wù)名稱，支持自定義
   {
     "description": "搜索大模型-精排模型", // 服務(wù)描述信息
     "service_config": {
        "reorder": {                 // 模型類型
         "service_urls": [           // Rerank模型服務(wù)的訪問地址列表（數(shù)組格式）
           "http://{endpoint}/app/search/v1/rerank" // 替換{endpoint}為獨(dú)享版集群的訪問地址，例如訪問地址為10.20.30.40:18088，則此處應(yīng)填寫"http://10.20.30.40:18088/app/search/v1/rerank"
         ]
       }
     }
   }

更多配置參數(shù)及說明請(qǐng)參見配置模型服務(wù)。

步驟四：創(chuàng)建向量索引

在Kibana中執(zhí)行以下命令，創(chuàng)建向量索引，如pangu_index，并將上一步配置的Embedding和Rerank模型服務(wù)關(guān)聯(lián)到索引中。

PUT pangu_index
{
  "aliases": {                    // 定義索引別名
    "pangu_wiki": {}              // 通過pangu_wiki別名訪問索引
  },
  "mappings": {                   // 字段映射定義
    "properties": {
      "title": {                  // 文檔標(biāo)題字段
        "type": "text"            // 全文檢索類型
      },
      "desc": {                   // 描述字段
        "type": "text"            // 全文檢索類型
      },
      "content": {                // 正文內(nèi)容字段
        "type": "text"            // 全文檢索類型
      },
      "author": {                 // 作者字段
        "type": "keyword"         // 精確值類型，適合過濾和聚合
      }
    }
  },
  "settings": {                   // 索引設(shè)置
    "index.vector": true,         // 啟用向量索引功能
    "index.inference.semantic_search_enabled": true, // 啟用語義搜索
    "index.inference.field": [    // 參與向量化的字段及權(quán)重
      "title:100",               // 標(biāo)題字段，權(quán)重100
      "desc:80",                 // 描述字段，權(quán)重80
      "content:30"               // 內(nèi)容字段，權(quán)重30
    ],
    "index.inference.embedding_model": "pangu_vector", // Embedding模型服務(wù)的名稱
    "index.inference.reorder_enabled": true, // 啟用結(jié)果重排序
    "index.inference.reorder_model": "pangu_ranking", // 重排序模型服務(wù)的名稱
    "index.inference.semantic_search_type": "vector", // 語義搜索類型為向量搜索
    "number_of_shards": 3         // 索引分片數(shù)為3（根據(jù)數(shù)據(jù)量調(diào)整）
  }
}

步驟五：導(dǎo)入數(shù)據(jù)

在Kibana中，使用Bulk API批量導(dǎo)入數(shù)據(jù)到上一步創(chuàng)建的索引pangu_index。

// 操作類型為index(創(chuàng)建/更新文檔)，并指定文檔ID為1
// title字段值（文本類型，將被向量化），desc字段值（文本類型，將被向量化），content字段值（文本類型，將被向量化），author字段值（關(guān)鍵字類型，用于精確匹配）
PUT pangu_index/_bulk
{"index":{"_id":"1"}}
{"title":"熱帶雨林","desc":"豐富的熱帶植物世界","content":"生態(tài)系統(tǒng)","author":"李雷"}

批量導(dǎo)入說明：

• 向量生成過程：系統(tǒng)會(huì)自動(dòng)將title(權(quán)重100)、desc(權(quán)重80)、content(權(quán)重30)拼接，調(diào)用pangu_vector模型生成768維的語義向量，向量數(shù)據(jù)存儲(chǔ)在_inference.semantic_vector字段。
• 如果某條文檔失敗，不會(huì)影響其他文檔的導(dǎo)入，Bulk API的詳細(xì)使用說明請(qǐng)參見Bulk API。
• 性能建議：大批量導(dǎo)入時(shí)建議每批次500~1000個(gè)文檔。
• 數(shù)據(jù)格式建議：
  • 文本字段建議做基礎(chǔ)清洗，去除特殊字符等。
  • 關(guān)鍵業(yè)務(wù)字段建議設(shè)置非空校驗(yàn)。
  • 中文文本不需要預(yù)先分詞，大模型會(huì)自動(dòng)處理。

步驟六：語義檢索

在Kibana中執(zhí)行以下命令，使用multi_match語句在pangu_index索引中執(zhí)行語義檢索。

GET pangu_index/_search
{
  // 控制返回結(jié)果的字段內(nèi)容
  "_source": {
    "excludes": [ 
      "_inference"  // 排除返回結(jié)果中可能包含敏感或冗余信息的字段
    ]
  },

  // 查詢主體部分
  "query": {
    // 布爾查詢
    "bool": {
      // 必須滿足的條件列表（邏輯AND）
      "must": [
        {
          // 多字段匹配查詢，目標(biāo)字段匹配時(shí)會(huì)自動(dòng)轉(zhuǎn)換為語義向量搜索
          "multi_match": {
            "query": "橡膠樹在哪里",  // 用戶輸入的搜索關(guān)鍵詞/句
            "fields": ["title","content","desc"]  // 搜索的目標(biāo)字段列表,必須和索引配置的index.inference.field字段對(duì)應(yīng)
          }
        }
      ]
      // 可選添加其他邏輯條件:
      // "filter": [...]    // 不影響評(píng)分的過濾條件
      // "should": [...]    // 邏輯OR條件
      // "must_not": [...]  // 排除條件
    }
  }

  // 可選添加搜索優(yōu)化參數(shù):
  // "size": 20,            // 返回結(jié)果數(shù)量
  // "explain": true,       // 顯示相關(guān)性評(píng)分計(jì)算細(xì)節(jié)
  // "highlight": { ... }   // 關(guān)鍵詞高亮配置
}