場(chǎng)景描述

某電商平臺(tái)希望提升商品搜索的準(zhǔn)確率，通過深度學(xué)習(xí)模型將商品圖片轉(zhuǎn)換為語義向量，并結(jié)合價(jià)格、名稱等屬性存儲(chǔ)至Elasticsearch集群。用戶可通過以下方式實(shí)現(xiàn)混合搜索：

• 純向量檢索：查找與目標(biāo)圖片最相似的商品。
• 過濾檢索：在指 定價(jià) 格區(qū)間內(nèi)查找相似商品。
• 組合查詢：結(jié)合關(guān)鍵詞與向量相似度進(jìn)行搜索。

操作流程

以下是使用Elasticsearch集群完成數(shù)據(jù)搜索的操作步驟。

開始遷移數(shù)據(jù)前，請(qǐng)務(wù)必按準(zhǔn)備工作指導(dǎo)完成必要操作。

1. 步驟一：創(chuàng)建Elasticsearch集群：創(chuàng)建一個(gè)非安全模式的Elasticsearch集群用于向量檢索。
2. 步驟二：登錄Kibana：登錄Kibana，訪問集群。
3. 步驟三：創(chuàng)建向量索引：創(chuàng)建向量索引，用于存儲(chǔ)向量數(shù)據(jù)。
4. 步驟四：導(dǎo)入向量數(shù)據(jù)：使用開源Elasticsearch API導(dǎo)入數(shù)據(jù)。
5. 步驟五：向量檢索：在Elasticsearch集群中對(duì)數(shù)據(jù)進(jìn)行純向量搜索和組合查詢。
6. 步驟六：刪除索引：當(dāng)不再使用對(duì)應(yīng)的索引數(shù)據(jù)時(shí)，可以刪除對(duì)應(yīng)索引節(jié)約資源。

準(zhǔn)備工作

已注冊(cè)華為賬號(hào)并開通華為云，進(jìn)行了實(shí)名認(rèn)證，且在使用 云搜索服務(wù) 前檢查賬號(hào)狀態(tài)，賬號(hào)不能處于欠費(fèi)或凍結(jié)狀態(tài)。

步驟一：創(chuàng)建Elasticsearch集群

創(chuàng)建一個(gè)非安全模式的Elasticsearch集群用于向量檢索。

1. 登錄 云搜索 服務(wù)管理控制臺(tái)。
2. 在左側(cè)導(dǎo)航欄選擇“集群管理 > Elasticsearch”。
3. 在集群列表右上角，單擊“創(chuàng)建集群”，默認(rèn)進(jìn)入新版創(chuàng)建頁面。
   圖1 新版創(chuàng)建頁面
   
4. 集群配置，選擇集群類型和版本。

   表2 集群配置

   參數(shù)	示例	說明
   集群類型	Elasticsearch	選擇“Elasticsearch”。
   集群版本	7.10.2	選擇所需的集群版本，支持的版本以界面可選項(xiàng)為準(zhǔn)。 Elasticsearch集群僅7.6.2和7.10.2版本自帶 CS S向量搜索引擎，如果要使用CSS向量數(shù)據(jù)庫功能，則必須選擇這兩個(gè)版本。

5. 基礎(chǔ)配置，選擇當(dāng)前區(qū)域、可用區(qū)和計(jì)費(fèi)模式。

   表3 基礎(chǔ)配置

   參數(shù)	示例	說明
   當(dāng)前區(qū)域	華北-北京四	選擇集群的所在區(qū)域。區(qū)域指集群的物理數(shù)據(jù)中心所在的位置，不同區(qū)域的云服務(wù)產(chǎn)品之間內(nèi)網(wǎng)互不相通。建議就近選擇靠近您業(yè)務(wù)的區(qū)域，可減少網(wǎng)絡(luò)時(shí)延，提高訪問速度。
   可用區(qū)	可用區(qū)1	選擇集群工作區(qū)域下關(guān)聯(lián)的可用區(qū)?？捎脜^(qū)指在同一區(qū)域下，電力、網(wǎng)絡(luò)隔離的物理區(qū)域，可用區(qū)之間內(nèi)網(wǎng)互通，不同可用區(qū)之間物理隔離。 最多支持配置3個(gè)可用區(qū)。
   計(jì)費(fèi)模式	按需計(jì)費(fèi)	選擇集群的計(jì)費(fèi)模式，集群支持包年/包月和按需計(jì)費(fèi)兩種模式。 包年/包月：預(yù)付費(fèi)模式，按照訂單的購(gòu)買周期結(jié)算。 按需計(jì)費(fèi)：后付費(fèi)模式，按照集群實(shí)際使用時(shí)長(zhǎng)計(jì)費(fèi)，計(jì)費(fèi)周期為一小時(shí)，不足一小時(shí)按一小時(shí)計(jì)費(fèi)。

6. 配置數(shù)據(jù)節(jié)點(diǎn)。
   數(shù)據(jù)節(jié)點(diǎn)用于存儲(chǔ)集群數(shù)據(jù)，當(dāng)集群未啟用Master節(jié)點(diǎn)和Client節(jié)點(diǎn)時(shí)，數(shù)據(jù)節(jié)點(diǎn)將同時(shí)承擔(dān)集群管理、存儲(chǔ)數(shù)據(jù)、提供接入集群和分析數(shù)據(jù)的職責(zé)。此時(shí)，為保證集群中數(shù)據(jù)的穩(wěn)定性，建議設(shè)置節(jié)點(diǎn)數(shù)量大于等于3個(gè)。

   圖2 配置數(shù)據(jù)節(jié)點(diǎn)
   

   表4 數(shù)據(jù)節(jié)點(diǎn)配置

   參數(shù)	示例	說明
   CPU架構(gòu)	X86計(jì)算	選擇數(shù)據(jù)節(jié)點(diǎn)的CPU架構(gòu)。支持“X86計(jì)算”和“鯤鵬計(jì)算”，具體支持的類型由實(shí)際區(qū)域環(huán)境決定。
   節(jié)點(diǎn)規(guī)格	ess.spec-4u8g	選擇數(shù)據(jù)節(jié)點(diǎn)的規(guī)格。單擊“選擇節(jié)點(diǎn)規(guī)格”，在彈框中選擇合適的規(guī)格。 規(guī)格列表的“vCPUs | 內(nèi)存”呈現(xiàn)了規(guī)格的CPU核數(shù)和內(nèi)存，“建議存儲(chǔ)范圍”呈現(xiàn)了該規(guī)格支持的存儲(chǔ)容量。 不同區(qū)域支持的節(jié)點(diǎn)規(guī)格不同，請(qǐng)以實(shí)際環(huán)境為準(zhǔn)。
   節(jié)點(diǎn)存儲(chǔ)類型和容量	高I/O 100GB	選擇數(shù)據(jù)節(jié)點(diǎn)的存儲(chǔ)類型和容量。 當(dāng)“節(jié)點(diǎn)規(guī)格”選擇的是 云硬盤 時(shí)，需要選擇云硬盤類型，并根據(jù)業(yè)務(wù)需要配置存儲(chǔ)容量。 不同區(qū)域支持的云硬盤類型不同，請(qǐng)以實(shí)際環(huán)境為準(zhǔn)。 節(jié)點(diǎn)存儲(chǔ)容量的取值范圍由所選的“節(jié)點(diǎn)規(guī)格”決定，且必須是20的倍數(shù)。 節(jié)點(diǎn)存儲(chǔ)容量不支持就地縮容，請(qǐng)?jiān)u估好業(yè)務(wù)量，合理選擇。 當(dāng)“節(jié)點(diǎn)規(guī)格”選擇的是本地盤時(shí)，無需配置節(jié)點(diǎn)存儲(chǔ)類型，節(jié)點(diǎn)存儲(chǔ)容量是固定值，由選擇的本地盤規(guī)格決定。
   節(jié)點(diǎn)數(shù)量	1	設(shè)置集群中的數(shù)據(jù)節(jié)點(diǎn)個(gè)數(shù)。 當(dāng)集群配置了Master節(jié)點(diǎn)，則數(shù)據(jù)節(jié)點(diǎn)的節(jié)點(diǎn)數(shù)量支持1~200。 當(dāng)集群未配置Master節(jié)點(diǎn)，則數(shù)據(jù)節(jié)點(diǎn)的節(jié)點(diǎn)數(shù)量支持1~32。 建議數(shù)據(jù)節(jié)點(diǎn)的節(jié)點(diǎn)數(shù)量大于或等于3，以提升集群可用性。

7. Master節(jié)點(diǎn)、Client節(jié)點(diǎn)和冷數(shù)據(jù)節(jié)點(diǎn)均保持默認(rèn)值，不啟用即可。
   • Master節(jié)點(diǎn)負(fù)責(zé)管理集群中所有節(jié)點(diǎn)任務(wù)，如集群元數(shù)據(jù)、索引及分片分配，保障大規(guī)模集群穩(wěn)定運(yùn)行，適用于需高可用性與集中管控的場(chǎng)景。
   • Client節(jié)點(diǎn)負(fù)責(zé)接收并協(xié)調(diào)外部請(qǐng)求（如搜索和寫入），優(yōu)化高負(fù)載查詢和集群擴(kuò)展性，適用于處理復(fù)雜查詢和大規(guī)模分片場(chǎng)景。
   • 冷數(shù)據(jù)節(jié)點(diǎn)用于存儲(chǔ)查詢時(shí)延要求不高且數(shù)據(jù)量大的歷史數(shù)據(jù)，適用于大規(guī)模數(shù)據(jù)集存儲(chǔ)，有利于優(yōu)化存儲(chǔ)成本和查詢性能。
8. 網(wǎng)絡(luò)配置，設(shè)置集群的 VPC 、IP地址和安全組。
   圖3 網(wǎng)絡(luò)配置
   

   表5 網(wǎng)絡(luò)配置

   參數(shù)	示例	說明
   虛擬私有云	vpc-default	指定集群使用的 虛擬專用網(wǎng)絡(luò) ，可以對(duì)不同業(yè)務(wù)進(jìn)行網(wǎng)絡(luò)隔離
   子網(wǎng)	subnet-default	指定集群使用的子網(wǎng)，通過子網(wǎng)提供與其他網(wǎng)絡(luò)隔離的、可以獨(dú)享的網(wǎng)絡(luò)資源，以提高網(wǎng)絡(luò)安全。 選擇當(dāng)前虛擬 私有云 下的子網(wǎng)。
   IPv4地址	自動(dòng)分配IPv4地址	分配集群節(jié)點(diǎn)的IPv4地址。
   安全組	default	指定集群使用的安全組，安全組起著虛擬防火墻的作用，為集群提供安全的網(wǎng)絡(luò)訪問控制策略。 所選安全組的入方向規(guī)則中，“協(xié)議端口”必須為“全部”或包含9200的端口范圍，否則外部業(yè)務(wù)訪問可能會(huì)異常。

9. 安全模式配置。關(guān)閉安全模式，本集群僅做入門指導(dǎo)使用，無需啟用安全模式。
   • 安全模式的集群會(huì)對(duì)集群進(jìn)行通訊加密和安全認(rèn)證。
   • 非安全模式的集群無需安全認(rèn)證即可訪問，并且采用HTTP明文傳輸數(shù)據(jù)。建議確認(rèn)訪問環(huán)境的安全性，勿將訪問接口暴露到公網(wǎng)環(huán)境上。
10. 集群管理配置，設(shè)置集群名稱、企業(yè)項(xiàng)目等信息。

    表6 集群管理

    參數(shù)	示例	說明
    集群名稱	Sample-ESCluster	自定義集群名稱。
    添加描述	不添加	為集群添加描述，方便用戶識(shí)別。
    企業(yè)項(xiàng)目	default	給集群綁定一個(gè)企業(yè)項(xiàng)目。 企業(yè)項(xiàng)目是一種云資源管理方式，企業(yè)項(xiàng)目管理服務(wù)提供統(tǒng)一的云資源按項(xiàng)目管理，以及項(xiàng)目?jī)?nèi)的資源管理、成員管理，默認(rèn)項(xiàng)目為“default”。 如果開通了“企業(yè)項(xiàng)目”，請(qǐng)從下拉列表中選擇所在的企業(yè)項(xiàng)目。
    標(biāo)簽	不添加	為集群添加標(biāo)簽，方便用戶識(shí)別和管理擁有的集群資源。 每個(gè)集群最多可以設(shè)置20個(gè)標(biāo)簽。

11. 更多配置，單擊展開更多集群高級(jí)配置，根據(jù)業(yè)務(wù)需要設(shè)置自動(dòng)創(chuàng)建集群快照、終端節(jié)點(diǎn)服務(wù)等功能。本集群僅做入門指導(dǎo)使用，無需更多配置，保持默認(rèn)不啟用即可。
12. 單擊“立即創(chuàng)建”，開始創(chuàng)建集群。
13. 返回集群列表，查看新建的集群。當(dāng)集群創(chuàng)建成功后，“集群狀態(tài)”會(huì)變?yōu)?span id="ltp5lhz" class="parmname" id="ZH-CN_TOPIC_0000002328957437__zh-cn_topic_0000001995777894_parmname163135175110">“可用”。
    圖4 查看集群狀態(tài)
    

步驟二：登錄Kibana

集群創(chuàng)建成功后，通過Kibana訪問Elasticsearch集群。

1. 在Elasticsearch集群列表，選擇已創(chuàng)建的“Sample-ESCluster”集群，單擊操作列中的“Kibana”進(jìn)入Kibana控制臺(tái)。
2. 在Kibana的左側(cè)導(dǎo)航中選擇“Dev Tools”，進(jìn)入Console界面。
   控制臺(tái)左側(cè)是命令輸入框，其右側(cè)的三角形圖標(biāo)為執(zhí)行按鈕，右側(cè)區(qū)域則顯示執(zhí)行結(jié)果。

   圖5 Console界面
   

步驟三：創(chuàng)建向量索引

在Elasticsearch集群中創(chuàng)建向量索引，用于存儲(chǔ)向量數(shù)據(jù)。

PUT /my_store 
{
  "settings": {       		// 索引級(jí)別的配置
    "index": {
      "vector": true  		// 啟用向量檢索功能
    }
  },
  "mappings": {       		// 定義文檔字段結(jié)構(gòu)和類型
    "properties": {
      "productName": {    	// 商品名稱字段（文本類型）
        "type": "text",   	// 標(biāo)準(zhǔn)文本類型，支持全文搜索
        "analyzer": "ik_smart"  // 使用ik_smart中文分詞器進(jìn)行智能分詞
      },
      "image_vector": {   	// 圖像特征向量字段
        "type": "vector", 	// 聲明為向量類型
        "dimension": 2,   	// 向量維度（示例簡(jiǎn)化使用2維，實(shí)際應(yīng)匹配模型輸出維度，常用512/768等高維向量）
        "indexing": true, 	// 啟用向量索引以支持相似度搜索
        "algorithm": "GRAPH",  	// 使用圖算法構(gòu)建近似最近鄰(ANN)索引
        "metric": "euclidean"  	// 使用歐氏距離作為相似度度量標(biāo)準(zhǔn)
      },
      "price": {                // 商品價(jià)格字段
        "type": "float"         // 浮點(diǎn)數(shù)類型，支持范圍查詢和數(shù)值計(jì)算
      }
    }
  }
}

返回結(jié)果如下所示：

{
  "acknowledged" : true,
  "shards_acknowledged" : true,
  "index" : "my_store"
}

步驟四：導(dǎo)入向量數(shù)據(jù)

Elasticsearch集群支持通過多種方式導(dǎo)入數(shù)據(jù)，本示例選擇在Kibana使用開源Elasticsearch API導(dǎo)入數(shù)據(jù)。

POST /my_store/_bulk
{"index":{}}
{"productName":"2017秋裝新款文藝襯衫女裝","image_vector":[1.0, 1.0],"price":100.0}
{"index":{}}
{"productName":"2017秋裝新款文藝襯衫女裝","image_vector":[1.0, 2.0],"price":200.0}
{"index":{}}
{"productName":"2017秋裝新款文藝襯衫女裝","image_vector":[1.0, 3.0],"price":300.0}
{"index":{}}
{"productName":"2018春裝新款牛仔褲女裝","image_vector":[10.0, 20.0],"price":100.0}
{"index":{}}
{"productName":"2018春裝新款牛仔褲女裝","image_vector":[10.0, 30.0],"price":200.0}
{"index":{}}
{"productName":"2017春裝新款休閑褲女裝","image_vector":[100.0, 200.0],"price":100.0}
{"index":{}}
{"productName":"2017春裝新款休閑褲女裝","image_vector":[100.0, 300.0],"price":200.0}

當(dāng)返回結(jié)果信息中“errors”字段的值為“false”時(shí)，表示導(dǎo)入數(shù)據(jù)成功。

步驟五：向量檢索

在Elasticsearch集群中對(duì)數(shù)據(jù)進(jìn)行純向量檢索和組合查詢。

• 純向量檢索

  假設(shè)用戶提供了一張商品圖片，想要查找相似商品。首先，集群通過向量化模型獲得查詢圖片的特征向量，然后使用向量查詢語法進(jìn)行相似度查詢。

  在Kibana中執(zhí)行如下搜索命令：

  GET /my_store/_search
  {
    "size": 3,  			// 要求返回前3個(gè)最相關(guān)的結(jié)果
    "_source": { 
      "excludes": "image_vector"  // 排除返回結(jié)果中的image_vector字段
    }, 
    "query": {
      "vector": {  		// 啟用向量搜索功能
        "image_vector": {  	// 指定目標(biāo)向量字段名稱（需與索引映射一致）
          "vector": [1.0, 2.0],  	// 待查詢的特征向量（此處為簡(jiǎn)化示例，實(shí)際維度應(yīng)與模型輸出一致）
          "topk": 3  	        // 返回最相似的3個(gè)候選結(jié)果
        }
      }
    }
  }

  返回結(jié)果如下所示，Elasticsearch根據(jù)查詢向量與存儲(chǔ)的向量數(shù)據(jù)之間的相似度得分進(jìn)行結(jié)果的排序。

  {
    "took" : 1,  		// 查詢耗時(shí)1毫秒
    "timed_out" : false,  // 未發(fā)生查詢超時(shí)
    "_shards" : {  	// 分片執(zhí)行情況
      "total" : 1,  	// 總分片數(shù)
      "successful" : 1,  	// 成功執(zhí)行分片數(shù)
      "skipped" : 0,  	// 跳過分片數(shù)
      "failed" : 0  	// 失敗分片數(shù)
    },
    "hits" : {
      "total" : {  	// 匹配文檔總數(shù)
        "value" : 3,  	// 精確匹配3條（eq表示精確計(jì)數(shù)）
        "relation" : "eq"
      },
      "max_score" : 1.0,  // 最高相似度得分（取決于向量空間的距離算法）
      "hits" : [  	// 命中文檔列表（按相似度得分降序排列）
        {
          "_index" : "my_store",          // 文檔所屬索引
          "_type" : "_doc",  		// 文檔類型，固定取值
          "_id" : "JPL5r5YBWkpNKdSUkRc9",  // 文檔唯一標(biāo)識(shí)符
          "_score" : 1.0,  	// 當(dāng)前文檔與查詢向量的相似度得分
          "_source" : {  			// 存儲(chǔ)的原始文檔數(shù)據(jù)（已過濾image_vector）
            "price" : 200.0,
            "productName" : "2017秋裝新款文藝襯衫女裝"
          }
        },
        // ...（其他相似結(jié)果結(jié)構(gòu)相同，分?jǐn)?shù)遞減）
      ]
    }
  }

• 混合搜索

  假設(shè)用戶提供了一張商品圖片，想要查找相似商品，并且限定了價(jià)格范圍?？梢酝ㄟ^混合查詢的語法實(shí)現(xiàn)向量檢索+范圍過濾。

  在Kibana中執(zhí)行如下搜索命令：

  GET /my_store/_search
  {
    "size": 3,                     // 要求返回前3個(gè)最相關(guān)的結(jié)果
    "_source": { 
      "excludes": "image_vector"   // 排除返回結(jié)果中的image_vector字段
    }, 
    "query": {
      "vector": {                  // 啟用向量搜索功能
        "image_vector": {          // 指定目標(biāo)向量字段名稱（需與索引映射一致）
          "vector": [1.0, 2.0],    // 待查詢的特征向量（此處為簡(jiǎn)化示例，實(shí)際維度應(yīng)與模型輸出一致）
          "topk": 3,               // 返回最相似的3個(gè)候選結(jié)果
          "filter": {              // 混合過濾條件（先執(zhí)行過濾再計(jì)算相似度）
            "range": {             // 價(jià)格范圍過濾
              "price": {
                "lte": 300         // 僅保留價(jià)格小于或等于300元的商品
              }
            }
          }
        }
      }
    }
  }

  查詢流程：在索引中篩選出所有價(jià)格小于或等于300元的商品，計(jì)算過濾后商品的image_vector字段與待查詢向量的相似度，按相似度分?jǐn)?shù)降序排列（score字段），取top3相似度最高的商品，移除image_vector字段返回，保留商品價(jià)格和名稱等核心信息。

  返回結(jié)果如下所示：

  {
    "took" : 1,			// 查詢耗時(shí)1毫秒
    "timed_out" : false,	// 查詢耗時(shí)1毫秒
    "_shards" : {			// 分片執(zhí)行情況
      "total" : 1,        // 總分片數(shù)
      "successful" : 1,   // 成功執(zhí)行分片數(shù)
      "skipped" : 0,      // 跳過分片數(shù)
      "failed" : 0        // 失敗分片數(shù)
    },
    "hits" : {
      "total" : {			// 匹配文檔總數(shù)
        "value" : 3,      // 精確匹配3條（eq表示精確計(jì)數(shù)）
        "relation" : "eq"
      },
      "max_score" : 1.0,  // 最高相似度得分（取決于向量空間的距離算法）
      "hits" : [    		// 命中文檔列表（按相似度降序排列）
        {
          "_index" : "my_store",  // 文檔所屬索引
          "_type" : "_doc",       // 文檔類型
          "_id" : "JPL5r5YBWkpNKdSUkRc9", // 文檔唯一ID
          "_score" : 1.0,         // 當(dāng)前文檔與查詢向量的相似度得分（歸一化后）
          "_source" : {           // 存儲(chǔ)的原始文檔數(shù)據(jù)（已過濾image_vector）
            "price" : 200.0,
            "productName" : "2017秋裝新款文藝襯衫女裝"
          }
        },
        // ...（其他相似結(jié)果結(jié)構(gòu)相同，分?jǐn)?shù)遞減）
      ]
    }
  }

步驟六：刪除索引

當(dāng)不再使用對(duì)應(yīng)的索引數(shù)據(jù)時(shí)，可以在Kibana中執(zhí)行如下命令刪除對(duì)應(yīng)索引，避免造成資源浪費(fèi)。

DELETE /my_store

返回結(jié)果如下所示。

{
  "acknowledged" : true
}

后續(xù)步驟

已完成數(shù)據(jù)搜索業(yè)務(wù)，無需繼續(xù)使用集群時(shí)，可刪除集群釋放資源。

由于集群刪除后，數(shù)據(jù)無法恢復(fù)，請(qǐng)謹(jǐn)慎操作。

1. 登錄云搜索服務(wù)管理控制臺(tái)。
2. 在左側(cè)導(dǎo)航欄選擇“集群管理 > Elasticsearch”。
3. 在集群列表，選擇“Sample-ESCluster”集群，在操作列單擊“更多”>“刪除”。
4. 在彈出的確認(rèn)對(duì)話框中，輸入“DELETE”，單擊“確定”完成操作。

相關(guān)文檔

• 詳細(xì)了解CSS向量數(shù)據(jù)庫的使用，請(qǐng)參見向量檢索特性介紹。
• 了解CSS向量數(shù)據(jù)庫的性能比較，請(qǐng)參見Elasticsearch向量檢索的性能測(cè)試和比較。
• 了解CSS向量數(shù)據(jù)庫和搜索大模型相結(jié)合實(shí)現(xiàn)AI搜索功能，請(qǐng)參見Elasticsearch AI搜索介紹。