[Elasticsearch] ES 的Mapping 設計在實際場景中應用

2021 年 12 月 24 日
筆記
[Elasticsearch], elasticsearch, ES, Mapping設計

背景

項目中有個需求是需要幾個欄位作為標籤，統計各個標籤的文檔數量，同時支援分詞後的全文檢索功能。

原有的mapping設計：

curl -XPUT //ip:9200/meta_es_metric_data -d'

{
  "settings": {
    "number_of_shards": 5,
    "number_of_replicas": 0
  },
  "mappings": {
    "meta_metric": {
      "properties": {
        "metricCode": {
          "type": "text",
           "analyzer" : "ik_max_word"
        },
        "metricTechType": {
          "type": "keyword"
        },
        "dataDomainName": {
          "type": "keyword"
        },
        "sceneClassify": {
          "type": "keyword"
        },
        "metricClassify": {
          "type": "keyword"
        }
      }
    }
  }
}'

其中keyword類型就是作為標籤統計欄位，因為其類型不支援分詞檢索，檢索時必須精確查找，我們嘗試把其類型修改成text,text本身就是支援分詞索引，但是修改後就報錯了：

Fielddata is disabled on text fields by default

經過查詢了解es一個欄位類型被設置為text，再進行聚合統計，就會報上面的問題.

那麼ES有沒有辦法對一個欄位支援分詞檢索同時可以進行統計的特性呢？其實就是ES是否可以一個欄位定義兩種類型： keyword 和 text？

答案是可以的.

ES欄位的fields屬性

通過fields屬性來讓當前欄位同時具備keyword和text類型

由於我們本身的欄位類型是keyword，那我在field 屬性中添加一個text，是否就滿足需求呢？如：

curl -XPUT //ip:9200/meta_es_metric_data -d'

{
  "settings": {
    "number_of_shards": 5,
    "number_of_replicas": 0
  },
  "mappings": {
    "meta_metric": {
      "properties": {
        "metricCode": {
          "type": "text",
           "analyzer" : "ik_max_word"
        },
        "metricTechType": {
          "type": "keyword"
          fields": {
                "raw": { 
                   "type":  "text"
             }
          }
        }
      }
    }
  }
}'

當用match 搜索metricTechType.raw, 分詞搜索是不行的。

之所以想這樣做是因為ES支援新增欄位、更新欄位，但是不支援欄位類型的修改

這條方法走不通，就比較複雜了，因為考慮修改欄位類型，我們只能重建mapping, 同時涉及歷史數據的載入處理。

具體步驟

1.重建索引，因es不支援修改欄位類型

curl -XPUT //ip:9200/meta_es_metric_data_new -d'

{
  "settings": {
    "number_of_shards": 5,
    "number_of_replicas": 0
  },
  "mappings": {
    "meta_metric": {
      "properties": {
        "metricCode": {
          "type": "text",
           "analyzer" : "ik_max_word"
        },
    
        "metricTechType": {
          "type": "text",
           "fields": {
                    "raw": { 
                      "type":  "keyword"
             }
          }
        },

        "dataDomainName": {
          "type": "text",
           "fields": {
                    "raw": { 
                   "type":  "keyword"
             }
          }
        },

        "sceneClassify": {
          "type": "text",
          "fields": {
                    "raw": { 
                   "type":  "keyword"
             }
          }
        },

        "metricClassify": {
          "type": "text",
          "fields": {
                    "raw": { 
                    "type":  "keyword"
             }
          }
        }
      }
    }
  }
}'

2.查看索引映射

curl -XGET  '//ip:9200/meta_es_metric_data_new/_mapping'

3.將數據載入到新的索引上（老索引的數據還是在的)

curl -XPOST //ip:9200/_reindex -d'
{
    "source":{
       "index": "meta_es_metric_data"
    },

    "dest": {
        "index": "meta_es_metric_data_new"
    }
    
}'

4.查看老索引數據:


curl -XGET '//ip:9200/meta_es_metric_data/_search?pretty' -H 'Content-Type: application/json' -d'
{
  "query": {
    "match": {
      "dataDomainName": "用戶"
    }
  }
}
'

5.刪除原索引，給新索引創建別名（為了程式碼不動）

curl -XDELETE //ip:9200/meta_es_metric_data

curl -XPOST //ip:9200/_aliases -d'
{
    "actions":[
        {
           "add": {
                "index": "meta_es_metric_data_new",
                "alias": "meta_es_metric_data"
           }

        }
    ]
    
}'

6.測試欄位是否支援全文檢索及聚合

curl -XGET '//ip:9200/meta_es_metric_data_new/_search?pretty' -H 'Content-Type: application/json' -d'
{
  "query": {
    "match": {
      "dataDomainName": "用戶"
    }
  },
  "sort": {
    "dataDomainName.raw": "asc" 
  },
  "aggs": {
    "Cities": {
      "terms": {
        "field": "dataDomainName.raw"
      }
    }
  }
}
'

總結

本文主要講解如何讓一個欄位支援不同方式索引，利用Fields屬性. 同時如何對歷史存量數據進行處理. keyword類型支援es精確查找以及聚合排序，text支援全文檢索，但是不能進行聚合、排序.

參考

Tags: [Elasticsearch] elasticsearch ES Mapping設計