Elasticsearch從入門到放棄：瞎說Mapping

2020 年 8 月 4 日
筆記
elasticsearch

前面我們聊了 Elasticsearch 的索引、搜索和分詞器，今天再來聊另一個基礎內容—— Mapping。

Mapping 在 Elasticsearch 中的地位相當於關係型資料庫中的 schema，它可以用來定義索引中欄位的名字、定義欄位的數據類型，還可以用來做一些欄位的配置。從 Elasticsearch 7.0開始，Mapping 中不在乎需要定義 type 資訊了，具體原因可以看官方的解釋。

欄位的數據類型

我們剛剛提到 Mapping 中可以定義欄位的數據類型，這可能是 Mapping 最常用的功能了，所以我們先來看看 Elasticsearch 都支援哪些數據類型。

簡單類型：text、keyword、date、long、double、boolean、ip
複雜類型：對象類型、嵌套類型
特殊類型：用於描述地理位置的 geo_point、geo_shape

Elasticsearch 支援的數據類型遠不止這些，由於篇幅原因，這裡就不一一列舉了。我找幾個工作中常見的來介紹一下。

首先就是字元串了，Elasticsearch 中的字元串有 text 和 keyword 兩種。其中 text 類型的字元串是可以被全文檢索的，它會被分詞器作用，

PUT my_index
{
  "mappings": {
    "properties": {
      "full_name": {
        "type":  "text"
      }
    }
  }
}

在設置欄位類型為 text 時，還可以利用一些參數對這個欄位進行更進一步的訂製。

index：標記這個欄位是否能被搜索，默認是 true

search_analyzer：被搜索時所使用的分詞器，默認使用 setting 中設置的分詞器

fielddata：欄位是否允許在記憶體中進行排序、聚合，默認是 false

meta：關於欄位的一些元數據

像一些id、郵箱、域名這樣的欄位，我們就需要使用 keyword 類型了。因為 keyword 類型可以支援排序、聚合，並且只能支援精確查詢。

有些同學可能會把 ID 設置為數字類型，這也是沒問題的，數字類型和 keyword 各有各的好處，使用數字類型可以進行範圍查找，而使用 keyword 類型則有更高的查詢效率。具體用哪種還要看使用場景。

日期類型在 Elasticsearch 中有三種表現形式

可以格式化成日期類型的字元串，如"2020-07-26"和"2015/01/01 12:10:30"這樣的
毫秒級時間戳用 long 類型表示
秒級時間戳用 integer 類型表示

在 Elasticsearch 內部，日期類型是以 long 類型的毫秒級時間戳存儲的，時區使用的是0時區。

我們可以自定義時間格式，默認使用的是strict_date_optional_time||epoch_millis

strict_date_optional_time_nanos是通用的日期格式解析，至少要包含年份，如果要包含時間，則用T分隔，例如yyyy-MM-dd'T'HH:mm:ss.SSSSSSZ或 yyyy-MM-dd。

如果想要同時支援多種日期格式，可以使用format欄位

PUT my_index
{
  "mappings": {
    "properties": {
      "date": {
        "type":   "date",
        "format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"
      }
    }
  }
}

Mapping參數

剛才我們提到配置 Mapping 的日期格式的參數format，Mapping 還提供了很多其他的參數。

analyzer
boost
coerce
copy_to
doc_values
dynamic
eager_global_ordinals
enabled
fielddata
fields
format
ignore_above
ignore_malformed
index_options
index_phrases
index_prefixes
index
meta
normalizer
norms
null_value
position_increment_gap
properties
search_analyzer
similarity
store
term_vector

我們來介紹幾個常用的欄位。

fields

首先是fields，它可以使同一個欄位通過不同的方式實現不同的目的。

例如，我們可以對一個字元串欄位設置為text類型，用於全文檢索，同時可以利用fields設置為keyword類型，用於排序和聚合。

PUT my-index-000001
{
  "mappings": {
    "properties": {
      "city": {
        "type": "text",
        "fields": {
          "raw": {
            "type":  "keyword"
          }
        }
      }
    }
  }
}

查詢時我們就可以使用city進行全文檢索，使用city.raw進行排序和聚合。

GET my-index-000001/_search
{
  "query": {
    "match": {
      "city": "york" 
    }
  },
  "sort": {
    "city.raw": "asc" 
  },
  "aggs": {
    "Cities": {
      "terms": {
        "field": "city.raw" 
      }
    }
  }
}

enabled

有些時候，我們只想把某個欄位作為數據存儲來使用，並不需要用來做搜索，這時，我們就可以將這個欄位禁用掉，欄位被禁用以後，它所保存的值也不受 mapping 指定的類型控制。

PUT my-index-000001
{
  "mappings": {
    "properties": {
      "user_id": {
        "type":  "keyword"
      },
      "last_updated": {
        "type": "date"
      },
      "session_data": { 
        "type": "object",
        "enabled": false
      }
    }
  }
}

上面的例子中，我們禁用掉了 session_data 這個欄位，這時，你既可以往 session_data 欄位中存儲 JSON 格式的數據，也可以存儲非 JSON 格式的數據。

除了針對於單個欄位的禁用以外，我們還可以直接禁用掉整個 mapping。我們來重新創建一個index

PUT my-index-000002
{
  "mappings": {
    "enabled": false 
  }
}

這時，文檔所有的欄位都不會被索引，只是用來存儲。

需要注意的是，無論是具體欄位中還是整個 mapping 的 enabled 屬性都不可以被修改，因為一旦設置為 false，Elasticsearch 就不會對欄位進行索引了，也不會校驗數據的合法性，如果產生了臟數據以後再設置為 true，就會造成程式錯誤。

null_value

null 在 Elasticsearch 中是不可以被索引或搜索的，這裡我們所說的 null 並不是狹義上某種語言的 null，而是所有的空值。例如所有值都是 null 的數組，總之，這裡的定義就是沒有值。

對於有需要搜索空值的業務怎麼辦呢？Elasticsearch 為我們提供了 null_value 這個參數，它可以指定一個值，搜索時使用這個值來替代空值。

舉個栗子

PUT my-index-000001
{
  "mappings": {
    "properties": {
      "status_code": {
        "type":       "keyword",
        "null_value": "NULL" 
      }
    }
  }
}

我們給 status_code 欄位設置了 null_value 為 "NULL"。這裡需要注意， null_value 的類型必須與要查找的數據類型相同，如果在這個例子中 status_code 的類型是long，那麼就不能把null_value 設置為 "NULL"。

dynamic

對於新增加的欄位：

dynamic 設置為 true 時，一旦有新增欄位的文檔寫入，Mapping 也會被更新
dynamic 設置為 false 時，Mapping 不會被更新，新增欄位無法被索引，但資訊會出現在 _source 中
dynamic 設置為 strict 時，文檔寫入失敗

對於已有的欄位，一旦已經有數據寫入，就不再支援修改欄位定義

Dynamic Mapping

我們在創建索引時，可以不用手動寫 Mappings， Elasticsearch 會幫我們自動識別出欄位的類型。我們稱之為 Dynamic Mapping。不過有時推算的可能不是很準確。

Elasticsearch 自動識別類型是基於 JSON 的。數據類型的對應關係如下（表格來自 elastic 官網）

JSON data type	Elasticsearch data type
`null`	No field is added.
`true` or `false`	`boolean` field
floating point number	`float` field
integer	`long` field
object	`object` field
array	Depends on the first non-`null` value in the array.
string	Either a `date` field (if the value passes date detection), a `double` or `long` field (if the value passes numeric detection) or a `text` field, with a `keyword` sub-field.

Elasticsearch 支援的欄位映射的數據類型在這個文檔中，除了這些，其他的類型映射都需要顯示的指定了。

關於日期類型，默認是可以映射的，但是 Elasticsearch 只能識別幾種格式的日期yyyy/MM/dd HH:mm:ss||yyyy/MM/dd||epoch_millis。如果關掉了 date_detection 開關，那麼就只能識別為字元串了。

PUT my-index-000001
{
  "mappings": {
    "date_detection": false
  }
}

當然，你也可以根據需要自己指定要識別的日期格式，只需要使用 dynamic_date_formats 參數即可。

PUT my-index-000001
{
  "mappings": {
    "dynamic_date_formats": ["MM/dd/yyyy"]
  }
}

Elasticsearch 還提供了一種把字元串型的數字識別為數字的能力，它是由 numeric_detection 開關控制的。

PUT my-index-000005
{
  "mappings": {
    "numeric_detection": true
  }
}

PUT my-index-000005/_doc/1
{
  "my_float":   "1.0", 
  "my_integer": "1" 
}

在這個例子中，my_float 會被識別為 float 類型，而 my_integer 會被識別為 long 類型。

Dynamic template

dynamic template 允許我們自定義 mapping ，並應用到具體索引上。dynamic template 的定義一般是這樣的

  "dynamic_templates": [
    {
      "my_template_name": { 
        ...  match conditions ... 
        "mapping": { ... } 
      }
    },
    ...
  ]

my_template_name 可以是任意字元串。

match conditions 包括match_mapping_type, match, match_pattern, unmatch, path_match, path_unmatch 這幾種。

mapping 就是指匹配到的欄位應該使用怎樣的 mapping。下面我們介紹幾種 match conditions

match_mapping_type

我們先來看一個簡單的例子

PUT my-index-000001
{
  "mappings": {
    "dynamic_templates": [
      {
        "integers": {
          "match_mapping_type": "long",
          "mapping": {
            "type": "integer"
          }
        }
      },
      {
        "strings": {
          "match_mapping_type": "string",
          "mapping": {
            "type": "text",
            "fields": {
              "raw": {
                "type":  "keyword",
                "ignore_above": 256
              }
            }
          }
        }
      }
    ]
  }
}

這裡我們有兩個模版，其一是使用 integer 類型來代替 long 類型，其二是將字元串類型映射為 keyword。

match 和 unmatch

這兩個比較簡單，match 是指匹配到模式的欄位， unmatch 是表示不匹配的欄位。

PUT my-index-000001
{
  "mappings": {
    "dynamic_templates": [
      {
        "longs_as_strings": {
          "match_mapping_type": "string",
          "match":   "long_*",
          "unmatch": "*_text",
          "mapping": {
            "type": "long"
          }
        }
      }
    ]
  }
}

在這個例子中，我們需要的是 long_ 開頭的字元串，不需要 _text結尾的字元串欄位。

除了以上三種之外，其他的就是 match_pattern 用來進行正則匹配，path_match 和 path_unmatch 則是表示欄位所在路徑的是否匹配。

另外 dynamic template 還支援兩種變數替換，分別是 {name} 和 {dynamic_type}。其實 name 就是欄位名，dynamic_type 就是檢測出的欄位類型。

總結

關於 Elasticsearch 的 mapping 我們就先聊這些，我認為 mapping 的配置是一個需要經驗的事情，當你處理的 case 越來越多之後，就能比較輕鬆的知道如何更好的配置 mapping 了。此外，mapping 的許多欄位和參數文中都沒有涉及，對於我而言，大部分都是用到了現查文檔，不過也還是建議大家看一看文檔，起碼遇到問題時能知道大概查找文檔的一個方向。這樣就會比身邊人強不少。

Tags: elasticsearch