後端技術雜談4:Elasticsearch與solr入門實踐

  • 2019 年 12 月 9 日
  • 筆記

阮一峰:全文搜索引擎 Elasticsearch 入門教程

作者:阮一峰

本系列文章將整理到我在GitHub上的《Java面試指南》倉庫,更多精彩內容請到我的倉庫里查看

https://github.com/h2pl/Java-Tutorial 喜歡的話麻煩點下Star哈

文章將同步到我的個人部落格:

www.how2playlife.com

該系列博文會介紹常見的後端技術,這對後端工程師來說是一種綜合能力,我們會逐步了解搜索技術,雲計算相關技術、大數據研發等常見的技術喜提,以便讓你更完整地了解後端技術棧的全貌,為後續參與分散式應用的開發和學習做好準備。

如果對本系列文章有什麼建議,或者是有什麼疑問的話,也可以關注公眾號【Java技術江湖】聯繫我,歡迎你參與本系列博文的創作和修訂。

閱讀 1093

收藏 76

2017-08-23

原文鏈接:www.ruanyifeng.com

9月7日-8日 北京,與 Google Twitch 等團隊技術大咖面對面www.bagevent.com

全文搜索屬於最常見的需求,開源的 Elasticsearch (以下簡稱 Elastic)是目前全文搜索引擎的首選。

它可以快速地儲存、搜索和分析海量數據。維基百科、Stack Overflow、Github 都採用它。

Elastic 的底層是開源庫 Lucene。但是,你沒法直接用 Lucene,必須自己寫程式碼去調用它的介面。Elastic 是 Lucene 的封裝,提供了 REST API 的操作介面,開箱即用。

本文從零開始,講解如何使用 Elastic 搭建自己的全文搜索引擎。每一步都有詳細的說明,大家跟著做就能學會。

一、安裝

Elastic 需要 Java 8 環境。如果你的機器還沒安裝 Java,可以參考這篇文章,注意要保證環境變數JAVA_HOME正確設置。

安裝完 Java,就可以跟著官方文檔安裝 Elastic。直接下載壓縮包比較簡單。

 $ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.5.1.zip$ unzip elasticsearch-5.5.1.zip$ cd elasticsearch-5.5.1/  

接著,進入解壓後的目錄,運行下面的命令,啟動 Elastic。

 $ ./bin/elasticsearch  

如果這時報錯"max virtual memory areas vm.max_map_count [65530] is too low",要運行下面的命令。

 $ sudo sysctl -w vm.max_map_count=262144  

如果一切正常,Elastic 就會在默認的9200埠運行。這時,打開另一個命令行窗口,請求該埠,會得到說明資訊。

 $ curl localhost:9200 {  "name" : "atntrTf",  "cluster_name" : "elasticsearch",  "cluster_uuid" : "tf9250XhQ6ee4h7YI11anA",  "version" : {    "number" : "5.5.1",    "build_hash" : "19c13d0",    "build_date" : "2017-07-18T20:44:24.823Z",    "build_snapshot" : false,    "lucene_version" : "6.6.0"  },  "tagline" : "You Know, for Search"}  

上面程式碼中,請求9200埠,Elastic 返回一個 JSON 對象,包含當前節點、集群、版本等資訊。

按下 Ctrl + C,Elastic 就會停止運行。

默認情況下,Elastic 只允許本機訪問,如果需要遠程訪問,可以修改 Elastic 安裝目錄的config/elasticsearch.yml文件,去掉network.host的注釋,將它的值改成0.0.0.0,然後重新啟動 Elastic。

 network.host: 0.0.0.0  

上面程式碼中,設成0.0.0.0讓任何人都可以訪問。線上服務不要這樣設置,要設成具體的 IP。

二、基本概念

2.1 Node 與 Cluster

Elastic 本質上是一個分散式資料庫,允許多台伺服器協同工作,每台伺服器可以運行多個 Elastic 實例。

單個 Elastic 實例稱為一個節點(node)。一組節點構成一個集群(cluster)。

2.2 Index

Elastic 會索引所有欄位,經過處理後寫入一個反向索引(Inverted Index)。查找數據的時候,直接查找該索引。

所以,Elastic 數據管理的頂層單位就叫做 Index(索引)。它是單個資料庫的同義詞。每個 Index (即資料庫)的名字必須是小寫。

下面的命令可以查看當前節點的所有 Index。

 $ curl -X GET 'http://localhost:9200/_cat/indices?v'  

2.3 Document

Index 裡面單條的記錄稱為 Document(文檔)。許多條 Document 構成了一個 Index。

Document 使用 JSON 格式表示,下面是一個例子。

 {  "user": "張三",  "title": "工程師",  "desc": "資料庫管理"}  

同一個 Index 裡面的 Document,不要求有相同的結構(scheme),但是最好保持相同,這樣有利於提高搜索效率。

2.4 Type

Document 可以分組,比如weather這個 Index 裡面,可以按城市分組(北京和上海),也可以按氣候分組(晴天和雨天)。這種分組就叫做 Type,它是虛擬的邏輯分組,用來過濾 Document。

不同的 Type 應該有相似的結構(schema),舉例來說,id欄位不能在這個組是字元串,在另一個組是數值。這是與關係型資料庫的表的一個區別。性質完全不同的數據(比如products和logs)應該存成兩個 Index,而不是一個 Index 裡面的兩個 Type(雖然可以做到)。

下面的命令可以列出每個 Index 所包含的 Type。

 $ curl 'localhost:9200/_mapping?pretty=true'  

根據規劃,Elastic 6.x 版只允許每個 Index 包含一個 Type,7.x 版將會徹底移除 Type。

三、新建和刪除 Index

新建 Index,可以直接向 Elastic 伺服器發出 PUT 請求。下面的例子是新建一個名叫weather的 Index。

 $ curl -X PUT 'localhost:9200/weather'  

伺服器返回一個 JSON 對象,裡面的acknowledged欄位表示操作成功。

 {  "acknowledged":true,  "shards_acknowledged":true}  

然後,我們發出 DELETE 請求,刪除這個 Index。

 $ curl -X DELETE 'localhost:9200/weather'  

四、中文分詞設置

首先,安裝中文分詞插件。這裡使用的是 ik,也可以考慮其他插件(比如 smartcn)。

 $ ./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v5.5.1/elasticsearch-analysis-ik-5.5.1.zip  

上面程式碼安裝的是5.5.1版的插件,與 Elastic 5.5.1 配合使用。

接著,重新啟動 Elastic,就會自動載入這個新安裝的插件。

然後,新建一個 Index,指定需要分詞的欄位。這一步根據數據結構而異,下面的命令只針對本文。基本上,凡是需要搜索的中文欄位,都要單獨設置一下。

 $ curl -X PUT 'localhost:9200/accounts' -d '{  "mappings": {    "person": {      "properties": {        "user": {          "type": "text",          "analyzer": "ik_max_word",          "search_analyzer": "ik_max_word"        },        "title": {          "type": "text",          "analyzer": "ik_max_word",          "search_analyzer": "ik_max_word"        },        "desc": {          "type": "text",          "analyzer": "ik_max_word",          "search_analyzer": "ik_max_word"        }      }    }  }}'  

上面程式碼中,首先新建一個名稱為accounts的 Index,裡面有一個名稱為person的 Type。person有三個欄位。

  • user
  • title
  • desc

這三個欄位都是中文,而且類型都是文本(text),所以需要指定中文分詞器,不能使用默認的英文分詞器。

Elastic 的分詞器稱為 analyzer。我們對每個欄位指定分詞器。

 "user": {  "type": "text",  "analyzer": "ik_max_word",  "search_analyzer": "ik_max_word"}  

上面程式碼中,analyzer是欄位文本的分詞器,search_analyzer是搜索詞的分詞器。ik_max_word分詞器是插件ik提供的,可以對文本進行最大數量的分詞。

五、數據操作

5.1 新增記錄

向指定的 /Index/Type 發送 PUT 請求,就可以在 Index 裡面新增一條記錄。比如,向/accounts/person發送請求,就可以新增一條人員記錄。

 $ curl -X PUT 'localhost:9200/accounts/person/1' -d '{  "user": "張三",  "title": "工程師",  "desc": "資料庫管理"}'  

伺服器返回的 JSON 對象,會給出 Index、Type、Id、Version 等資訊。

 {  "_index":"accounts",  "_type":"person",  "_id":"1",  "_version":1,  "result":"created",  "_shards":{"total":2,"successful":1,"failed":0},  "created":true}  

如果你仔細看,會發現請求路徑是/accounts/person/1,最後的1是該條記錄的 Id。它不一定是數字,任意字元串(比如abc)都可以。

新增記錄的時候,也可以不指定 Id,這時要改成 POST 請求。

 $ curl -X POST 'localhost:9200/accounts/person' -d '{  "user": "李四",  "title": "工程師",  "desc": "系統管理"}'  

上面程式碼中,向/accounts/person發出一個 POST 請求,添加一個記錄。這時,伺服器返回的 JSON 對象裡面,_id欄位就是一個隨機字元串。

 {  "_index":"accounts",  "_type":"person",  "_id":"AV3qGfrC6jMbsbXb6k1p",  "_version":1,  "result":"created",  "_shards":{"total":2,"successful":1,"failed":0},  "created":true}  

注意,如果沒有先創建 Index(這個例子是accounts),直接執行上面的命令,Elastic 也不會報錯,而是直接生成指定的 Index。所以,打字的時候要小心,不要寫錯 Index 的名稱。

5.2 查看記錄

向/Index/Type/Id發出 GET 請求,就可以查看這條記錄。

 $ curl 'localhost:9200/accounts/person/1?pretty=true'  

上面程式碼請求查看/accounts/person/1這條記錄,URL 的參數pretty=true表示以易讀的格式返回。

返回的數據中,found欄位表示查詢成功,_source欄位返回原始記錄。

 {  "_index" : "accounts",  "_type" : "person",  "_id" : "1",  "_version" : 1,  "found" : true,  "_source" : {    "user" : "張三",    "title" : "工程師",    "desc" : "資料庫管理"  }}  

如果 Id 不正確,就查不到數據,found欄位就是false。

 $ curl 'localhost:9200/weather/beijing/abc?pretty=true' {  "_index" : "accounts",  "_type" : "person",  "_id" : "abc",  "found" : false}  

5.3 刪除記錄

刪除記錄就是發出 DELETE 請求。

 $ curl -X DELETE 'localhost:9200/accounts/person/1'  

這裡先不要刪除這條記錄,後面還要用到。

5.4 更新記錄

更新記錄就是使用 PUT 請求,重新發送一次數據。

 $ curl -X PUT 'localhost:9200/accounts/person/1' -d '{    "user" : "張三",    "title" : "工程師",    "desc" : "資料庫管理,軟體開發"}'  {  "_index":"accounts",  "_type":"person",  "_id":"1",  "_version":2,  "result":"updated",  "_shards":{"total":2,"successful":1,"failed":0},  "created":false}  

上面程式碼中,我們將原始數據從"資料庫管理"改成"資料庫管理,軟體開發"。返回結果裡面,有幾個欄位發生了變化。

 "_version" : 2,"result" : "updated","created" : false  

可以看到,記錄的 Id 沒變,但是版本(version)從1變成2,操作類型(result)從created變成updated,created欄位變成false,因為這次不是新建記錄。

六、數據查詢

6.1 返回所有記錄

使用 GET 方法,直接請求/Index/Type/_search,就會返回所有記錄。

 $ curl 'localhost:9200/accounts/person/_search' {  "took":2,  "timed_out":false,  "_shards":{"total":5,"successful":5,"failed":0},  "hits":{    "total":2,    "max_score":1.0,    "hits":[      {        "_index":"accounts",        "_type":"person",        "_id":"AV3qGfrC6jMbsbXb6k1p",        "_score":1.0,        "_source": {          "user": "李四",          "title": "工程師",          "desc": "系統管理"        }      },      {        "_index":"accounts",        "_type":"person",        "_id":"1",        "_score":1.0,        "_source": {          "user" : "張三",          "title" : "工程師",          "desc" : "資料庫管理,軟體開發"        }      }    ]  }}  

上面程式碼中,返回結果的 took欄位表示該操作的耗時(單位為毫秒),timed_out欄位表示是否超時,hits欄位表示命中的記錄,裡面子欄位的含義如下。

  • total:返回記錄數,本例是2條。
  • max_score:最高的匹配程度,本例是1.0。
  • hits:返回的記錄組成的數組。

返回的記錄中,每條記錄都有一個_score欄位,表示匹配的程式,默認是按照這個欄位降序排列。

6.2 全文搜索

Elastic 的查詢非常特別,使用自己的查詢語法,要求 GET 請求帶有數據體。

 $ curl 'localhost:9200/accounts/person/_search'  -d '{  "query" : { "match" : { "desc" : "軟體" }}}'  

上面程式碼使用 Match 查詢,指定的匹配條件是desc欄位裡面包含"軟體"這個詞。返回結果如下。

 {  "took":3,  "timed_out":false,  "_shards":{"total":5,"successful":5,"failed":0},  "hits":{    "total":1,    "max_score":0.28582606,    "hits":[      {        "_index":"accounts",        "_type":"person",        "_id":"1",        "_score":0.28582606,        "_source": {          "user" : "張三",          "title" : "工程師",          "desc" : "資料庫管理,軟體開發"        }      }    ]  }}  

Elastic 默認一次返回10條結果,可以通過size欄位改變這個設置。

 $ curl 'localhost:9200/accounts/person/_search'  -d '{  "query" : { "match" : { "desc" : "管理" }},  "size": 1}'  

上面程式碼指定,每次只返回一條結果。

還可以通過from欄位,指定位移。

 $ curl 'localhost:9200/accounts/person/_search'  -d '{  "query" : { "match" : { "desc" : "管理" }},  "from": 1,  "size": 1}'  

上面程式碼指定,從位置1開始(默認是從位置0開始),只返回一條結果。

6.3 邏輯運算

如果有多個搜索關鍵字, Elastic 認為它們是or關係。

 $ curl 'localhost:9200/accounts/person/_search'  -d '{  "query" : { "match" : { "desc" : "軟體 系統" }}}'  

上面程式碼搜索的是軟體 or 系統。

如果要執行多個關鍵詞的and搜索,必須使用布爾查詢。

 $ curl 'localhost:9200/accounts/person/_search'  -d '{  "query": {    "bool": {      "must": [        { "match": { "desc": "軟體" } },        { "match": { "desc": "系統" } }      ]    }  }}'  

七、參考鏈接

  • ElasticSearch 官方手冊
  • A Practical Introduction to Elasticsearch

(完)

一、前言

在開發網站/App項目的時候,通常需要搭建搜索服務。比如,新聞類應用需要檢索標題/內容,社區類應用需要檢索用戶/帖子。

對於簡單的需求,可以使用資料庫的 LIKE 模糊搜索,示例:

SELECT * FROM news WHERE title LIKE '%法拉利跑車%'

可以查詢到所有標題含有 "法拉利跑車" 關鍵詞的新聞,但是這種方式有明顯的弊端:

1、模糊查詢性能極低,當數據量龐大的時候,往往會使資料庫服務中斷; 2、無法查詢相關的數據,只能嚴格在標題中匹配關鍵詞。

因此,需要搭建專門提供搜索功能的服務,具備分詞、全文檢索等高級功能。Solr 就是這樣一款搜索引擎,可以讓你快速搭建適用於自己業務的搜索服務。

二、安裝

到官網 http://lucene.apache.org/solr/ 下載安裝包,解壓並進入 Solr 目錄:

wget 'http://apache.website-solution.net/lucene/solr/6.2.0/solr-6.2.0.tgz' tar xvf solr-6.2.0.tgz cd solr-6.2.0

目錄結構如下:

Solr 6.2 目錄結構

啟動 Solr 服務之前,確認已經安裝 Java 1.8 :

查看 Java 版本

啟動 Solr 服務:

./bin/solr start -m 1g

Solr 將默認監聽 8983 埠,其中 -m 1g 指定分配給 JVM 的記憶體為 1 G。

在瀏覽器中訪問 Solr 管理後台:

http://127.0.0.1:8983/solr/#/

Solr 管理後台

創建 Solr 應用:

./bin/solr create -c my_news

可以在 solr-6.2.0/server/solr 目錄下生成 my_news 文件夾,結構如下:

my_news 目錄結構

同時,可以在管理後台看到 my_news:

管理後台

三、創建索引

我們將從 MySQL 資料庫中導入數據到 Solr 並建立索引。

首先,需要了解 Solr 中的兩個概念:欄位(field) 和 欄位類型(fieldType),配置示例如下:

schema.xml 示例

field 指定一個欄位的名稱、是否索引/存儲和欄位類型。

fieldType 指定一個欄位類型的名稱以及在查詢/索引的時候可能用到的分詞插件。

將 solr-6.2.0serversolrmy_newsconf 目錄下默認的配置文件 managed-schema 重命名為 schema.xml 並加入新的 fieldType:

分詞類型

在 my_news 目錄下創建 lib 目錄,將用到的分詞插件 ik-analyzer-solr5-5.x.jar 加到 lib 目錄,結構如下:

my_news 目錄結構

在 Solr 安裝目錄下重啟服務:

./bin/solr restart

可以在管理後台看到新加的類型:

text_ik 類型

接下來創建和我們資料庫欄位對應的 field:title 和 content,類型選為 text_ik:

新建欄位 title

將要導入數據的 MySQL 資料庫表結構:

編輯 conf/solrconfig.xml 文件,加入類庫和資料庫配置:

類庫

dataimport config

同時新建資料庫連接配置文件 conf/db-mysql-config.xml ,內容如下:

資料庫配置文件

將資料庫連接組件 mysql-connector-java-5.1.39-bin.jar 放到 lib 目錄下,重啟 Solr,訪問管理後台,執行全量導入數據:

全量導入數據

創建定時更新腳本:

定時更新腳本

加入到定時任務,每5分鐘增量更新一次索引:

定時任務

在 Solr 管理後台測試搜索結果:

分詞搜索結果

至此,基本的搜索引擎搭建完畢,外部應用只需通過 http 協議提供查詢參數,就可以獲取搜索結果。

四、搜索干預

通常需要對搜索結果進行人工干預,比如編輯推薦、競價排名或者屏蔽搜索結果。Solr 已經內置了 QueryElevationComponent 插件,可以從配置文件中獲取搜索關鍵詞對應的干預列表,並將干預結果排在搜索結果的前面。

在 solrconfig.xml 文件中,可以看到:

干預其請求配置

定義了搜索組件 elevator,應用在 /elevate 的搜索請求中,干預結果的配置文件在 solrconfig.xml 同目錄下的 elevate.xml 中,干預配置示例:

重啟 Solr ,當搜索 "關鍵詞" 的時候,id 為 1和 4 的文檔將出現在前面,同時 id = 3 的文檔被排除在結果之外,可以看到,沒有干預的時候,搜索結果為:

無干預結果

當有搜索干預的時候:

干預結果

通過配置文件干預搜索結果,雖然簡單,但是每次更新都要重啟 Solr 才能生效,稍顯麻煩,我們可以仿照 QueryElevationComponent 類,開發自己的干預組件,例如:從 Redis 中讀取干預配置。

五、中文分詞

中文的搜索品質,和分詞的效果息息相關,可以在 Solr 管理後台測試分詞:

分詞結果測試

上例可以看到,使用 IKAnalyzer 分詞插件,對 「北京科技大學」 分詞的測試結果。當用戶搜索 「北京」、「科技大學」、「科技大」、「科技」、「大學」 這些關鍵詞的時候,都會搜索到文本內容含 「北京科技大學」 的文檔。

常用的中文分詞插件有 IKAnalyzer、mmseg4j和 Solr 自帶的 smartcn 等,分詞效果各有優劣,具體選擇哪個,可以根據自己的業務場景,分別測試效果再選擇。

分詞插件一般都有自己的默認詞庫和擴展詞庫,默認詞庫包含了絕大多數常用的中文詞語。如果默認詞庫無法滿足你的需求,比如某些專業領域的辭彙,可以在擴展詞庫中手動添加,這樣分詞插件就能識別新詞語了。

分詞插件擴展詞庫配置示例

分詞插件還可以指定停止詞庫,將某些無意義的辭彙剔出分詞結果,比如:「的」、「哼」 等,例如:

去除無意義的詞

六、總結

以上介紹了 Solr 最常用的一些功能,Solr 本身還有很多其他豐富的功能,比如分散式部署。

希望對你有所幫助。

七、附錄

1、參考資料:

https://wiki.apache.org/solr/

http://lucene.apache.org/solr/quickstart.html

https://cwiki.apache.org/confluence/display/solr/Apache+Solr+Reference+Guide

2、上述 Demo 中用到的所有配置文件、Jar 包:

https://github.com/Ceelog/OpenSchool/blob/master/my_news.zip

3、還有疑問?聯繫作者微博/微信 @Ceelog

搜索引擎選型整理:Elasticsearch vs Solr

本文首發於我的部落格 原文鏈接:Elasticsearch 與 Solr 的比較

Elasticsearch簡介*

Elasticsearch是一個實時的分散式搜索和分析引擎。它可以幫助你用前所未有的速度去處理大規模數據。

它可以用於全文搜索,結構化搜索以及分析,當然你也可以將這三者進行組合。

Elasticsearch是一個建立在全文搜索引擎 Apache Lucene(TM) 基礎上的搜索引擎,可以說Lucene是當今最先進,最高效的全功能開源搜索引擎框架。

但是Lucene只是一個框架,要充分利用它的功能,需要使用JAVA,並且在程式中集成Lucene。需要很多的學習了解,才能明白它是如何運行的,Lucene確實非常複雜。

Elasticsearch使用Lucene作為內部引擎,但是在使用它做全文搜索時,只需要使用統一開發好的API即可,而不需要了解其背後複雜的Lucene的運行原理。

當然Elasticsearch並不僅僅是Lucene這麼簡單,它不但包括了全文搜索功能,還可以進行以下工作:

  • 分散式實時文件存儲,並將每一個欄位都編入索引,使其可以被搜索。
  • 實時分析的分散式搜索引擎。
  • 可以擴展到上百台伺服器,處理PB級別的結構化或非結構化數據。

這麼多的功能被集成到一台伺服器上,你可以輕鬆地通過客戶端或者任何你喜歡的程式語言與ES的RESTful API進行交流。

Elasticsearch的上手是非常簡單的。它附帶了很多非常合理的默認值,這讓初學者很好地避免一上手就要面對複雜的理論,

它安裝好了就可以使用了,用很小的學習成本就可以變得很有生產力。

隨著越學越深入,還可以利用Elasticsearch更多高級的功能,整個引擎可以很靈活地進行配置。可以根據自身需求來訂製屬於自己的Elasticsearch。

使用案例:

  • 維基百科使用Elasticsearch來進行全文搜做並高亮顯示關鍵詞,以及提供search-as-you-type、did-you-mean等搜索建議功能。
  • 英國衛報使用Elasticsearch來處理訪客日誌,以便能將公眾對不同文章的反應實時地回饋給各位編輯。
  • StackOverflow將全文搜索與地理位置和相關資訊進行結合,以提供more-like-this相關問題的展現。
  • GitHub使用Elasticsearch來檢索超過1300億行程式碼。
  • 每天,Goldman Sachs使用它來處理5TB數據的索引,還有很多投行使用它來分析股票市場的變動。

但是Elasticsearch並不只是面向大型企業的,它還幫助了很多類似DataDog以及Klout的創業公司進行了功能的擴展。

Elasticsearch的優缺點**:

優點

  1. Elasticsearch是分散式的。不需要其他組件,分發是實時的,被叫做"Push replication"。
  • Elasticsearch 完全支援 Apache Lucene 的接近實時的搜索。
  • 處理多租戶(multitenancy)不需要特殊配置,而Solr則需要更多的高級設置。
  • Elasticsearch 採用 Gateway 的概念,使得完備份更加簡單。
  • 各節點組成對等的網路結構,某些節點出現故障時會自動分配其他節點代替其進行工作。

缺點

  1. 只有一名開發者(當前Elasticsearch GitHub組織已經不只如此,已經有了相當活躍的維護者)
  • 還不夠自動(不適合當前新的Index Warmup API)

Solr簡介*

Solr(讀作「solar」)是Apache Lucene項目的開源企業搜索平台。其主要功能包括全文檢索、命中標示、分面搜索、動態聚類、資料庫集成,以及富文本(如Word、PDF)的處理。Solr是高度可擴展的,並提供了分散式搜索和索引複製。Solr是最流行的企業級搜索引擎,Solr4 還增加了NoSQL支援。

Solr是用Java編寫、運行在Servlet容器(如 Apache Tomcat 或Jetty)的一個獨立的全文搜索伺服器。Solr採用了 Lucene Java 搜索庫為核心的全文索引和搜索,並具有類似REST的HTTP/XML和JSON的API。Solr強大的外部配置功能使得無需進行Java編碼,便可對其進行調整以適應多種類型的應用程式。Solr有一個插件架構,以支援更多的高級訂製。

因為2010年 Apache Lucene 和 Apache Solr 項目合併,兩個項目是由同一個Apache軟體基金會開發團隊製作實現的。提到技術或產品時,Lucene/Solr或Solr/Lucene是一樣的。

Solr的優缺點

優點

  1. Solr有一個更大、更成熟的用戶、開發和貢獻者社區。
  • 支援添加多種格式的索引,如:HTML、PDF、微軟 Office 系列軟體格式以及 JSON、XML、CSV 等純文本格式。
  • Solr比較成熟、穩定。
  • 不考慮建索引的同時進行搜索,速度更快。

缺點

  1. 建立索引時,搜索效率下降,實時索引搜索效率不高。

Elasticsearch與Solr的比較*

當單純的對已有數據進行搜索時,Solr更快。

Search Fesh Index While Idle

當實時建立索引時, Solr會產生io阻塞,查詢性能較差, Elasticsearch具有明顯的優勢。

search_fresh_index_while_indexing

隨著數據量的增加,Solr的搜索效率會變得更低,而Elasticsearch卻沒有明顯的變化。

search_fresh_index_while_indexing

綜上所述,Solr的架構不適合實時搜索的應用。

實際生產環境測試*

下圖為將搜索引擎從Solr轉到Elasticsearch以後的平均查詢速度有了50倍的提升。

average_execution_time

Elasticsearch 與 Solr 的比較總結

  • 二者安裝都很簡單;
  • Solr 利用 Zookeeper 進行分散式管理,而 Elasticsearch 自身帶有分散式協調管理功能;
  • Solr 支援更多格式的數據,而 Elasticsearch 僅支援json文件格式;
  • Solr 官方提供的功能更多,而 Elasticsearch 本身更注重於核心功能,高級功能多有第三方插件提供;
  • Solr 在傳統的搜索應用中表現好於 Elasticsearch,但在處理實時搜索應用時效率明顯低於 Elasticsearch。

Solr 是傳統搜索應用的有力解決方案,但 Elasticsearch 更適用於新興的實時搜索應用。

其他基於Lucene的開源搜索引擎解決方案*

  1. 直接使用 Lucene 說明:Lucene 是一個 JAVA 搜索類庫,它本身並不是一個完整的解決方案,需要額外的開發工作。 優點:成熟的解決方案,有很多的成功案例。apache 頂級項目,正在持續快速的進步。龐大而活躍的開發社區,大量的開發人員。它只是一個類庫,有足夠的訂製和優化空間:經過簡單訂製,就可以滿足絕大部分常見的需求;經過優化,可以支援 10億+ 量級的搜索。 缺點:需要額外的開發工作。所有的擴展,分散式,可靠性等都需要自己實現;非實時,從建索引到可以搜索中間有一個時間延遲,而當前的「近實時」(Lucene Near Real Time search)搜索方案的可擴展性有待進一步完善
  • Katta 說明:基於 Lucene 的,支援分散式,可擴展,具有容錯功能,准實時的搜索方案。 優點:開箱即用,可以與 Hadoop 配合實現分散式。具備擴展和容錯機制。 缺點:只是搜索方案,建索引部分還是需要自己實現。在搜索功能上,只實現了最基本的需求。成功案例較少,項目的成熟度稍微差一些。因為需要支援分散式,對於一些複雜的查詢需求,訂製的難度會比較大。
  • Hadoop contrib/index 說明:Map/Reduce 模式的,分散式建索引方案,可以跟 Katta 配合使用。 優點:分散式建索引,具備可擴展性。 缺點:只是建索引方案,不包括搜索實現。工作在批處理模式,對實時搜索的支援不佳。
  • LinkedIn 的開源方案 說明:基於 Lucene 的一系列解決方案,包括 准實時搜索 zoie ,facet 搜索實現 bobo ,機器學習演算法 decomposer ,摘要存儲庫 krati ,資料庫模式包裝 sensei 等等 優點:經過驗證的解決方案,支援分散式,可擴展,豐富的功能實現 缺點:與 linkedin 公司的聯繫太緊密,可訂製性比較差
  • Lucandra 說明:基於 Lucene,索引存在 cassandra 資料庫中 優點:參考 cassandra 的優點 缺點:參考 cassandra 的缺點。另外,這只是一個 demo,沒有經過大量驗證
  • HBasene 說明:基於 Lucene,索引存在 HBase 資料庫中 優點:參考 HBase 的優點 缺點:參考 HBase 的缺點。另外,在實現中,lucene terms 是存成行,但每個 term 對應的 posting lists 是以列的方式存儲的。隨著單個 term 的 posting lists 的增大,查詢時的速度受到的影響會非常大

Tags: