後端技術雜談4:Elasticsearch與solr入門實踐
- 2019 年 12 月 9 日
- 筆記
阮一峰:全文搜索引擎 Elasticsearch 入門教程
作者:阮一峰
本系列文章將整理到我在GitHub上的《Java面試指南》倉庫,更多精彩內容請到我的倉庫里查看
https://github.com/h2pl/Java-Tutorial 喜歡的話麻煩點下Star哈
文章將同步到我的個人部落格:
www.how2playlife.com
該系列博文會介紹常見的後端技術,這對後端工程師來說是一種綜合能力,我們會逐步了解搜索技術,雲計算相關技術、大數據研發等常見的技術喜提,以便讓你更完整地了解後端技術棧的全貌,為後續參與分散式應用的開發和學習做好準備。
如果對本系列文章有什麼建議,或者是有什麼疑問的話,也可以關注公眾號【Java技術江湖】聯繫我,歡迎你參與本系列博文的創作和修訂。
閱讀 1093
收藏 76
2017-08-23
原文鏈接:www.ruanyifeng.com
9月7日-8日 北京,與 Google Twitch 等團隊技術大咖面對面www.bagevent.com
全文搜索屬於最常見的需求,開源的 Elasticsearch (以下簡稱 Elastic)是目前全文搜索引擎的首選。
它可以快速地儲存、搜索和分析海量數據。維基百科、Stack Overflow、Github 都採用它。

Elastic 的底層是開源庫 Lucene。但是,你沒法直接用 Lucene,必須自己寫程式碼去調用它的介面。Elastic 是 Lucene 的封裝,提供了 REST API 的操作介面,開箱即用。
本文從零開始,講解如何使用 Elastic 搭建自己的全文搜索引擎。每一步都有詳細的說明,大家跟著做就能學會。
一、安裝
Elastic 需要 Java 8 環境。如果你的機器還沒安裝 Java,可以參考這篇文章,注意要保證環境變數JAVA_HOME正確設置。
安裝完 Java,就可以跟著官方文檔安裝 Elastic。直接下載壓縮包比較簡單。
$ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.5.1.zip$ unzip elasticsearch-5.5.1.zip$ cd elasticsearch-5.5.1/
接著,進入解壓後的目錄,運行下面的命令,啟動 Elastic。
$ ./bin/elasticsearch
如果這時報錯"max virtual memory areas vm.max_map_count [65530] is too low",要運行下面的命令。
$ sudo sysctl -w vm.max_map_count=262144
如果一切正常,Elastic 就會在默認的9200埠運行。這時,打開另一個命令行窗口,請求該埠,會得到說明資訊。
$ curl localhost:9200 { "name" : "atntrTf", "cluster_name" : "elasticsearch", "cluster_uuid" : "tf9250XhQ6ee4h7YI11anA", "version" : { "number" : "5.5.1", "build_hash" : "19c13d0", "build_date" : "2017-07-18T20:44:24.823Z", "build_snapshot" : false, "lucene_version" : "6.6.0" }, "tagline" : "You Know, for Search"} 上面程式碼中,請求9200埠,Elastic 返回一個 JSON 對象,包含當前節點、集群、版本等資訊。
按下 Ctrl + C,Elastic 就會停止運行。
默認情況下,Elastic 只允許本機訪問,如果需要遠程訪問,可以修改 Elastic 安裝目錄的config/elasticsearch.yml文件,去掉network.host的注釋,將它的值改成0.0.0.0,然後重新啟動 Elastic。
network.host: 0.0.0.0
上面程式碼中,設成0.0.0.0讓任何人都可以訪問。線上服務不要這樣設置,要設成具體的 IP。
二、基本概念
2.1 Node 與 Cluster
Elastic 本質上是一個分散式資料庫,允許多台伺服器協同工作,每台伺服器可以運行多個 Elastic 實例。
單個 Elastic 實例稱為一個節點(node)。一組節點構成一個集群(cluster)。
2.2 Index
Elastic 會索引所有欄位,經過處理後寫入一個反向索引(Inverted Index)。查找數據的時候,直接查找該索引。
所以,Elastic 數據管理的頂層單位就叫做 Index(索引)。它是單個資料庫的同義詞。每個 Index (即資料庫)的名字必須是小寫。
下面的命令可以查看當前節點的所有 Index。
$ curl -X GET 'http://localhost:9200/_cat/indices?v'
2.3 Document
Index 裡面單條的記錄稱為 Document(文檔)。許多條 Document 構成了一個 Index。
Document 使用 JSON 格式表示,下面是一個例子。
{ "user": "張三", "title": "工程師", "desc": "資料庫管理"} 同一個 Index 裡面的 Document,不要求有相同的結構(scheme),但是最好保持相同,這樣有利於提高搜索效率。
2.4 Type
Document 可以分組,比如weather這個 Index 裡面,可以按城市分組(北京和上海),也可以按氣候分組(晴天和雨天)。這種分組就叫做 Type,它是虛擬的邏輯分組,用來過濾 Document。
不同的 Type 應該有相似的結構(schema),舉例來說,id欄位不能在這個組是字元串,在另一個組是數值。這是與關係型資料庫的表的一個區別。性質完全不同的數據(比如products和logs)應該存成兩個 Index,而不是一個 Index 裡面的兩個 Type(雖然可以做到)。
下面的命令可以列出每個 Index 所包含的 Type。
$ curl 'localhost:9200/_mapping?pretty=true'
根據規劃,Elastic 6.x 版只允許每個 Index 包含一個 Type,7.x 版將會徹底移除 Type。
三、新建和刪除 Index
新建 Index,可以直接向 Elastic 伺服器發出 PUT 請求。下面的例子是新建一個名叫weather的 Index。
$ curl -X PUT 'localhost:9200/weather'
伺服器返回一個 JSON 對象,裡面的acknowledged欄位表示操作成功。
{ "acknowledged":true, "shards_acknowledged":true} 然後,我們發出 DELETE 請求,刪除這個 Index。
$ curl -X DELETE 'localhost:9200/weather'
四、中文分詞設置
首先,安裝中文分詞插件。這裡使用的是 ik,也可以考慮其他插件(比如 smartcn)。
$ ./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v5.5.1/elasticsearch-analysis-ik-5.5.1.zip
上面程式碼安裝的是5.5.1版的插件,與 Elastic 5.5.1 配合使用。
接著,重新啟動 Elastic,就會自動載入這個新安裝的插件。
然後,新建一個 Index,指定需要分詞的欄位。這一步根據數據結構而異,下面的命令只針對本文。基本上,凡是需要搜索的中文欄位,都要單獨設置一下。
$ curl -X PUT 'localhost:9200/accounts' -d '{ "mappings": { "person": { "properties": { "user": { "type": "text", "analyzer": "ik_max_word", "search_analyzer": "ik_max_word" }, "title": { "type": "text", "analyzer": "ik_max_word", "search_analyzer": "ik_max_word" }, "desc": { "type": "text", "analyzer": "ik_max_word", "search_analyzer": "ik_max_word" } } } }}' 上面程式碼中,首先新建一個名稱為accounts的 Index,裡面有一個名稱為person的 Type。person有三個欄位。
- user
- title
- desc
這三個欄位都是中文,而且類型都是文本(text),所以需要指定中文分詞器,不能使用默認的英文分詞器。
Elastic 的分詞器稱為 analyzer。我們對每個欄位指定分詞器。
"user": { "type": "text", "analyzer": "ik_max_word", "search_analyzer": "ik_max_word"} 上面程式碼中,analyzer是欄位文本的分詞器,search_analyzer是搜索詞的分詞器。ik_max_word分詞器是插件ik提供的,可以對文本進行最大數量的分詞。
五、數據操作
5.1 新增記錄
向指定的 /Index/Type 發送 PUT 請求,就可以在 Index 裡面新增一條記錄。比如,向/accounts/person發送請求,就可以新增一條人員記錄。
$ curl -X PUT 'localhost:9200/accounts/person/1' -d '{ "user": "張三", "title": "工程師", "desc": "資料庫管理"}' 伺服器返回的 JSON 對象,會給出 Index、Type、Id、Version 等資訊。
{ "_index":"accounts", "_type":"person", "_id":"1", "_version":1, "result":"created", "_shards":{"total":2,"successful":1,"failed":0}, "created":true} 如果你仔細看,會發現請求路徑是/accounts/person/1,最後的1是該條記錄的 Id。它不一定是數字,任意字元串(比如abc)都可以。
新增記錄的時候,也可以不指定 Id,這時要改成 POST 請求。
$ curl -X POST 'localhost:9200/accounts/person' -d '{ "user": "李四", "title": "工程師", "desc": "系統管理"}' 上面程式碼中,向/accounts/person發出一個 POST 請求,添加一個記錄。這時,伺服器返回的 JSON 對象裡面,_id欄位就是一個隨機字元串。
{ "_index":"accounts", "_type":"person", "_id":"AV3qGfrC6jMbsbXb6k1p", "_version":1, "result":"created", "_shards":{"total":2,"successful":1,"failed":0}, "created":true} 注意,如果沒有先創建 Index(這個例子是accounts),直接執行上面的命令,Elastic 也不會報錯,而是直接生成指定的 Index。所以,打字的時候要小心,不要寫錯 Index 的名稱。
5.2 查看記錄
向/Index/Type/Id發出 GET 請求,就可以查看這條記錄。
$ curl 'localhost:9200/accounts/person/1?pretty=true'
上面程式碼請求查看/accounts/person/1這條記錄,URL 的參數pretty=true表示以易讀的格式返回。
返回的數據中,found欄位表示查詢成功,_source欄位返回原始記錄。
{ "_index" : "accounts", "_type" : "person", "_id" : "1", "_version" : 1, "found" : true, "_source" : { "user" : "張三", "title" : "工程師", "desc" : "資料庫管理" }} 如果 Id 不正確,就查不到數據,found欄位就是false。
$ curl 'localhost:9200/weather/beijing/abc?pretty=true' { "_index" : "accounts", "_type" : "person", "_id" : "abc", "found" : false} 5.3 刪除記錄
刪除記錄就是發出 DELETE 請求。
$ curl -X DELETE 'localhost:9200/accounts/person/1'
這裡先不要刪除這條記錄,後面還要用到。
5.4 更新記錄
更新記錄就是使用 PUT 請求,重新發送一次數據。
$ curl -X PUT 'localhost:9200/accounts/person/1' -d '{ "user" : "張三", "title" : "工程師", "desc" : "資料庫管理,軟體開發"}' { "_index":"accounts", "_type":"person", "_id":"1", "_version":2, "result":"updated", "_shards":{"total":2,"successful":1,"failed":0}, "created":false} 上面程式碼中,我們將原始數據從"資料庫管理"改成"資料庫管理,軟體開發"。返回結果裡面,有幾個欄位發生了變化。
"_version" : 2,"result" : "updated","created" : false
可以看到,記錄的 Id 沒變,但是版本(version)從1變成2,操作類型(result)從created變成updated,created欄位變成false,因為這次不是新建記錄。
六、數據查詢
6.1 返回所有記錄
使用 GET 方法,直接請求/Index/Type/_search,就會返回所有記錄。
$ curl 'localhost:9200/accounts/person/_search' { "took":2, "timed_out":false, "_shards":{"total":5,"successful":5,"failed":0}, "hits":{ "total":2, "max_score":1.0, "hits":[ { "_index":"accounts", "_type":"person", "_id":"AV3qGfrC6jMbsbXb6k1p", "_score":1.0, "_source": { "user": "李四", "title": "工程師", "desc": "系統管理" } }, { "_index":"accounts", "_type":"person", "_id":"1", "_score":1.0, "_source": { "user" : "張三", "title" : "工程師", "desc" : "資料庫管理,軟體開發" } } ] }} 上面程式碼中,返回結果的 took欄位表示該操作的耗時(單位為毫秒),timed_out欄位表示是否超時,hits欄位表示命中的記錄,裡面子欄位的含義如下。
total:返回記錄數,本例是2條。max_score:最高的匹配程度,本例是1.0。hits:返回的記錄組成的數組。
返回的記錄中,每條記錄都有一個_score欄位,表示匹配的程式,默認是按照這個欄位降序排列。
6.2 全文搜索
Elastic 的查詢非常特別,使用自己的查詢語法,要求 GET 請求帶有數據體。
$ curl 'localhost:9200/accounts/person/_search' -d '{ "query" : { "match" : { "desc" : "軟體" }}}' 上面程式碼使用 Match 查詢,指定的匹配條件是desc欄位裡面包含"軟體"這個詞。返回結果如下。
{ "took":3, "timed_out":false, "_shards":{"total":5,"successful":5,"failed":0}, "hits":{ "total":1, "max_score":0.28582606, "hits":[ { "_index":"accounts", "_type":"person", "_id":"1", "_score":0.28582606, "_source": { "user" : "張三", "title" : "工程師", "desc" : "資料庫管理,軟體開發" } } ] }} Elastic 默認一次返回10條結果,可以通過size欄位改變這個設置。
$ curl 'localhost:9200/accounts/person/_search' -d '{ "query" : { "match" : { "desc" : "管理" }}, "size": 1}' 上面程式碼指定,每次只返回一條結果。
還可以通過from欄位,指定位移。
$ curl 'localhost:9200/accounts/person/_search' -d '{ "query" : { "match" : { "desc" : "管理" }}, "from": 1, "size": 1}' 上面程式碼指定,從位置1開始(默認是從位置0開始),只返回一條結果。
6.3 邏輯運算
如果有多個搜索關鍵字, Elastic 認為它們是or關係。
$ curl 'localhost:9200/accounts/person/_search' -d '{ "query" : { "match" : { "desc" : "軟體 系統" }}}' 上面程式碼搜索的是軟體 or 系統。
如果要執行多個關鍵詞的and搜索,必須使用布爾查詢。
$ curl 'localhost:9200/accounts/person/_search' -d '{ "query": { "bool": { "must": [ { "match": { "desc": "軟體" } }, { "match": { "desc": "系統" } } ] } }}' 七、參考鏈接
- ElasticSearch 官方手冊
- A Practical Introduction to Elasticsearch
(完)

一、前言
在開發網站/App項目的時候,通常需要搭建搜索服務。比如,新聞類應用需要檢索標題/內容,社區類應用需要檢索用戶/帖子。
對於簡單的需求,可以使用資料庫的 LIKE 模糊搜索,示例:
SELECT * FROM news WHERE title LIKE '%法拉利跑車%'
可以查詢到所有標題含有 "法拉利跑車" 關鍵詞的新聞,但是這種方式有明顯的弊端:
1、模糊查詢性能極低,當數據量龐大的時候,往往會使資料庫服務中斷; 2、無法查詢相關的數據,只能嚴格在標題中匹配關鍵詞。
因此,需要搭建專門提供搜索功能的服務,具備分詞、全文檢索等高級功能。Solr 就是這樣一款搜索引擎,可以讓你快速搭建適用於自己業務的搜索服務。
二、安裝
到官網 http://lucene.apache.org/solr/ 下載安裝包,解壓並進入 Solr 目錄:
wget 'http://apache.website-solution.net/lucene/solr/6.2.0/solr-6.2.0.tgz' tar xvf solr-6.2.0.tgz cd solr-6.2.0
目錄結構如下:

Solr 6.2 目錄結構
啟動 Solr 服務之前,確認已經安裝 Java 1.8 :

查看 Java 版本
啟動 Solr 服務:
./bin/solr start -m 1g
Solr 將默認監聽 8983 埠,其中 -m 1g 指定分配給 JVM 的記憶體為 1 G。
在瀏覽器中訪問 Solr 管理後台:
http://127.0.0.1:8983/solr/#/

Solr 管理後台
創建 Solr 應用:
./bin/solr create -c my_news
可以在 solr-6.2.0/server/solr 目錄下生成 my_news 文件夾,結構如下:

my_news 目錄結構
同時,可以在管理後台看到 my_news:

管理後台
三、創建索引
我們將從 MySQL 資料庫中導入數據到 Solr 並建立索引。
首先,需要了解 Solr 中的兩個概念:欄位(field) 和 欄位類型(fieldType),配置示例如下:

schema.xml 示例
field 指定一個欄位的名稱、是否索引/存儲和欄位類型。
fieldType 指定一個欄位類型的名稱以及在查詢/索引的時候可能用到的分詞插件。
將 solr-6.2.0serversolrmy_newsconf 目錄下默認的配置文件 managed-schema 重命名為 schema.xml 並加入新的 fieldType:

分詞類型
在 my_news 目錄下創建 lib 目錄,將用到的分詞插件 ik-analyzer-solr5-5.x.jar 加到 lib 目錄,結構如下:

my_news 目錄結構
在 Solr 安裝目錄下重啟服務:
./bin/solr restart
可以在管理後台看到新加的類型:

text_ik 類型
接下來創建和我們資料庫欄位對應的 field:title 和 content,類型選為 text_ik:

新建欄位 title
將要導入數據的 MySQL 資料庫表結構:

編輯 conf/solrconfig.xml 文件,加入類庫和資料庫配置:

類庫

dataimport config
同時新建資料庫連接配置文件 conf/db-mysql-config.xml ,內容如下:

資料庫配置文件
將資料庫連接組件 mysql-connector-java-5.1.39-bin.jar 放到 lib 目錄下,重啟 Solr,訪問管理後台,執行全量導入數據:

全量導入數據
創建定時更新腳本:

定時更新腳本
加入到定時任務,每5分鐘增量更新一次索引:

定時任務
在 Solr 管理後台測試搜索結果:

分詞搜索結果
至此,基本的搜索引擎搭建完畢,外部應用只需通過 http 協議提供查詢參數,就可以獲取搜索結果。
四、搜索干預
通常需要對搜索結果進行人工干預,比如編輯推薦、競價排名或者屏蔽搜索結果。Solr 已經內置了 QueryElevationComponent 插件,可以從配置文件中獲取搜索關鍵詞對應的干預列表,並將干預結果排在搜索結果的前面。
在 solrconfig.xml 文件中,可以看到:

干預其請求配置
定義了搜索組件 elevator,應用在 /elevate 的搜索請求中,干預結果的配置文件在 solrconfig.xml 同目錄下的 elevate.xml 中,干預配置示例:

重啟 Solr ,當搜索 "關鍵詞" 的時候,id 為 1和 4 的文檔將出現在前面,同時 id = 3 的文檔被排除在結果之外,可以看到,沒有干預的時候,搜索結果為:

無干預結果
當有搜索干預的時候:

干預結果
通過配置文件干預搜索結果,雖然簡單,但是每次更新都要重啟 Solr 才能生效,稍顯麻煩,我們可以仿照 QueryElevationComponent 類,開發自己的干預組件,例如:從 Redis 中讀取干預配置。
五、中文分詞
中文的搜索品質,和分詞的效果息息相關,可以在 Solr 管理後台測試分詞:

分詞結果測試
上例可以看到,使用 IKAnalyzer 分詞插件,對 「北京科技大學」 分詞的測試結果。當用戶搜索 「北京」、「科技大學」、「科技大」、「科技」、「大學」 這些關鍵詞的時候,都會搜索到文本內容含 「北京科技大學」 的文檔。
常用的中文分詞插件有 IKAnalyzer、mmseg4j和 Solr 自帶的 smartcn 等,分詞效果各有優劣,具體選擇哪個,可以根據自己的業務場景,分別測試效果再選擇。
分詞插件一般都有自己的默認詞庫和擴展詞庫,默認詞庫包含了絕大多數常用的中文詞語。如果默認詞庫無法滿足你的需求,比如某些專業領域的辭彙,可以在擴展詞庫中手動添加,這樣分詞插件就能識別新詞語了。

分詞插件擴展詞庫配置示例
分詞插件還可以指定停止詞庫,將某些無意義的辭彙剔出分詞結果,比如:「的」、「哼」 等,例如:

去除無意義的詞
六、總結
以上介紹了 Solr 最常用的一些功能,Solr 本身還有很多其他豐富的功能,比如分散式部署。
希望對你有所幫助。
七、附錄
1、參考資料:
https://wiki.apache.org/solr/
http://lucene.apache.org/solr/quickstart.html
https://cwiki.apache.org/confluence/display/solr/Apache+Solr+Reference+Guide
2、上述 Demo 中用到的所有配置文件、Jar 包:
https://github.com/Ceelog/OpenSchool/blob/master/my_news.zip
3、還有疑問?聯繫作者微博/微信 @Ceelog
搜索引擎選型整理:Elasticsearch vs Solr
本文首發於我的部落格 原文鏈接:Elasticsearch 與 Solr 的比較
Elasticsearch簡介*
Elasticsearch是一個實時的分散式搜索和分析引擎。它可以幫助你用前所未有的速度去處理大規模數據。
它可以用於全文搜索,結構化搜索以及分析,當然你也可以將這三者進行組合。
Elasticsearch是一個建立在全文搜索引擎 Apache Lucene(TM) 基礎上的搜索引擎,可以說Lucene是當今最先進,最高效的全功能開源搜索引擎框架。
但是Lucene只是一個框架,要充分利用它的功能,需要使用JAVA,並且在程式中集成Lucene。需要很多的學習了解,才能明白它是如何運行的,Lucene確實非常複雜。
Elasticsearch使用Lucene作為內部引擎,但是在使用它做全文搜索時,只需要使用統一開發好的API即可,而不需要了解其背後複雜的Lucene的運行原理。
當然Elasticsearch並不僅僅是Lucene這麼簡單,它不但包括了全文搜索功能,還可以進行以下工作:
- 分散式實時文件存儲,並將每一個欄位都編入索引,使其可以被搜索。
- 實時分析的分散式搜索引擎。
- 可以擴展到上百台伺服器,處理PB級別的結構化或非結構化數據。
這麼多的功能被集成到一台伺服器上,你可以輕鬆地通過客戶端或者任何你喜歡的程式語言與ES的RESTful API進行交流。
Elasticsearch的上手是非常簡單的。它附帶了很多非常合理的默認值,這讓初學者很好地避免一上手就要面對複雜的理論,
它安裝好了就可以使用了,用很小的學習成本就可以變得很有生產力。
隨著越學越深入,還可以利用Elasticsearch更多高級的功能,整個引擎可以很靈活地進行配置。可以根據自身需求來訂製屬於自己的Elasticsearch。
使用案例:
- 維基百科使用Elasticsearch來進行全文搜做並高亮顯示關鍵詞,以及提供search-as-you-type、did-you-mean等搜索建議功能。
- 英國衛報使用Elasticsearch來處理訪客日誌,以便能將公眾對不同文章的反應實時地回饋給各位編輯。
- StackOverflow將全文搜索與地理位置和相關資訊進行結合,以提供more-like-this相關問題的展現。
- GitHub使用Elasticsearch來檢索超過1300億行程式碼。
- 每天,Goldman Sachs使用它來處理5TB數據的索引,還有很多投行使用它來分析股票市場的變動。
但是Elasticsearch並不只是面向大型企業的,它還幫助了很多類似DataDog以及Klout的創業公司進行了功能的擴展。
Elasticsearch的優缺點**:
優點
- Elasticsearch是分散式的。不需要其他組件,分發是實時的,被叫做"Push replication"。
- Elasticsearch 完全支援 Apache Lucene 的接近實時的搜索。
- 處理多租戶(multitenancy)不需要特殊配置,而Solr則需要更多的高級設置。
- Elasticsearch 採用 Gateway 的概念,使得完備份更加簡單。
- 各節點組成對等的網路結構,某些節點出現故障時會自動分配其他節點代替其進行工作。
缺點
- 只有一名開發者(當前Elasticsearch GitHub組織已經不只如此,已經有了相當活躍的維護者)
- 還不夠自動(不適合當前新的Index Warmup API)
Solr簡介*
Solr(讀作「solar」)是Apache Lucene項目的開源企業搜索平台。其主要功能包括全文檢索、命中標示、分面搜索、動態聚類、資料庫集成,以及富文本(如Word、PDF)的處理。Solr是高度可擴展的,並提供了分散式搜索和索引複製。Solr是最流行的企業級搜索引擎,Solr4 還增加了NoSQL支援。
Solr是用Java編寫、運行在Servlet容器(如 Apache Tomcat 或Jetty)的一個獨立的全文搜索伺服器。Solr採用了 Lucene Java 搜索庫為核心的全文索引和搜索,並具有類似REST的HTTP/XML和JSON的API。Solr強大的外部配置功能使得無需進行Java編碼,便可對其進行調整以適應多種類型的應用程式。Solr有一個插件架構,以支援更多的高級訂製。
因為2010年 Apache Lucene 和 Apache Solr 項目合併,兩個項目是由同一個Apache軟體基金會開發團隊製作實現的。提到技術或產品時,Lucene/Solr或Solr/Lucene是一樣的。
Solr的優缺點
優點
- Solr有一個更大、更成熟的用戶、開發和貢獻者社區。
- 支援添加多種格式的索引,如:HTML、PDF、微軟 Office 系列軟體格式以及 JSON、XML、CSV 等純文本格式。
- Solr比較成熟、穩定。
- 不考慮建索引的同時進行搜索,速度更快。
缺點
- 建立索引時,搜索效率下降,實時索引搜索效率不高。
Elasticsearch與Solr的比較*
當單純的對已有數據進行搜索時,Solr更快。

Search Fesh Index While Idle
當實時建立索引時, Solr會產生io阻塞,查詢性能較差, Elasticsearch具有明顯的優勢。

search_fresh_index_while_indexing
隨著數據量的增加,Solr的搜索效率會變得更低,而Elasticsearch卻沒有明顯的變化。

search_fresh_index_while_indexing
綜上所述,Solr的架構不適合實時搜索的應用。
實際生產環境測試*
下圖為將搜索引擎從Solr轉到Elasticsearch以後的平均查詢速度有了50倍的提升。

average_execution_time
Elasticsearch 與 Solr 的比較總結
- 二者安裝都很簡單;
- Solr 利用 Zookeeper 進行分散式管理,而 Elasticsearch 自身帶有分散式協調管理功能;
- Solr 支援更多格式的數據,而 Elasticsearch 僅支援json文件格式;
- Solr 官方提供的功能更多,而 Elasticsearch 本身更注重於核心功能,高級功能多有第三方插件提供;
- Solr 在傳統的搜索應用中表現好於 Elasticsearch,但在處理實時搜索應用時效率明顯低於 Elasticsearch。
Solr 是傳統搜索應用的有力解決方案,但 Elasticsearch 更適用於新興的實時搜索應用。
其他基於Lucene的開源搜索引擎解決方案*
- 直接使用 Lucene 說明:Lucene 是一個 JAVA 搜索類庫,它本身並不是一個完整的解決方案,需要額外的開發工作。 優點:成熟的解決方案,有很多的成功案例。apache 頂級項目,正在持續快速的進步。龐大而活躍的開發社區,大量的開發人員。它只是一個類庫,有足夠的訂製和優化空間:經過簡單訂製,就可以滿足絕大部分常見的需求;經過優化,可以支援 10億+ 量級的搜索。 缺點:需要額外的開發工作。所有的擴展,分散式,可靠性等都需要自己實現;非實時,從建索引到可以搜索中間有一個時間延遲,而當前的「近實時」(Lucene Near Real Time search)搜索方案的可擴展性有待進一步完善
- Katta 說明:基於 Lucene 的,支援分散式,可擴展,具有容錯功能,准實時的搜索方案。 優點:開箱即用,可以與 Hadoop 配合實現分散式。具備擴展和容錯機制。 缺點:只是搜索方案,建索引部分還是需要自己實現。在搜索功能上,只實現了最基本的需求。成功案例較少,項目的成熟度稍微差一些。因為需要支援分散式,對於一些複雜的查詢需求,訂製的難度會比較大。
- Hadoop contrib/index 說明:Map/Reduce 模式的,分散式建索引方案,可以跟 Katta 配合使用。 優點:分散式建索引,具備可擴展性。 缺點:只是建索引方案,不包括搜索實現。工作在批處理模式,對實時搜索的支援不佳。
- LinkedIn 的開源方案 說明:基於 Lucene 的一系列解決方案,包括 准實時搜索 zoie ,facet 搜索實現 bobo ,機器學習演算法 decomposer ,摘要存儲庫 krati ,資料庫模式包裝 sensei 等等 優點:經過驗證的解決方案,支援分散式,可擴展,豐富的功能實現 缺點:與 linkedin 公司的聯繫太緊密,可訂製性比較差
- Lucandra 說明:基於 Lucene,索引存在 cassandra 資料庫中 優點:參考 cassandra 的優點 缺點:參考 cassandra 的缺點。另外,這只是一個 demo,沒有經過大量驗證
- HBasene 說明:基於 Lucene,索引存在 HBase 資料庫中 優點:參考 HBase 的優點 缺點:參考 HBase 的缺點。另外,在實現中,lucene terms 是存成行,但每個 term 對應的 posting lists 是以列的方式存儲的。隨著單個 term 的 posting lists 的增大,查詢時的速度受到的影響會非常大

