Elasticsearch源碼解析：環境搭建

2020 年 7 月 20 日
筆記
elasticsearch

在之前學習Redis的過程中，我就是一邊通過文檔/影片學習，一邊閱讀源碼。我發現兩種方法可以相輔相成，互相補充。閱讀文檔可以幫助我們快速了解某個功能，閱讀源碼有助於我們更深入的理解這一功能的實現及思想。

因此，在學習 Elasticsearch 的時候我也準備採用這樣的模式。所以，從今天開始，我會定期更新學習 Elasticsearch 源碼的收穫。在開始學習之前，需要先把環境準備好。所以今天就先分享一下準備環境的過程。

軟體環境

Intellij Idea:2020.1版本

JDK 12

Gradle 5.5

下載源碼

你可以在 Github 中下載 release 版本或指定 tag 的源碼，地址如下。

//github.com/elastic/elasticsearch/releases

下載好以後解壓到指定目錄/

tar -xzvf elasticsearch-7.3.1.tar.gz

也可以直接在命令行通過 git 下載源碼

git clone [email protected]:elastic/elasticsearch.git

然後可以切換到你想要的版本

git checkout v7.3.1

導入IntelliJ IDEA

下載好源碼以後，我們來將項目導入 IDEA，首先，進入到項目的根目錄，執行命令

./gradlew idea

這一步是生成 IntelliJ 的項目文件，需要下載一些依賴包，下載的不順利的同學可以選擇將 gradle 源切換成中國的源。

切換 gradle 源

進入目錄

cd ~/.gradle

新建一個名為 init.gradle 的目錄，內容如下

allprojects {
    repositories {
        def ALIYUN_REPOSITORY_URL = '//maven.aliyun.com/repository/public'
        all { ArtifactRepository repo ->
            if(repo instanceof MavenArtifactRepository){
                def url = repo.url.toString()
                if (url.startsWith('//repo1.maven.org/maven2')) {
                    project.logger.lifecycle "Repository ${repo.url} replaced by $ALIYUN_REPOSITORY_URL."
                    remove repo
                }
            }
        }
        maven { url ALIYUN_REPOSITORY_URL }
    }
}

文件生成好之後，會有如下提示

現在我們開始往 idea 中導入項目，File -> New Project From Existing Sources，選擇你的程式碼根目錄，然後點擊open，之後在Import project from external model -> Gradle，到 idea 中，它還會下載一些包。下載完以後，我們就算是導入完成了。

本地運行Elasticsearch

將項目導入到 idea 中之後，我們就可以嘗試運行項目了，這一步看似簡單，卻是我花費時間最多的一步。首先我們找到 server 包下的org/elasticsearch/bootstrap/Elasticsearch.java，運行其中的main函數。

如果你運行失敗，不要驚慌，我們需要加一些配置。

點開 Run/Debug Configrations，如圖，我們需要在 VM options 中加一些配置。還需要勾選上 Include dependencies with "Provided" scope

VM options 如下

-Des.path.home=/Users/moka/eshome
-Des.path.conf=/Users/moka/eshome/config
-Xms1g
-Xmx1g
-Dlog4j2.disable.jmx=true
-Djava.security.policy=/Users/moka/eshome/config/elasticsearch.policy

下面對這些參數進行一下說明

-Des.path.home：指定eshome所在路徑，elasticsearch 會需要從這個路徑下載入一些包，因此，我們需要指定一個目錄，然後把必要的模組和配置文件複製到該目錄下，你可以選擇自己編譯源碼，或者是從官網下載對應的二進位版本，

tar -zxvf elasticsearch-7.3.1-darwin-x86_64.tar.gz
cd elasticsearch-7.3.1
cp -r config modules plugins /Users/moka/eshome

-Des.path.conf：指定配置文件所在的路徑名，後續調整節點配置時，修改其下的配置文件

-Xms1g 和 -Xmx1g 設置 JVM 堆的大小

-Dlog4j2.disable.jmx=true：這個是jvm.options文件中的默認配置，不加的話會報「access denied」等錯誤。

-Djava.security.policy：這個也是許可權問題，配置policy文件路徑，內容如下

grant{
  permission javax.management.MBeanTruxtPermission "register";
  permission javax.management.MBeanServerPermission "createMBeanServer";
  permission java.lang.RuntimePermission "createClassLoader";
};

按照這些配置好以後，發現還是會報錯

java.lang.NoClassDefFoundError: org/elasticsearch/plugins/ExtendedPluginsClassLoader
	at org.elasticsearch.plugins.PluginsService.loadBundle(PluginsService.java:494) ~[main/:?]
	at org.elasticsearch.plugins.PluginsService.loadBundles(PluginsService.java:422) ~[main/:?]
	at org.elasticsearch.plugins.PluginsService.<init>(PluginsService.java:146) ~[main/:?]
	at org.elasticsearch.node.Node.<init>(Node.java:303) ~[main/:?]
	at org.elasticsearch.node.Node.<init>(Node.java:246) ~[main/:?]
	at org.elasticsearch.bootstrap.Bootstrap$5.<init>(Bootstrap.java:213) ~[main/:?]
	at org.elasticsearch.bootstrap.Bootstrap.setup(Bootstrap.java:213) ~[main/:?]
	at org.elasticsearch.bootstrap.Bootstrap.init(Bootstrap.java:323) ~[main/:?]
	at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:121) ~[main/:?]
	at org.elasticsearch.bootstrap.Elasticsearch.execute(Elasticsearch.java:112) ~[main/:?]
	at org.elasticsearch.cli.EnvironmentAwareCommand.execute(EnvironmentAwareCommand.java:86) ~[main/:?]
	at org.elasticsearch.cli.Command.mainWithoutErrorHandling(Command.java:124) ~[main/:?]
	at org.elasticsearch.cli.Command.main(Command.java:90) ~[main/:?]
	at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:92) ~[main/:?]
	at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:85) ~[main/:?]
Caused by: java.lang.ClassNotFoundException: org.elasticsearch.plugins.ExtendedPluginsClassLoader
	at jdk.internal.loader.BuiltinClassLoader.loadClass(BuiltinClassLoader.java:582) ~[?:?]
	at jdk.internal.loader.ClassLoaders$AppClassLoader.loadClass(ClassLoaders.java:190) ~[?:?]
	at java.lang.ClassLoader.loadClass(ClassLoader.java:499) ~[?:?]
	... 15 more

這一步應該是 IDEA 的報錯，網上有同學說是勾選 Include dependencies with "Provided" scope，我試了一下沒什麼效果。然後把 server 包下的 build.gradle 文件修改一下解決了問題。

找到

compileOnly project(':libs:elasticsearch-plugin-classloader')

修改為

compile project(':libs:elasticsearch-plugin-classloader')

改完之後再次運行，會有一個空指針報錯，報錯位置是

server/src/main/java/org/elasticsearch/node/InternalSettingsPreparer.java:119

這裡是因為我沒有設置 node.name，在 elasticsearch.yml 文件中設置一下就可以了。

現在再點擊 Run/Debug ，就可以成功運行了。

遠程調試

本地調試的另一種方法就是遠程 debug。

首先，我們進入到下載的一個穩定版本的 elasticsearch 目錄，在 bin/elasticsearch文件中加上一行程式碼

-agentlib:jdwp=transport=dt_socket,server=y,address=8888,suspend=y \

加上之後的程式碼如下：

if ! echo $* | grep -E '(^-d |-d$| -d |--daemonize$|--daemonize )' > /dev/null; then
  exec \
    "$JAVA" \
    $ES_JAVA_OPTS \
    -agentlib:jdwp=transport=dt_socket,server=y,address=8888,suspend=y \
    -Des.path.home="$ES_HOME" \
    -Des.path.conf="$ES_PATH_CONF" \
    -Des.distribution.flavor="$ES_DISTRIBUTION_FLAVOR" \
    -Des.distribution.type="$ES_DISTRIBUTION_TYPE" \
    -Des.bundled_jdk="$ES_BUNDLED_JDK" \
    -cp "$ES_CLASSPATH" \
    org.elasticsearch.bootstrap.Elasticsearch \
    "$@"
else
  exec \
    "$JAVA" \
    $ES_JAVA_OPTS \
    -Des.path.home="$ES_HOME" \
    -Des.path.conf="$ES_PATH_CONF" \
    -Des.distribution.flavor="$ES_DISTRIBUTION_FLAVOR" \
    -Des.distribution.type="$ES_DISTRIBUTION_TYPE" \
    -Des.bundled_jdk="$ES_BUNDLED_JDK" \
    -cp "$ES_CLASSPATH" \
    org.elasticsearch.bootstrap.Elasticsearch \
    "$@" \
    <&- &
  retval=$?
  pid=$!
  [ $retval -eq 0 ] || exit $retval
  if [ ! -z "$ES_STARTUP_SLEEP_TIME" ]; then
    sleep $ES_STARTUP_SLEEP_TIME
  fi
  if ! ps -p $pid > /dev/null ; then
    exit 1
  fi
  exit 0
fi

exit $?

然後我們執行./elasticsearch，會出現如下資訊，說明 Elasticsearch 在監聽8888埠。

現在我們到 IDEA 中添加一個 Remote Run

接著進行埠配置。

然後就可以選擇這個 Remote 來進行 Debug 了。當控制台出現

Connected to the target VM, address: 'localhost:8888', transport: 'socket'

說明連接成功了。

我們來實驗一下，在這個位置打一個斷點

server/src/main/java/org/elasticsearch/rest/action/cat/RestHealthAction.java:54

然後在瀏覽器地址欄中輸入

//localhost:9200/_cat/health

如果進入斷點，說明我們已經可以成功 Debug 了。

總結

工欲善其事，必先利其器。在閱讀源碼之前，我們首先需要搭建好環境，本文我們介紹了兩種方法，一種是直接在 IDEA 中啟動 Elasticsearch ，另一種是 Debug 遠程的 Elasticsearch。其中第二種方法，相對比較簡單，推薦大家使用。

Tags: elasticsearch