Springboot之整合ElasticSearch使用

• 2019 年 10 月 8 日
• 笔记

“ 技术分享，不停更。除非老板娘喊我。

引入

先说一起昨天发生的事件。

（来自infoq）据外媒报道，1月22日，美国一家网上赌场集团泄露了超过 1.08 亿笔投注信息，包括客户个人资料，存取款记录、家庭住址、电话号码、电子邮件地址、出生日期、网站用户名、帐户余额、IP 地址、浏览器、操作系统信息、上次登录信息和游戏列表，甚至包含当前投注、获胜、用于交易的银行卡等详细信息。

该服务器被安全研究员 Justin Paine 发现，数据泄露源头竟然是 ElasticSearch 服务器，该服务器没有密码保护，不需要身份验证且很明显信息来源于在线投注门户网站。

近年关于ElasticSearch 的安全事故频发

ElasticSearch 是一个搜索引擎，企业一般用它来改进自有网络内的数据索引和搜索功能，通常会装在内部网络用来处理公司机密信息，信息不会泄露在网上，因为通常处理的是公司内部最敏感的信息。

虽然 ElasticSearch 通常在公司内部运行，但近年因为其未加密而发生的数据泄露事件不在少数：

2017 年，白帽汇曾对全球使用 ElasticSearch 引擎发生的勒索事件进行监测，最终发现因被攻击而删除的数据至少 500 亿条，被删除数据规模至少 450TB。系统显示，互联网上公开可访问的 ElasticSearch 服务器超过 68000 余台，受害总数达 9750 台。其中，美国 4380 台，中国第二为 944 台，其余来自法国、爱尔兰和新加坡等地。此次事件后，1% 的 Elasticsearch 启用了验证插件，另外有 2% 则关闭了 Elasticsearch。

2018 年 11 月份，美国还曾发生一起 ElasticSearch 服务器在没有密码的开放状态下泄露了将近 5700 万美国民众个人信息的事件。当时共泄漏超过 73GB 数据，并且几个数据库被缓存在服务器内存中，其中一个数据库包含的个人信息就达到了 56,934,021 份。

2018 年 12 月份，巴西最大的订阅电视服务之一的 Sky Brasil 在没有密码的情况下将 ElasticSearch 服务器暴露在互联网上，其 3200 万客户数据在网上暴露了很长时间，存储数据包括客户姓名、电子邮件地址、密码、付费电视包数据、客户端 IP 地址、个人地址、付款方式、设备型号等。

回顾几起案例，相似之处在于 ElasticSearch 服务器均在没有密码保护的情况下遭到泄露，因此企业应该对该服务器进行加密，如果不喜欢付费软件，网络中也有很多开源工具可供选择；其次，升级目前所用的 ElasticSearch 版本，较高版本暂时安全性更好；最后，如果选用了与 ElasticSearch 一起使用的集成工具，也需要检查这些工具是否会存在漏洞并做好加密工作。

那为什么不加密呢？我想有一个重要的原因，那还不是人家收费嘛。官方集成的Plugin – Xpack就有安全这一功能。但是！要收费，要收费，要收费。

扯了这么多，那为啥我们还用它啊，因为它好用啊。

02

具体配置

关于安全，或者网关权限，业内有各式各样的曲线救国办法。比如Nginx中配置htpasswd等等，想了解的网上一搜就会有很多。今天，我们来说一个由Spring公司的spring-data-elasticsearch对ES数据的简单集成和使用。所谓，站在巨人的肩膀上用现成的工具，从开发效率上讲，可谓是事半功倍。

使用前提：

• JDK8+
• Springboot 2.1.1.RELEASE
• IDEA
• Mysql5.5+
• lombok
• Greenwich.RELEASE（如果有集成Cloud，建议使用）

1、pom.xml

 1    <groupId>com.bboyHan</groupId>   2    <artifactId>demo-project</artifactId>   3    <packaging>pom</packaging>   4    <version>1.0-SNAPSHOT</version>   5   6    <parent>   7        <groupId>org.springframework.boot</groupId>   8        <artifactId>spring-boot-starter-parent</artifactId>   9        <version>2.1.1.RELEASE</version>  10    </parent>  11  12    <dependencyManagement>  13        <dependencies>  14            <dependency>  15                <groupId>org.springframework.cloud</groupId>  16                <artifactId>spring-cloud-dependencies</artifactId>  17                <version>Greenwich.RELEASE</version>  18                <!--<version>Edgware.SR3</version>-->  19                <type>pom</type>  20                <scope>import</scope>  21            </dependency>  22        </dependencies>  23    </dependencyManagement>  24  25    <dependencies>  26        ...  27  28        <!-- 对应es 6.2.2 version-->  29        <dependency>  30            <groupId>org.springframework.data</groupId>  31            <artifactId>spring-data-elasticsearch</artifactId>  32        </dependency>  33        <dependency>  34            <groupId>org.springframework.boot</groupId>  35            <artifactId>spring-boot-starter-web</artifactId>  36        </dependency>  37        ...  38    </dependencies>

2、application.yml

 1server:   2  port: 8080   3   4spring:   5  profiles:   6    active: dev   7  application:   8    name: @pom.artifactId@   9  10  data:  11    elasticsearch:  12      cluster-name: my-application # 对应es.yml里的cluster.name  13      cluster-nodes: 127.0.0.1:9300  14      repositories:  15        enabled: true  16  17  datasource:  18    url: jdbc:mysql://localhost:3306/bboyhan?characterEncoding=UTF-8&useUnicode=true&useSSL=false  19    username: root  20    password: root  21    type: com.alibaba.druid.pool.DruidDataSource  22    driver-class-name: com.mysql.cj.jdbc.Driver  23

补充：

Mysql在升级6之后，Driver有了新的变化，使用的是“com.mysql.cj.jdbc.Driver”，之前的“com.mysql.jdbc.Driver”已经弃用。另外，如果大家使用了JDBC连接Mysql6 com.mysql.cj.jdbc.Driver， 需要指定时区serverTimezone。

1  datasource:  2    url: jdbc:mysql://localhost:3306/bboyHan?serverTimezone=UTC&useSSL=false

0

3

写代码

最近工作比较忙，小编代码命名比较随意了，就是传统的MVC，大家凑合看哈。

3、Controller

 1@RestController   2public class TestController {   3   4    @Autowired   5    private TestService testService;   6   7    @GetMapping("/test")   8    public Result test() {   9        return testService.test();  10    }  11}

4、Service

 1/**   2 * @Auther: bboyHan   3 * @Date: 2019/1/23 19:24   4 */   5@Service   6public class TestService {   7   8    @Autowired   9    private TestEsRepo testEsRepo;  10  11    public Result test() {  12        TestEs entity = new TestEs();  13        testEsRepo.save(entity);  14        return Result.success(save);  15    }  16}

5、repository

1/**  2 * @Auther: bboyHan  3 * @Date: 2019/1/23 19:20  4 */  5@Repository  6public interface TestEsRepo extends ElasticsearchRepository<TestEs,Long>{  7}

6、entity

 1import lombok.Data;   2/**   3 * @Auther: bboyHan   4 * @Date: 2019/1/23 19:15   5 * @Description:   6 */   7@Data   8public class TestEs {   9  10    private Long id;  11    private String name;  12    private String money;  13  14}

7、启动类

1@SpringBootApplication  2@EnableElasticsearchRepositories  3public class SearchApplication {  4  5    public static void main(String[] args) {  6        SpringApplication.run(SearchApplication.class, args);  7    }  8}

到这里就完成了，亲测可行。