您的当前位置:首页正文

微服务学习|初识elasticsearch、操作索引库、文档操作、RestClient操作索引库、RestClient操作文档

2024-11-30 来源:个人技术集锦

初识elasticsearch

什么是elasticsearch?

elasticsearch是一款非常强大的开源搜索引擎,可以帮助我们从海量数据中快速找到需要的内容。

elasticsearch结合kibana、Logstash、Beats,也就是elastic stack (ELK)。被广泛应用在日志数据分析、实时监控等领域

elasticsearch是elastic stack的核心,负责存储、搜索、分析数据

elasticsearch的发展

正向索引和倒排索引

传统数据库(如MySQL)采用正向索引,例如给下表 (tb_goods)中的id创建索引

elasticsearch采用倒排索引:
文档(document):每条数据就是一个文档
词条(term):文档按照语义分成的词语

什么是文档和词条?
每一条数据就是一个文档
对文档中的内容分词,得到的词语就是词条
什么是正向索引?
基于文档id创建索引。查询词条时必须先找到文档,而后判断是否包含词条
什么是倒排索引?
对文档内容分词,对词条创建索引,并记录词条所在文档的信息。查询时先根据词条查询到文档id,而后获取到文档

文档

elasticsearch是面向文档存储的,可以是数据库中的一条商品数据,一个订单信息。文档数据会被序列化为json格式后存储在elasticsearch中

索引(Index)

索引(index):相同类型的文档的集合,相当于数据库中的表

映射 (mapping):索引中文档的字段约束信息,类似数据库中表的结构约束

概念对比

架构

Mysql: 擅长事务类型操作,可以确保数据的安全和一致性

Elasticsearch: 擅长海量数据的搜索、分析、计算

部署单点es

1.创建网络

因为我们还需要部署kibana容器,因此需要让es和kibana容器互联。这里先创建一个网络

2.加载镜像

这里我们采用elasticsearch的7.12.1版本的镜像,这个镜像体积非常大,接近1G。不建议大
家自己pull。课前资料提供了镜像的tar包

大家将其上传到虚拟机中,然后运行命令加载即可

同理还有kibana的tar包也需要这样做

3.运行

运行docker命令,部署单点es

访问本机ip+es的端口号,发现已经可以访问,部署es容器成功

部署kibana

kibana可以给我们提供一个elasticsearch的可视化界面,便于我们学习

部署

运行docker命令,部署kibana

访问本机ip+kibana端口

发现可以访问kibana了,说明容器创建成功

可在控制台编写DSL语句访问es

分词器

es在创建倒排索引时需要对文档分词;在搜索时,需要对用户输入内容分词。但默认的分词规则对中文处理并不友好。我们在kibana的DevTools中测试

可以看到自带的分词器对中文的处理并不友好,都是一个字一个字的分

处理中文分词,一般会使用IK分词器。https://github.com/medcl/elasticsearch-analysis-ik

安装IK分词器,参考课前资料《安装elasticsearch.md》

1.查看数据卷目录

2.解压缩分词器安装包

下面我们需要把课前资料中的ik分词器解压缩,重命名为ik

3.上传到es容器的插件数据卷中

也就是/var/Tib/docker/voTumes/es-plugins/_data

4.重启容器

5.测试

IK分词器包含两种模式,ik_smart:最少切分,ik_max_word:最细切分

可以看到使用ik_smart方式进行分词后,中文词语被成功切分,不再是一个一个字的被分开

使用ik_max_word方式分词,则比如“程序员”被分开了,然而“程序”也是一个词,就依然被弄成了一个词条

比如说,网络上流行的一些新的词汇,比如“奥力给”我们也想将它弄成一个词条,ik分词器识别不出来怎么办呢?用ik分词器-拓展词库解决。

ik分词器-拓展词库

ik分词器-停用词库

在stopword.dic文件中添加想要停用的词语即可

重启es容器

重新测试,我们可以看到我们添加的新的词汇被ik分词器识别,分成了独立的词条

操作索引库

mapping属性

创建索引库

ES中通过Restful请求操作索引库、文档。请求内容用DSL语句来表示。创建索引库和mapping的DSL语法如下

查看、删除索引库

查看索引库语法

删除索引库的语法

修改索引库

索引库和mapping一旦创建无法修改,但是可以添加新的字段,语法如下

文档操作

添加文档

新增文档的DSL语法如下

查看、删除文档

查看文档语法

删除文档的语法

修改文档

方式一:全量修改,会删除旧文档,添加新文档

方式二:增量修改,修改指定字段值

RestClient操作索引库

什么是RestClient?

案例:利用JavaRestClient实现创建、删除索引库,判断索引库是否存在

根据课前资料提供的酒店数据创建索引库,索引库名为hotel,mapping属性根据数据库结构定义。基本步骤如下:
1,导入课前资料Demo
2.分析数据结构,定义mapping属性
3.初始化avaRestClient
4.利用JavaRestClient创建索引库
5.利用JavaRestClient删除索引库
6.利用JavaRestClient判断索引库是否存在

步骤1: 导入课前资料Demo

首先导入课前资料提供的数据库数据

然后导入课前资料提供的项目

该项目已经提供好了对上述表的增删改查等一些基本操作

步骤2: 分析数据结构

mapping要考虑的问题:
字段名、数据类型、是否参与搜索、是否分词、如果分词,分词器是什么

根据数据库中该表的字段约束,编写这个索引库的mapping约束

在最后创建一个all,可以用来将所有分词查询的字段添加其中

步骤3: 初始化JavaRestClient

1.引入es的RestHighLevelclient依赖

2.因为SpringBoot默认的ES版本是7.6.2,所以我们需要覆盖默认的ES版本

3.初始化RestHighLevelClient

创建一个测试类,在启动前初始化RestHighLevelClient,结束后,关闭该客户端资源

步骤4:创建索引库

创建索引库代码如下

创建一个常量类,在里面定义静态变量MAPPING_TEMPLATE,也就是创建索引库的DSL语句

步骤5: 删除索引库、判断索引库是否存在

删除索引库代码如下

判断索引库是否存在

RestClient操作文档

案例:利用JavaRestClient实现文档的CRUD

去数据库查询酒店数据,导入到hotel索引库,实现酒店数据的CRUD基本步骤如下:
1.初始化JavaRestClient
2.利用JavaRestClient新增酒店数据
3.利用avaRestClient根据id查询酒店数据
4.利用JavaRestClient删除酒店数据
5.利用lavaRestClient修改酒店数据

步骤1:初始化JavaRestClient

创建一个测试类,在启动前初始化RestHighLevelClient,结束后,关闭该客户端资源

步骤2: 添加酒店数据到索引库

先查询酒店数据,然后给这条数据创建倒排索引,即可完成添加

添加到es索引库中的酒店数据,里面的坐标与数据库中的不一致,我们需要构建一个构造器,来让数据库中的类转换成要存入索引库中的这个类

将数据库中查询到的酒店数据,添加到es索引库中去的代码如下

运行后,我们去查询该文档,可以查询出结果,说明添加到索引库成功

步骤3: 根据id查询酒店数据

根据id查询到的文档数据是json,需要反序列化为java对象

根据id查询到的文档代码如下

运行后,控制台输出结果

步骤4: 根据id修改酒店数据

修改文档数据有两种方式:
方式一:全量更新。再次写入id一样的文档,就会删除旧文档,添加新文档
方式二:局部更新。只更新部分字段,我们演示方式二

修改文档数据代码如下

再次调用根据id查询酒店数据的方法,发现查询出的数据的price和starName已经被修改

步骤5: 根据id删除文档数据

删除文档代码如下

demo中删除文档代码如下

再调用根据id查询酒店数据的方法,发现该条文档已经查询不到,说明删除成功

案例:利用JavaRestClient批量导入酒店数据到ES

需求:批量查询酒店数据,然后批量导入索引库中
思路:
1.利用mybatis-plus查询酒店数据
2.将查询到的酒店数据 (Hotel) 转换为文档类型数据 (HotelDoc)
3,利用JavaRestClient中的Bulk批处理,实现批量新增文档,示例代码如下

demo中的具体代码如下

查询hotel索引库的全部内容,发现所有酒店数据信息已经被导入进来

显示全文