elasticsearch是一款非常强大的开源搜索引擎,可以帮助我们从海量数据中快速找到需要的内容。
elasticsearch结合kibana、Logstash、Beats,也就是elastic stack (ELK)。被广泛应用在日志数据分析、实时监控等领域
elasticsearch是elastic stack的核心,负责存储、搜索、分析数据
传统数据库(如MySQL)采用正向索引,例如给下表 (tb_goods)中的id创建索引
elasticsearch采用倒排索引:
文档(document):每条数据就是一个文档
词条(term):文档按照语义分成的词语
什么是文档和词条?
每一条数据就是一个文档
对文档中的内容分词,得到的词语就是词条
什么是正向索引?
基于文档id创建索引。查询词条时必须先找到文档,而后判断是否包含词条
什么是倒排索引?
对文档内容分词,对词条创建索引,并记录词条所在文档的信息。查询时先根据词条查询到文档id,而后获取到文档
elasticsearch是面向文档存储的,可以是数据库中的一条商品数据,一个订单信息。文档数据会被序列化为json格式后存储在elasticsearch中
索引(index):相同类型的文档的集合,相当于数据库中的表
映射 (mapping):索引中文档的字段约束信息,类似数据库中表的结构约束
Mysql: 擅长事务类型操作,可以确保数据的安全和一致性
Elasticsearch: 擅长海量数据的搜索、分析、计算
因为我们还需要部署kibana容器,因此需要让es和kibana容器互联。这里先创建一个网络
这里我们采用elasticsearch的7.12.1版本的镜像,这个镜像体积非常大,接近1G。不建议大
家自己pull。课前资料提供了镜像的tar包
大家将其上传到虚拟机中,然后运行命令加载即可
同理还有kibana的tar包也需要这样做
运行docker命令,部署单点es
访问本机ip+es的端口号,发现已经可以访问,部署es容器成功
kibana可以给我们提供一个elasticsearch的可视化界面,便于我们学习
运行docker命令,部署kibana
访问本机ip+kibana端口
发现可以访问kibana了,说明容器创建成功
可在控制台编写DSL语句访问es
es在创建倒排索引时需要对文档分词;在搜索时,需要对用户输入内容分词。但默认的分词规则对中文处理并不友好。我们在kibana的DevTools中测试
可以看到自带的分词器对中文的处理并不友好,都是一个字一个字的分
处理中文分词,一般会使用IK分词器。https://github.com/medcl/elasticsearch-analysis-ik
安装IK分词器,参考课前资料《安装elasticsearch.md》
下面我们需要把课前资料中的ik分词器解压缩,重命名为ik
也就是/var/Tib/docker/voTumes/es-plugins/_data
IK分词器包含两种模式,ik_smart:最少切分,ik_max_word:最细切分
可以看到使用ik_smart方式进行分词后,中文词语被成功切分,不再是一个一个字的被分开
使用ik_max_word方式分词,则比如“程序员”被分开了,然而“程序”也是一个词,就依然被弄成了一个词条
比如说,网络上流行的一些新的词汇,比如“奥力给”我们也想将它弄成一个词条,ik分词器识别不出来怎么办呢?用ik分词器-拓展词库解决。
在stopword.dic文件中添加想要停用的词语即可
重启es容器
重新测试,我们可以看到我们添加的新的词汇被ik分词器识别,分成了独立的词条
ES中通过Restful请求操作索引库、文档。请求内容用DSL语句来表示。创建索引库和mapping的DSL语法如下
查看索引库语法
删除索引库的语法
索引库和mapping一旦创建无法修改,但是可以添加新的字段,语法如下
新增文档的DSL语法如下
查看文档语法
删除文档的语法
方式一:全量修改,会删除旧文档,添加新文档
方式二:增量修改,修改指定字段值
根据课前资料提供的酒店数据创建索引库,索引库名为hotel,mapping属性根据数据库结构定义。基本步骤如下:
1,导入课前资料Demo
2.分析数据结构,定义mapping属性
3.初始化avaRestClient
4.利用JavaRestClient创建索引库
5.利用JavaRestClient删除索引库
6.利用JavaRestClient判断索引库是否存在
首先导入课前资料提供的数据库数据
然后导入课前资料提供的项目
该项目已经提供好了对上述表的增删改查等一些基本操作
mapping要考虑的问题:
字段名、数据类型、是否参与搜索、是否分词、如果分词,分词器是什么
根据数据库中该表的字段约束,编写这个索引库的mapping约束
在最后创建一个all,可以用来将所有分词查询的字段添加其中
创建一个测试类,在启动前初始化RestHighLevelClient,结束后,关闭该客户端资源
创建索引库代码如下
创建一个常量类,在里面定义静态变量MAPPING_TEMPLATE,也就是创建索引库的DSL语句
删除索引库代码如下
判断索引库是否存在
去数据库查询酒店数据,导入到hotel索引库,实现酒店数据的CRUD基本步骤如下:
1.初始化JavaRestClient
2.利用JavaRestClient新增酒店数据
3.利用avaRestClient根据id查询酒店数据
4.利用JavaRestClient删除酒店数据
5.利用lavaRestClient修改酒店数据
创建一个测试类,在启动前初始化RestHighLevelClient,结束后,关闭该客户端资源
先查询酒店数据,然后给这条数据创建倒排索引,即可完成添加
添加到es索引库中的酒店数据,里面的坐标与数据库中的不一致,我们需要构建一个构造器,来让数据库中的类转换成要存入索引库中的这个类
将数据库中查询到的酒店数据,添加到es索引库中去的代码如下
运行后,我们去查询该文档,可以查询出结果,说明添加到索引库成功
根据id查询到的文档数据是json,需要反序列化为java对象
根据id查询到的文档代码如下
运行后,控制台输出结果
修改文档数据有两种方式:
方式一:全量更新。再次写入id一样的文档,就会删除旧文档,添加新文档
方式二:局部更新。只更新部分字段,我们演示方式二
修改文档数据代码如下
再次调用根据id查询酒店数据的方法,发现查询出的数据的price和starName已经被修改
删除文档代码如下
demo中删除文档代码如下
再调用根据id查询酒店数据的方法,发现该条文档已经查询不到,说明删除成功
需求:批量查询酒店数据,然后批量导入索引库中
思路:
1.利用mybatis-plus查询酒店数据
2.将查询到的酒店数据 (Hotel) 转换为文档类型数据 (HotelDoc)
3,利用JavaRestClient中的Bulk批处理,实现批量新增文档,示例代码如下
demo中的具体代码如下
查询hotel索引库的全部内容,发现所有酒店数据信息已经被导入进来