本文作为学习笔记,主要参考尚硅谷的资料进行的整理,文章如有错误之处敬请指出。
- Elasticsearch是什么
- 全文搜索引擎是什么
- Elasticsearch 安装/启动
- 下载安装软件
- 运行
- Elasticsearch基本操作
- RESTful
- 客户端
- 数据格式
- HTTP操作
- 索引操作
- 创建索引
- 查看所有索引
- 查看单个索引
- 删除索引
- 文档操作
- 创建文档
- 查看文档
- 修改文档
- 修改字段
- 删除文档
- 条件删除文档
- 映射操作
- 创建映射
- 查看映射
- 索引映射关联
- 高级查询
- 查询所有文档
- 匹配查询
- 字段匹配查询
- 关键字精确查询
- 多关键字精确查询
- 查询指定字段
- 过滤字段
- 范围查询
- 模糊查询(相似的意思,并非MySQL的like)
- 模糊查询(类似于MySQL的like)
- 单字段排序
- 多字段排序
- 高亮查询
- 分页查询
- 组合查询
- 聚合查询
- 对某个字段取最大值 max
- 对某个字段取最小值 min
- 对某个字段求和 sum
- 对某个字段取平均值 avg
- 对某个字段的值进行去重之后再取总数
- State 聚合
- 桶聚合查询
- terms聚合,分组统计
- 在 terms 分组下再进行聚合
Elasticsearch是一个开源的高扩展的分布式、RESTFUL风格的全文搜索引擎。 Elasticsearch是 Elastic Stack 的核心。Elastic Stack 包括 Elasticsearch、Kibana、Beats 和 Logstash(也称为 ELK Stack)。能够安全可靠地获取任何来源、任何格式的数据,然后实时地对数据进行搜索、分析和可视化。Elasticsearch是整个 Elastic Stack 技术栈的核心,它可以近乎实时的存储、检索数据;本身扩展性很好,可以扩展到上百台服务器,处理PB级别的数据。
全文搜索引擎是什么对于非结构化的数据文本,关系型数据库搜索不能很好的支持。 一般传统数据库,全文检索都实现的很鸡肋,因为一般也没人用关系型数据库存文本字段。进行全文检索需要扫描整个表,如果数据量大的话即使对 SQL 的语法优化,也收效甚微。建立了索引,但是维护起来也很麻烦,对于 insert 和 update 操作都会重新构建索引。 基于以上原因可以分析得出,在一些生产环境中,使用常规的搜索方式,性能是非常差的:
- 搜索的数据对象是大量的非结构化的文本数据。
- 文件记录量到达数十万或者数百万甚至更多。
- 支持大量基于交互式文本的查询。
- 需求非常灵活的全文搜索查询。
- 对于高度相关的搜索结果的有特殊需求,但是没有可用的关系数据库可以满足。
- 对不同记录类型、非文本数据操作或安全事务处理的需求相对较少的情况。 为了解决结构化数据搜索和非结构化数据搜索性能问题,我们就需要专业、健壮、强大的全文搜索引擎。 它的工作原理是计算机索引程序通过扫描文章中的每一个词,对每一个词建立一个索引,指明该词在文章中出现的次数和位置,当用户查询时,检索程序就根据事先建立的索引进行查找,并将查找的结果反馈给用户的检索方式。这个过程类似于通过字典中的检索字表查字的过程。
我们主要是为了学习 ES 的使用,所以本次下载安装的为 Windows 版本
下载安装软件Elasticsearch 是使用 java 开发的,且8.1.2版本的 ES 需要的JDK 版本1.8 以上,默认安装包带有 jdk 环境,如果系统配置 JAVA_HOME,那么使用系统默认的 JDK,如果没有配置使用自带的 JDK,一般建议使用系统配置的 JDK。
下载地址:https://www.elastic.co/cn/downloads/elasticsearch 本次使用的最新版本:elasticsearch-8.1.2-windows-x86_64 下载完成直接解压,目录为:
双击 bin 目录中的 elasticsearch.bat 运行软件 为了验证安装是否成功,我们访问 localhost:9200 会发现无法访问,并且会提示连接关闭:received plaintext http traffic on an https channel, closing connection 原因是:ES8默认开启了 ssl 认证。 修改config目录下的elasticsearch.yml配置文件: 将xpack.security.enabled设置为false 再次访问:
需要注意的是:在没有运行之前配置文件中并没有明文显示此配置:xpack.security.enabled,第一次运行并访问之后再次打开配置文件会发现此配置会明文显示并且为true
到此我们就可以愉快地玩耍了。
Elasticsearch基本操作 RESTfulRESTful 指的是一组架构约束条件和原则。满足这些约束条件和原则的应用程序或设计就是RESTful。Web 应用程序最重要的 REST 原则是,客户端和服务器之间的交互在请求之间是无状态的。从客户端到服务器的每个请求都必须包含理解请求所必须的信息。如果服务器在请求之间的任何时间点重启,客户端不会得到通知。此外,无状态请求可以由任何可用服务器回答,这十分适合云计算之类的环境。客户端可以缓存数据以改进性能。
客户端由于Elasticsearch支持 RESTful 风格,所以我们可选择的客户端就很多了,比如我们后端程序员常用的Postman、ApiPost 都可以
数据格式Elasticsearch 是面向文档型数据库,一条数据在这里就是一个文档。为了方便大家理解,我们将Elasticsearch 里存储文档数据和关系型数据库 MySQL 存储数据的概念进行一个类比 ES 里的 Index 可以看做一个库,而Types 相当于表,Documents 则相当于表的行。 这里 Types 的概念已经被逐渐弱化,Elasticsearch6.X 中,一个 Index 下已经只能包含一个type,Elasticsearch7.X 中,Type 的概念已经被删除了。 用 JSON 作为文档序列化的格式,比如一条用户信息:
{
"name" : "John",
"sex" : "Male",
"age" : 25,
"birthDate": "1990/05/01",
"about" : "I love to go rock climbing",
"interests": [ "sports", "music" ]
}
HTTP操作
索引操作
创建索引
对比关系型数据库,创建索引就等同于创建数据库 在 ApiPost 中,向 ES 服务器发 PUT 请求:localhost:9200/user 请求后,服务器返回响应
{
"acknowledged"【相应结果】: true, 【true操作成功】
"shards_acknowledged"【分片结果】: true, 【分片操作成功】
"index"【索引名称】: "user"
}
注意:创建索引的分片默认 1 片,在 7.0.0 之前的 Elasticsearch 版本中,默认5片
如果重复添加索引,会返回错误信息
在 ApiPost 中,向 ES 服务器发 GET 请求:localhost:9200/_cat/indices?v 这里请求路径中的 _cat 表示查看的意思,indices 表示索引,所以整体含义就是查看当前 ES 服务器中的所有索引,服务器响应结果如下:
在 ApiPost 中,向 ES 服务器发 GET 请求:localhost:9200/user 查看索引向 ES 服务器发送的请求路径和创建索引是一致的。但是 HTTP 方法不一致。这里可以体会一下 RESTful 的意义, 请求后,服务器响应结果如下:
{
"user"【索引名】: {
"aliases"【别名】: {},
"mappings"【映射】: {},
"settings"【设置】: {
"index"【设置 - 索引】: {
"routing": {
"allocation": {
"include": {
"_tier_preference": "data_content"
}
}
},
"number_of_shards"【设置 - 索引 - 主分片数量】: "1",
"provided_name" 【设置 - 索引 - 名称】: "user",
"creation_date【设置 - 索引 - 创建时间】": "1649485119790",
"number_of_replicas"【设置 - 索引 - 副分片数量】: "1",
"uuid"【设置 - 索引 - 唯一标识】: "rzwU1Db-TseJR0YpZ7SOlg",
"version"【设置 - 索引 - 版本】: {
"created": "8010299"
}
}
}
}
}
删除索引
在 ApiPost 中,向 ES 服务器发送 DELETE 请求:localhost:9200/user 返回结果:
重新访问索引是,服务器返回响应:索引不存在
索引已经创建好了,接下来我们来创建文档,并添加数据。这里的文档可以类比为关系型数据库中的表数据,添加数据格式为 JSON 格式 在 ApiPost 中,向 ES 服务器发 POST 请求:localhost:9200/user/ _doc 请求具体内容为:
{
"name": "wangda",
"gender": "男",
"age": 40,
"mobile": "18703979055",
"address": "河南省焦作市",
"salary": 10000,
"isMarried": 1,
"entryTime": "2022-03-03 10:10:10"
}
此处发送的请求方式必须为 POST ,不能是 PUT ,否则会发生错误 服务器响应结果如下:
{
"_index"【索引】: "user",
"_id"【唯一标识】: "7dIwDYABiCN_21Hs_g3o", 【可以类比MySQL中的主键,随机生成】
"_version"【版本】: 1,
"result"【结果】: "created", 【这里的created表示创建成功】
"_shards"【分片】: {
"total"【分片- 总数】: 2,
"successful"【分片 - 成功】: 1,
"failed"【分片 - 失败】: 0
},
"_seq_no": 1,
"_primary_term": 1
}
上面的数据创建后,由于没有指定数据唯一性标识(ID),默认情况下,ES 服务器会随机生成一个。 如果想要自定义唯一性标识,需要在创建时指定:localhost:9200/user/_doc/1
此处需要注意:如果增加数据时明确数据主键,那么请求方式也可以为PUT
查看文档查看文档时,需要指明文档的唯一性标识,类似于 MySQL 中数据的主键查询 在 ApiPost 中,向 ES 服务器发 GET 请求:localhost:9200/user/1 查询成功后,服务器响应结果:
和新增文档一样,输入相同的 URL 地址请求,如果请求体变化,会将原有的数据内容覆盖 在 ApiPost 中,向 ES 服务器发 POST 请求:localhost:9200/user/_doc/1 请求体内容为:
{
"name": "wangda",
"gender": "男",
"age": 40,
"mobile": "18703971234",
"address": "河南省焦作市",
"salary": 12000,
"isMarried": 1,
"entryTime": "2022-03-03 10:10:10"
}
修改成功后响应结果:
{
"_index": "user",
"_id": "1",
"_version"【版本】: 2,
"result"【结果】: "updated", 【updated 表示数据被更新】
"_shards": {
"total": 2,
"successful": 1,
"failed": 0
},
"_seq_no": 3,
"_primary_term": 1
}
修改字段
修改数据时,也可以只修改某一条数据的局部信息 在 ApiPost 中,向 ES 服务器发 POST 请求:localhost:9200/user/_update/1 请求内容为:
{
"doc": {
"salary":18000
}
}
修改成功后,服务器响应结果: 根据唯一性标识,查询文档数据,文档数据已经更新
删除一个文档不会立即从磁盘上移除,它只是被标记已删除(逻辑删除) 在 ApiPost 中,向 ES 服务器发 DELETE 请求:localhost:9200/user/_doc/1 删除成功,服务器响应结果:
{
"_index": "user",
"_id": "1",
"_version"【版本】: 4, 【对数据的操作,都会更新版本】
"result"【结果】: "deleted", 【deleted 表示数据被标记为删除】
"_shards": {
"total": 2,
"successful": 1,
"failed": 0
},
"_seq_no": 5,
"_primary_term": 1
}
删除后查询当前文档信息: 如果删除一个并不存在的文档:
{
"_index": "user",
"_id": "2",
"_version": 1,
"result"【结果】: "not_found", 【not_found 表示未查找到】
"_shards": {
"total": 2,
"successful": 1,
"failed": 0
},
"_seq_no": 6,
"_primary_term": 1
}
条件删除文档
一般删除数据都是根据文档的唯一性标识进行删除,实际操作时,也可以根据条件对多条数据进行删除 首先分别增加多条数据:
{
"name": "wanger",
"gender": "女",
"age": 37,
"mobile": "15612345678",
"address": "北京市朝阳区",
"salary": 12000,
"isMarried": 1,
"entryTime": "2022-03-03 11:11:11"
}
{
"name": "wangsan",
"gender": "男",
"age": 35,
"mobile": "15687654321",
"address": "河北省石家庄市",
"salary": 12000,
"isMarried": 1,
"entryTime": "2022-03-03 12:12:12"
}
向 ES 服务器发 POST 请求:localhost:9200/user/_delete_by_query 请求体内容为:
{
"query":{
"match":{
"salary":"12000"
}
}
}
删除成功后,服务器响应结果:
{
"took"【耗时】: 767,
"timed_out"【是否超时】: false,
"total"【总数】: 4,
"deleted"【删除数量】: 4,
"batches": 1,
"version_conflicts": 0,
"noops": 0,
"retries": {
"bulk": 0,
"search": 0
},
"throttled_millis": 0,
"requests_per_second": -1,
"throttled_until_millis": 0,
"failures": []
}
映射操作
有了索引库,等于有了关系型数据库中的 database。 接下来就需要创建索引库(index)中的映射了,类似于数据库中(database)中的表结构(table)。 创建数据库表需要设置字段名称、类型、长度、约束等;索引库也一样,需要知道这个类型下有哪些字段,每个字段都有哪些约束信息,这就叫做映射(mapping)。
注意:关系型数据库是先设计表字段,然后再插入数据。而 ES 是先插入数据(这时就有默认的映射了),然后根据数据所有的字段进行映射操作
创建映射在 ApiPost 中,向 ES 服务器发 PUT 请求:localhost:9200/emp/_mapping 请求体内容为:
{
"properties": {
"name": {
"type": "text",
"index": true
},
"gender": {
"type": "text",
"index": false
},
"age": {
"type": "long",
"index": false
}
}
}
服务器响应结果如下:
映射数据说明:
- 字段名:任意填写,下面指定许多属性,例如:title、subtitle、images、price
- type:类型,Elasticsearch 中支持的数据类型非常丰富,说几个关键的:
- String类型:又分为两种: text:可分词 keyword:不可分词
- Numerical:数值类型,分两类 基本数据类型:long、integer、short、byte、double、float、half_float 浮点数的高精度类型:scaled_float
- Date:日期类型
- Array:数组类型
- Object:对象
- index:是否索引,默认为true,也就是说你不进行任何配置,所有的字段都会被索引。 true:字段会被索引,则可以用来进行搜索 false:字段不会被索引,不能用来搜索
- store:是否将数据进行独立存储,默认为false 原始的文本会存储在 _source 里面,默认情况下其他提取出来的字段都不是独立存储的,是从 _source 里面提取出来的。当然 你也可以独立的存储某个字段,只要设置 “store”:true 即可,获取独立存储的字段要比从 _source 中解析快得多,但是也会占用更多的空间,所以要根据实际业务需求来设置。
- analyzer:分词器,这里的 ik_max_word 即使用 ik 分词器,后面会专门学习
在 ApiPost 中,向 ES 服务器发 GET 请求:localhost:9200/emp/_mapping 服务器响应结果如下:
在 ApiPost 中,向 ES 服务器发 PUT 请求:localhost:9200/emp1
{
"settings": {},
"mappings": {
"properties": {
"name": {
"type": "text",
"index": true
},
"gender": {
"type": "text",
"index": false
},
"age": {
"type": "long",
"index": false
}
}
}
}
服务器响应如下:
Elasticsearch 提供了基于 JSON 提供完整的查询 DSL 来定义查询
查询所有文档在 ApiPost 中,向 ES 服务器发 GET 请求:localhost:9200/user/_search
{
"query": {
"match_all": {}
}
}
# "query":这里的 query 代表一个查询对象,里面可以有不同的查询属性
# "match_all":查询类型,例如:match_all (代表查询所有)、match、term、rang 等等
# {查询条件}:查询条件会根据类型的不同,写法也有差异
{
"took"【查询话费时间,单位毫秒】: 899,
"timed_out"【是否超时】: false,
"_shards"【分片信息】: {
"total"【总数】: 1,
"successful"【成功】: 1,
"skipped"【忽略】: 0,
"failed"【失败】: 0
},
"hits"【搜索命中】: {
"total"【搜索条件匹配的文档总数】: {
"value"【总命中计数的值】: 1,
"relation"【计数规则】: "eq" 【eq 表示计数准确,gte 表示计数不准确】
},
"max_score"【匹配度分值】: 1,
"hits"【命中结果集合】: [
{
"_index": "user",
"_id": "1",
"_score": 1,
"_source": {
"name": "wangda",
"gender": "男",
"age": 40,
"mobile": "18703971234",
"address": "河南省焦作市",
"salary": 18000,
"isMarried": 1,
"entryTime": "2022-03-03 10:10:10"
}
},
{
"_index": "user",
"_id": "3",
"_score": 1,
"_source": {
"name": "wangsan",
"gender": "男",
"age": 35,
"mobile": "15687654321",
"address": "河北省石家庄市",
"salary": 12000,
"isMarried": 1,
"entryTime": "2022-03-03 12:12:12"
}
},
{
"_index": "user",
"_id": "2",
"_score": 1,
"_source": {
"name": "wanger",
"gender": "女",
"age": 37,
"mobile": "15612345678",
"address": "北京市朝阳区",
"salary": 12000,
"isMarried": 1,
"entryTime": "2022-03-03 11:11:11"
}
}
]
}
}
匹配查询
match 匹配类型查询,会把查询条件进行分词,然后进行查询,多个词条之间是 or 的关系 在 ApiPost 中,向 ES 服务器发 GET 请求:localhost:9200/user/_search
{
"query": {
"match": {
"name": "wangda"
}
}
}
服务器返回结果为:
multi_match 与 match 类似,不同的是它可以在多个字段中查询。 在 ApiPost 中,向 ES 服务器发 GET 请求:localhost:9200/user/_search
{
"query": {
"multi_match": {
"query": "wangda",
"fields":["name","email"]
}
}
}
服务器响应结果:
term 查询,精确的关键词匹配查询,不对查询条件进行分词。 在 ApiPost 中,向 ES 服务器发 GET 请求:localhost:9200/user/_search
{
"query": {
"term": {
"name": "wangda"
}
}
}
服务器响应结果:
terms 查询和 term 查询一样,但它允许你指定多值进行匹配。 如果这个字段包含了指定值中的任何一个值,那么稳当满足条件,类似于 mysql 的 in(或的关系) 在 ApiPost 中,向 ES 服务器发 GET 请求:localhost:9200/user/_search
{
"query": {
"terms": {
"name":["wangda","wanger"]
}
}
}
服务器响应结果:
默认情况下,Elasticsearch 在搜索的结果中,会把文档中保存在 _source 的所有字段都返回。 如果我们只想获取其中的部分字段,我们可以添加 _source 的过滤 在 ApiPost 中,向 ES 服务器发 GET 请求:localhost:9200/user/_search
{
"query": {
"terms": {
"name":["wangda"]
}
},
"_source": ["name","salary"]
}
服务器响应结果:
我们也可以通过:
- includes:来指定想要显示的字段
- excludes:来指定不想要显示的字段 在 ApiPost 中,向 ES 服务器发 GET 请求:localhost:9200/user/_search
{
"query": {
"terms": {
"name": ["wangda"]
}
},
"_source": {
"includes": ["name","mobile"]
}
}
服务器响应结果:
range 查询找出那些落在指定区间内的数字或者时间。range 查询允许以下字符 在 ApiPost 中,向 ES 服务器发 GET 请求:localhost:9200/user/_search
服务器响应结果:
返回包含于搜索字词相似的字词的文档。 编辑距离是将一个术语转换为另一个术语所需的一个字符更改次数。这些更改可以包括:
- 更改字符(box -> fox)
- 删除字符(block -> lack)
- 插入字符(sic ->sick)
- 转置两个相邻字符(act -> cat)
为了找到相似的术语,fuzzy 查询会在指定的编辑距离内创建一组搜索词的所有可能的变体或扩展。然后查询返回每个扩展的完全匹配。 通过 fuzziness 修改编辑距离。一般使用默认值 AUTO,根据术语的长度生成编辑距离。 在ApiPost 中,向 ES 服务器发 GET 请求:localhost:9200/user/_search
{
"query": {
"fuzzy": {
"name": {
"value": "zhangda"
}
}
}
}
服务器响应结果:
wildcard 配合通配符可以实现模糊查询,其中 ? 和 * 分别代表一个或多个字符
在ApiPost 中,向 ES 服务器发 GET 请求:localhost:9200/user/_search
服务器返回结果:
sort 可以让我们按照不同的字段进行排序,并且通过 order 指定排序的方式。desc 降序,asc 升序。 在 ApiPost 中,向 ES 服务器发 GET 请求:localhost:9200/user/_search
注意,字符串类型字段默认是不支持排序的
{
"query": {
"match_all": {
}
},
"sort": [{
"age": {
"order": "desc"
}
}]
}
假定我们想要结合使用 salary 和 age 进行查询,并且匹配的结果首先按照 salary 排序,然后按照 age 排序 在ApiPost 中,向 ES 服务器发 GET 请求:localhost:9200/user/_search
{
"query": {
"match_all": {}
},
"sort": [{
"salary": {
"order": "desc"
}
},
{
"age": {
"order": "desc"
}
}
]
}
服务器响应结果:
再进行关键字搜索时,搜索出的内容中的关键字会显示不同的颜色,称之为高亮。
Elasticsearch 可以对查询内容中的关键字部分,进行标签和样式(高亮)的设置。 在使用 match 查询的同时,加上一个highlight 属性:
- pre_tags:前置标签
- post_tags:后置标签
- fields:需要高亮的字段
- title:这里声明 title 字段需要高亮,后面可以为这个字段设置特有配置,也可以空
在ApiPost 中,向 ES 服务器发 GET 请求:localhost:9200/user/_search
{
"query": {
"match": {
"name": "wangda"
}
},
"highlight": {
"pre_tags": "",
"post_tags": "",
"fields": {
"name": {}
}
}
}
服务器响应结果:
from:当前页的起始索引,默认从 0 开始。from=(pageNum-1)*size size:每页显示多少条 在ApiPost 中,向 ES 服务器发 GET 请求:localhost:9200/user/_search
{
"query": {
"match_all": {}
},
"from": 0,
"size": 2
}
服务器响应结果:
bool 把各种其他查询通过must(必须)、must_not(必须不)、should(应该)、filter(必须)的方式组合
- must:返回的文档必须满足 must 子句的条件,并且参与计算分值(类似于MySQL的 and)
- filter:返回文档必须满足 filter 子句的条件。但是不会像 must 一样,参与计算分值(类似于MySQL的 and)
- should:返回的文档可能满足 should 子句的条件(类似于MySQL的 or)
- must_not:返回文档必须不满足 must_not 定义的条件(类似于MySQL的 not)
在ApiPost 中,向 ES 服务器发 GET 请求:localhost:9200/user/_search
{
"query": {
"bool": {
"must": [{
"match": {
"name": "wangda"
}
}],
"must_not": [{
"wildcard": {
"mobile": "*156*"
}
}],
"should": [{
"match": {
"sex": "男"
}
}]
}
}
}
聚合允许使用者对 ES 文档进行统计分析,类似于关系型数据库中的 group by,当然还有很多其他的聚合,例如取最大值、平均值等等。
此处也会遇到坑(和数据类型有关)
对某个字段取最大值 max在ApiPost 中,向 ES 服务器发 GET 请求:localhost:9200/user/_search
{
"aggs": {
"max_age": {
"max": {"field":"age"}
}
}
}
服务器响应结果如下:
在ApiPost 中,向 ES 服务器发 GET 请求:localhost:9200/user/_search
{
"aggs": {
"min_age": {
"min": {"field":"age"}
}
}
}
服务器响应结果如下:
在ApiPost 中,向 ES 服务器发 GET 请求:localhost:9200/user/_search
{
"aggs": {
"sum_age": {
"sum": {"field":"age"}
}
}
}
服务器响应结果如下:
在ApiPost 中,向 ES 服务器发 GET 请求:localhost:9200/user/_search
{
"aggs": {
"avg_age": {
"avg": {"field":"age"}
}
}
}
服务器响应结果如下:
在ApiPost 中,向 ES 服务器发 GET 请求:localhost:9200/user/_search
{
"aggs": {
"distinct_age": {
"cardinality": {"field":"age"}
}
}
}
服务器响应结果如下:
stats 聚合,对某个字段一次性返回count、max、min、、avg 和 sum 五个指标 在ApiPost 中,向 ES 服务器发 GET 请求:localhost:9200/user/_search
{
"aggs": {
"stats_age": {
"stats": {"field":"age"}
}
}
}
服务器响应结果如下:
桶聚合查询相当于 SQL 中的 group by 语句 在ApiPost 中,向 ES 服务器发 GET 请求:localhost:9200/user/_search
terms聚合,分组统计{
"aggs": {
"age_groupby": {
"terms": {
"field": "age"
}
}
}
}
服务器响应结果如下:
在ApiPost 中,向 ES 服务器发 GET 请求:localhost:9200/user/_search
{
"aggs": {
"age_groupby": {
"terms": {
"field": "age"
},
"aggs": {
"sum_age": {
"sum": {
"field": "age"
}
}
}
}
}
}
服务器响应结果如下: