前言
- elasticsearch是分布式的,但是对于我们开发者来说并没有过多的参与其中,我们只需启动对应数量的节点,并给他们分配相同的cluster.name让他们归属于同一个集群,创建索引的时候只需要指定索引主分片数量和副分片数量就行,其他的都交给了ES内部自己实现
- 这和数据库的分布式和同源的solr实现分布式都是由区别的,数据库要做集群分布式,比如分库分表需要我们指定路由规则和数据库同步策略,包括读写分离,主从同步登,solr的分布式也依赖zookeeper,但是elasticsearch完全屏蔽了这些。
- 虽然elasticsearch天生就是分布式的,并且在设计时屏蔽了分布式的复杂性,但我还得知道它内部的原理
- es和其他中间件一样,比如mysql,redis有master-slave模式。es集群也会选举一个节点作为master节点
- –
- master节点它的职责是维护全集群状态,在节点加入或离开集群的时候重新分配分片
- –
- 所有文档级别的写操作不会与master节点通信,master节点并不需要涉及到文档级别的变更和搜索登操作,es分布式不太像mysql的master-slave模式,mysql是写在主库,然后在同步数据到从库。而es文档写操作是分片上而不是节点上,先写在主分片,主分片在同步给副分片,因为主分片可以分布在不同的节点上,所以当集群只有一个master节点的情况下,即使流量的增加它也不会成为瓶颈,就算它挂了,任何节点都会有机会成为主节点
- –
- 读写可以请求任意节点,节点在通过转发请求到目的节点,比如一个文档的新增,文档通过路由算法分片到某个主分片,然后找到对应的节点,将数据写入到主分片上,然后在同步到副分片上。
- –
- 新增文档
1、客户端向node-1发送新增文档请求 2、节点通过文档的路由算法确定该文档属于主分片-P0.因为主分片-P0在node-3,所以请求会转发到node-3 3、文档在node-3主分片-P0新增,新增成功后,将请求转发到node-1和node-2对应的副分片-R0上。一旦所有的副本片都向node-1报告成功,node-1向客户端报告成功。
- 读取文档
1、客户端向node-1发送文档请求 2、在处理读取请求时,node-1在每次请求的时候会通过轮询所有的副本分片来达到负载均衡。