Kafka架构

Kafka详细架构图： 说明：

1. Kafka Cluster（Kafka集群）：Kafka网络如果存在多个代理，则该Kafka网络被称为Kafka集群。可以扩展Kafka集群，无需停机。这些集群用于管理消息数据的持久性和复制。
2. Producer（消息生产者）：生产者就是向kafka broker发消息的客户端，生产者是发送给一个或多个Kafka topic的消息的发布者。生产者向Kafka消费者发送数据。每当生产者将消息发布给代理时，代理只需将消息附加到最后一个段文件。实际上，该消息将被附加到分区。生产者还可以向他们选择的分区发送消息。
3. Consumer（消费者）：消息消费者是从kafka broker取消息的客户端。消费者订阅一个或多个topic，并通过从代理中提取数据来使用已发布的消息。
4. Topic（topic）：可以理解为一个队列，属于特定类别的消息流称为topic。数据存储在topic中。一般一个Topic会被多个Consumer订阅。
5. Consumer Group （CG）：这是kafka用来实现一个topic消息广播（发给所有的consumer）和单播（发给任意一个consumer）的手段。一个topic可以对应多个CG。topic的消息会复制（不是真的复制，是概念上的）到所有的CG，但每个partition只会把消息发给该CG中的一个consumer。 如果需要实现广播，只要每个consumer有一个独立的CG就可以了；要实现单播只要所有的consumer在同一个CG中。用CG还可以将consumer进行自由分组而不需要多次发送消息到不同的topic；同一个组里面的不同消费者不能够同时消费同一个分区里面的数据。
6. Broker（缓存代理）：负责维护发布数据。实际使用中，一台kafka服务器就是一个broker。一个集群由多个broker组成。一个broker可以容纳多个topic。 a) 假设在一个topic和N个代理中有N个分区，每个代理将有一个分区。 b) 假设在一个topic中有N个分区并且有N+M个代理（M,N>0），则第一个N代理将具有一个分区，并且下一个M代理将不具有用于该特定topic的任何分区。 c) 假设在一个topic中有N个分区并且有N-M个代理（M,N>0），每个代理将在它们之间具有一个或多个分区共享。由于代理之间的负载分布不相等，不推荐使用此方案。
7. Partition（分区）：为了实现扩展性，一个非常大的topic可以分布到多个broker（即服务器）上。一个topic可以分为多个partition，每个partition是一个有序的队列。partition中的每条消息都会被分配一个有序的id（offset）号。kafka只保证在一个partition中顺序将消息发给consumer，不保证一个topic的整体（多个partition间）的顺序；
8. Partition Offset（分区偏移）：每个分区消息都具有称为 offset 的唯一序列标识。kafka的存储文件都是按照offset.kafka来命名，用offset做名字的好处是方便查找。例如想找位于2049的位置，只要找到2048.kafka的文件即可。当然the first offset就是00000000000.kafka。
9. Replicas of Partition（分区备份）：副本只是一个分区的备份。副本从不读取或写入数据。它们用于防止数据丢失。partition