Kafka&Zookeeper原理与应用场景介绍PPT.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2,#,Kafka,是一个分布式流数据处理平台,流数据处理平台必须具备,三个关键功能,：,它允许你发布订阅流数据，在这方面，他类似一个消息队列或企业级消息系统（消息中间件）,它让你存储的流式数据具有容错机制,它让你能实时处理流式数据,Kafka,概述,1,2025/4/30 周三,Topic,、,Partition,、,Producer,、,Consumer,消息从,producer,到,topic,用,push,消息从,topic,到,consumer,用,pull,Kafka,关键概念,2,2025/4/30 周三,partition,、,consumer group,每个,topic,的消息会广播给每个,consumer group,，但是每条消息在某个,group,内只有一个,consumer,能收到。,组内的消费者数量不要大于,topic,的分区数,Kafka,关键概念,3,2025/4/30 周三,Partition,每个分区内的数据保证数据的先后顺序，不同分区内的数据无法保证。,Kafka,关键概念,4,2025/4/30 周三,Partition,、,Replication,每个分区的外部读写都在,leader,上，所以不同分区 的,leader,会均衡分布在,Broker,集群上,Kafka,关键概念,5,2025/4/30 周三,Broker,、,Zookeeper,Broker,是,kafka,的服务实例，无中心节点，通过,Zookeeper,完成分区,leader-follower,的切换,Kafka,关键概念,6,2025/4/30 周三,日志收集,应用程序可以把日志集中发到,kafka,中，不需要记录到本地，再由专门的日志管理程序从,kafka,中取处理。对于多个进程读写同一个日志文件的场景，可以避免日志文件的加锁操作。,也可以对,kafka,中的日志进行实时分析。,Kafka,应用场景,7,2025/4/30 周三,消息队列,Kafka,同一个,partition,内部的消息保证先进先出，并且每条消息可以保证至少被消费一次,(at least once),，同一个,topic,内的消息可以被多个组的消费者接收。,可以实现发布订阅和普通的先进先出队列,Kafka,应用场景,8,2025/4/30 周三,数据,Table,记录转换为,Stream,通过指定条件定时把表中新增或者变更的记录推到,kafka,中，实现用流式处理方式来处理数据库的数据,Kafka,在,0.9,版本以后提供了,JdbcSource Connector,工具类用于把数据库数据写入,kafka,，目前支持自增,ID,列和时间列作为记录变化的条件，当然也可以用,producer,的,api,来实现,Kafka,应用场景,9,2025/4/30 周三,分布式事件驱动,把事件集中存储到,kafka,，并分别放入同一个,topic,下的多个分区，分区数量可以是事件处理客户端实例数的,3-5,倍以上，这样便于事件客户端动态增减和负载均衡。,客户端一次获取多个事件后，全部处理完成再,commit offset,以保证事件至少被处理一次，由于事件要求高可靠，在高可靠读写情况下,Kafka,的性能下降比较明显,Kafka,应用场景,10,2025/4/30 周三,高性能的分布式应用协调服务,Zookeeper,介绍,存储数据模型,11,2025/4/30 周三,Znode,ZooKeeper,数据模型的结构与文件系统很类似，每个节点称做一个,Znode,，,ZooKeeper,的各种功能特性都是通过,Znode,的操作和监控通知来实现，,Znode,有四种形式：,1,、,PERSISTENT,持久化目录节点，存储的数据不会丢失。,2,、,PERSISTENT_SEQUENTIAL,顺序编号的持久化目录节点，根据当前已近存在的节点数自动加,1,，节点名称在路径后,+%010d,，例如,/root/path0000000001,。,Zookeeper,关键概念,12,2025/4/30 周三,3,、,EPHEMERAL,临时目录节点，一旦创建这个节点的客户端与服务器端口也就是,session,超时，这种节点会被自动删除。,4,、,EPHEMERAL_SEQUENTIAL,临时自动编号节点。,Zookeeper,关键概念,13,2025/4/30 周三,Watcher,Watcher,用于监控,ZNode,的变化，,ZNode,上有相应的变化，就会触发这个,Watcher,，把相应的事件通知给设置,Watcher,的,Client,Watcher,是一次性的，触发后需要重新设置才能继续监控,Znode,的变化,Zookeeper,关键概念,14,2025/4/30 周三,Session,Client,与,ZooKeeper,之间会维护一个,Session,，这个,Session,会有一个超时时间，,Client,通过定时心跳来保持,Session,。,当,Session,超时后，对应,Client,创建的临时节点和所有监视器都将失效,Zookeeper,关键概念,15,2025/4/30 周三,Zookeeper,的操作主要是对,Znode,的操作,Create:,创建一个,Znode,Delete:,删除一个,Znode,Exists:,判断,Znode,是否存在,GetData:,获取,Znode,上的数据,SetData:,设置,Znode,的数据,GetChildren:,获取,Znode,下的所有子节点,Zookeeper,主要操作,16,2025/4/30 周三,分布式环境下的统一配置管理,在分布式系统中，不同主机节点的应用实例配置可以存储在,zookeeper,上，以方便统一配置，并且配置变更时可以实时通知应用，可以用在参数需要动态生效的场景中。,命名服务,每个,znode,可以做为一个唯一的标识，在,SOA,架构或者微服务架构中，,zookeeper,做为作为服务注册中心,Zookeeper,应用场景,17,2025/4/30 周三,成员管理与,Leader,选举,通过临时节点的监控来判断成员是否在线，通过创建最小编号的节点来进行,Leader,选举,可以使用,zookeeper,来监控各个应用实例是否在线，对于主备架构的可以在主实例离线时把备份实例升级为主实例，对于一主多从的架构中，可以进行,leader,选举，使用案例：,kafka,、,Hbase,、,Hadoop,Zookeeper,应用场景,18,2025/4/30 周三,分布式锁,通过创建指定路径的,znode,，由成功创建者获得该锁。在分布式应用中可以用于同步互斥控制，类似线程锁。,简单消息队列,通过创建顺序编号的节点来创建先进先出的队列，客户端按节点从小到大获取节点来获取消息，适用于消息量不大的场景。比如分布式应用内部的管理通信。,Zookeeper,应用场景,19,2025/4/30 周三,Zookeeper,应用场景,20,2025/4/30 周三,