0
点赞
收藏
分享

微信扫一扫

kafka性能优化策略


生产者

生产者的发送流程

简述是 生产者发送数据要经过 拦截器->序列化->分区器->缓冲区->再到sender集群 由kafka的Sender线程 读取消费

kafka性能优化策略_性能优化

kafka性能优化策略_性能优化_02

设置

设置批次

设置batch.size,linger.ms将延长数据被消费的时间,但能显著地提升生产者的效率

kafka性能优化策略_性能优化_03

ack机制

ack不同设置的区别

kafka性能优化策略_分布式_04

不同的ack机制可能产生的问题

 

kafka性能优化策略_拦截器_05

 ack为-1时吞吐量吞吐最低,数据最安全,可能发生重复

ack为1时吞吐量,安全性最均衡

ack为0时吞吐最高,数据安全性最低

ack为-1的重复问题

kafka性能优化策略_数据_06

 

ISR简介

kafka性能优化策略_分布式_07

 当发现broker长期无应答,需要进行数据的rebalance,耗时较长,可适当修改超时时间

举报

相关推荐

0 条评论