运维公会

kafka的数据保留策略

小白 2022年8月1日 21:21 825

为了使得Kafka的吞吐率可以线性提高，物理上把Topic分成一个或多个Partition，每个Partition在物理上对应一个文件夹，该文件夹下存储这个Partition的所有消息和索引文件。

log.retention.hours=168

保留logs，默认是168个小时也就是1周。

log.retention.bytes=1073741824

此策略默认是不开启的，这个策略是当logs的segment大于1G后，就进行删除。

log.segment.bytes=1073741824

默认每个segment最大是1G，超过1G就产生新的segment。

log.retention.check.interval.ms=300000

此参数是间隔多少ms就进行策略的检测，如果达到了策略要求就进行删除。

删除过期的文件和kafka的消费性能没有任何关系。