日采 TB 级日志，Kafka 零拷贝和 ES 直写到底差多少资源？我们跑了一周实测
日均1.2TB日志写入场景下，引入Kafka作为缓冲层后，ES集群CPU使用率从72%降至31%，写入延迟P99从2.3秒收敛到180ms。Kafka利用零拷贝技术，以极低CPU开销实现高效数据转发，核心价值在于削峰填谷，避免ES因写入脉冲与合并操作叠加导致的性能断崖。整体资源账算下来，CPU净省29个核，磁盘成本因使用HDD而几乎可忽略，链路稳定性显著提升。
标签: #Kafka
共 3 篇文章
BEST 实测了 Kafka MirrorMaker 和 Pulsar 异地复制的容灾切换时间，RPO 的差距比预想的大
Kafka MirrorMaker 2与Pulsar异地复制在AWS跨区域容灾场景下的实测对比显示，RTO差距不大（秒级），但RPO差异显著：Pulsar基于存储层同步复制实现RPO=0，代价是延迟增加6.5倍；MirrorMaker 2的异步架构导致RPO波动最高达11秒，极端场景可能丢失数万条消息。架构设计决定了容灾能力上限，金融级场景需权衡一致性与延迟。
压到极限才见真章：Kafka、RocketMQ、Pulsar 在不同分区下堆积到接近崩盘时，延迟到底差多少
在极端分区（最高5000）和高堆积（TB级）条件下，对Kafka、RocketMQ和Pulsar进行物理集群压测。结果显示，Kafka延迟恶化最可控，呈渐进式增长；RocketMQ在2000分区时出现性能断崖，延迟飙升至秒级；Pulsar在分区超500后几乎不可用，架构开销导致指数级恶化。性能断崖根因各异，选型需匹配业务瓶颈。