团队采用 Aeron® 时常犯的 12 个错误
采用 Aeron® 时代价最高的错误,大多是没动过的默认值,外加客户端少写的一段代码。用开箱的 Cluster 配置,leader 宕机后要 约 11 s 才能完成故障切换(Aeron 1.48.11,裸金属)。用默认的 NAK 定时器, multicast 或 MDC 流上每丢一个包都要付出 10–20 ms,缓冲区配得再好也一样。一个从不轮询 egress 的集群客户端, 故障切换后会永远处于背压状态。这些问题在简单的功能测试里一个都暴露不出来,到了生产环境却会全部冒出来。
Aeron 的内部原理,请阅读 The Aeron Files。
Aeron Transport 的错误
Section titled “Aeron Transport 的错误”1. 在 multicast 和 MDC 上沿用默认的 NAK 定时器
Section titled “1. 在 multicast 和 MDC 上沿用默认的 NAK 定时器”接收方发现缺口后,会先随机等待一段时间再发 NAK,上限是 aeron.nak.multicast.max.backoff
(默认 10 ms)。这个窗口是按互联网量级的 RTT 设定的,放在局域网里大得离谱。所有 multicast 语义的流都受它支配,
Aeron Cluster 的日志复制通道也不例外。在裸金属上实测(1 个 publisher → 3 个 MDC 接收方,224 B、50k msg/s,
注入 0.01% 的种子丢包),重新调整定时器后,p99.9 从 8,286 µs 降到 105 µs,p50 保持在 37 µs。
修正方向: 根据 RTT 和丢包预算推导 backoff,并把 aeron.nak.multicast.group.size 设为真实的接收方数量。
这些是 Media Driver 的属性,必须传到 driver 进程里,而不是你的应用 JVM。
深入阅读:NAK 定时器调优。
2. 调大 so_rcvbuf,却不核实内核实际给了多少
Section titled “2. 调大 so_rcvbuf,却不核实内核实际给了多少”接收窗口超过 SO_RCVBUF 时,driver 会拒绝启动;但它管不了 net.core.rmem_max。如果内核上限更低,
内核会悄悄把缓冲区截断,driver 只打印一条警告。ENA RX ring 是第二个坑,而且是以时间计的:在 10 Gbps、
约 1500 字节帧的流量下,默认的 1024 个条目只能扛住 ≈ 1.2 ms 的接收方停顿,而一次 CFS 唤醒延迟就可能达到
≈ 10 ms。无论哪种情况,结果都是 RcvbufErrors 或 rx_overruns,接着就是缺口和 NAK。
修正方向: 把四个缓冲区当作一条链,自下而上设置,先把 ring 调到最大。 深入阅读:接收路径上的四个缓冲区。
3. 不加配速地突发发送,却到接收端去找延迟
Section titled “3. 不加配速地突发发送,却到接收端去找延迟”offer() 循环以内存速度派发消息,而 Media Driver 唯一的 Sender 线程以固定速率排空。两者的差额就积压在发送端自己的
term buffer 里。在一次 AWS 实测中(160 字节消息),一次未配速的 90,000 条消息突发,发送端排队延迟达到
≈ 55 ms(观测到的最差值 ≈ 67 ms),而 UDP 丢包、NAK 和背压全部为 0。只盯丢包和背压的监控面板根本看不到它。
修正方向: 测出你的排空速率,按延迟目标在源头为突发配速。 深入阅读:发送端排队与突发配速。
4. 线程只绑了一半
Section titled “4. 线程只绑了一半”taskset 只负责把线程放到某个核上,并不能把其他任务挡在这个核外面。isolcpus 能把核腾空,但单用它只会让机器变小。
两者都要用,还要再加上 IRQ 引导。在 Mark Price 的测量中,亲和性加 isolcpus 把线程间延迟的最差值从
11.5 ms 降到 14.8 µs;再做 IRQ 引导并加上 nosoftlockup,残余抖动又从 15 µs 降到 2.5 µs。只设亲和性、不做隔离,
p50 的收益保住了,尾部却仍然暴露在外。
修正方向: 用启动参数划出核心并去除噪声,把线程显式放到划出来的核上,再把 IRQ 引到 housekeeping 核。 深入阅读:核心隔离与线程绑定。
5. 无视 EC2 的网络上限
Section titled “5. 无视 EC2 的网络上限”单条流(一个五元组)在 VPC 内的上限是 5 Gbps,在集群置放群组内是 10 Gbps。一个绑在单个五元组上的 Aeron 流,无论实例链路有多宽,都突破不了这个上限。小消息、高速率的流量通常在撞上带宽之前,就先撞上了实例的 PPS 上限。 如果吞吐已经到了平台期而带宽利用率仍然很低,说明你受限于包速率:只有减少包数、增大单包(批处理、更大的 MTU),或者换更大的实例,才能把它推上去。
修正方向: 先检查 PPS、单流上限、带宽、利用率余量和 BDP,再去调 Aeron。 深入阅读:无法通过调优突破的 AWS 硬性限制。
Aeron Cluster 的错误
Section titled “Aeron Cluster 的错误”6. 带着开箱的 leader 心跳超时上线
Section titled “6. 带着开箱的 leader 心跳超时上线”aeron.cluster.leader.heartbeat.timeout 默认 10 s,约占开箱故障切换时间的 90%。在 Aeron 1.48.11、裸金属上实测,
leader 意外宕机后要 约 11.0 s 才能恢复:10 s 的检测加上约 1 s 的选举。把心跳超时设为 1 s(心跳间隔 200 ms,选举超时 500 ms),
故障切换约 1.5 s,而且仍能扛过一般的 GC 和调度停顿。再往下压得太多,就是拿恢复速度去换健康 leader 上的误切换。
修正方向: 把超时降到你最坏的现实 leader 停顿所允许的程度,心跳间隔保持在远低于它的水平,降到亚秒级之前先做 soak。 深入阅读:调优集群故障切换时间。
7. 写一个只发不收的集群客户端
Section titled “7. 写一个只发不收的集群客户端”只往 ingress 发消息、从不调用 pollEgress() 的客户端,永远收不到新 leader 事件。故障切换之后,无论超时怎么设,
它都会永远处于背压状态。这不是调优问题;不修好它,第 6 条就无从谈起。
修正方向: 轮询 egress,并处理 EgressListener.onNewLeader。
深入阅读:调优集群故障切换时间和
客户端与集群的通信流程。
8. 让非确定性混进 clustered service
Section titled “8. 让非确定性混进 clustered service”每个节点都必须从同一份 log 得出逐位相同的状态。System.currentTimeMillis()、UUID.randomUUID()、HashMap
的迭代顺序、跨 JVM 和 CPU 的 Math.sin(),以及在 onSessionMessage 里发起的任何 HTTP 或数据库调用,都会破坏这一点。
onTakeSnapshot()/loadSnapshot() 两边不对称,也会经由快照造成同样的后果。这些都不影响 p50、p99 或吞吐。
集群看上去一切正常,直到某次故障切换把一个状态不一致的节点提升为 leader。
修正方向: 时间取自 cluster.time(),使用有序集合,用 StrictMath 或定点数,外部数据通过 ingress 送进来,
给快照加校验和,并在节点之间比对状态哈希。
深入阅读:故障模式运维手册:快照与确定性。
Aeron Archive 与快照的错误
Section titled “Aeron Archive 与快照的错误”9. 优化快照编码,而真正决定停顿的是 Archive 的 fsync
Section titled “9. 优化快照编码,而真正决定停顿的是 Archive 的 fsync”ClusteredService 在唯一的 service 线程上做快照,所以 onTakeSnapshot 运行期间订单簿无法成交,期间到达的每笔订单都排在它后面。
衡量这件事要看两个数:快照耗时(take,service 线程写快照所花的时间)和客户端停顿(客户端实际要等多久)。
编码更快,快照耗时就更短。但在生产级持久化、真实的 3 节点集群上,决定停顿的并不是快照耗时,所以只换一个更快的编码器,
客户端可能还是要等同样久。
修正方向: 要测客户端停顿,不能只测快照耗时;先修 Archive 的写入路径,再动编码器。 深入阅读:Aeron Cluster 快照性能。
10. 按时间清理旧的 log 段
Section titled “10. 按时间清理旧的 log 段”purgeSegments 会遵守段边界,也会避开正在活动的 recording。但它不知道自己删掉的字节,是不是某个落后节点唯一的恢复途径。
选举追赶传输的是 log,从来不是 leader 的快照,所以一个节点的下一个位置一旦被清理掉,它就无法重新加入,只能重建。
「留七天」只是一种近似,真正决定重启还是重建的是位置。
修正方向: 逐个节点测出快照位置和 log 位置,有意识地选定保留模型,删除之前先校验。 深入阅读:Archive 保留与清理。
测量与 driver 选型的错误
Section titled “测量与 driver 选型的错误”11. 把基准测试的峰值当成容量
Section titled “11. 把基准测试的峰值当成容量”Aeron 的基准测试工具固定发送速率、报告延迟,从不去找拐点,也就是延迟越过你 SLA 的那个速率。它的 burst 旋钮
(batch.size)会强制把消息合并进共享的数据报,而均匀配速的生产流量不会这样;于是同一份代码、同一套硬件,
在某个速率下看上去很健康,到了生产环境却已经饱和。
修正方向: 用你真实的消息大小和到达形态自己扫描速率,报告 p99.9 越过 SLA 时的那个速率。 深入阅读:诚实解读 Aeron 基准测试。
12. 把 DPDK driver 当成万能加速
Section titled “12. 把 DPDK driver 当成万能加速”那些「DPDK 快 N 倍」的头条数字,拿的是健康状态下的 DPDK 测点去比已经饱和的内核 driver 测点。在内核 driver 的拐点以下, 中位数的差距很小。DPDK 还要占用专门 busy-spin 的核心、预留 hugepages 和一块专用 ENI;绑定配置出错时,它会悄无声息地变慢, 不报任何错误。
修正方向: 先测出每次操作的服务成本,确实需要更高的包速率上限或可预测的尾延迟时再采用它。 深入阅读:什么时候该用 DPDK Media Driver。
本站与 Adaptive Financial Consulting Limited 或 Aeron 项目无任何关联,未获其背书或赞助。 Aeron 是 Adaptive Financial Consulting Limited 的注册商标。
Aeron 是 Adaptive Financial Consulting Limited 在英国及其他国家/地区的商标。