跳转到内容

团队采用 Aeron® 时常犯的 12 个错误

采用 Aeron® 时代价最高的错误,大多是没动过的默认值,外加客户端少写的一段代码。用开箱的 Cluster 配置,leader 宕机后要 约 11 s 才能完成故障切换(Aeron 1.48.11,裸金属)。用默认的 NAK 定时器, multicast 或 MDC 流上每丢一个包都要付出 10–20 ms,缓冲区配得再好也一样。一个从不轮询 egress 的集群客户端, 故障切换后会永远处于背压状态。这些问题在简单的功能测试里一个都暴露不出来,到了生产环境却会全部冒出来。

Aeron 的内部原理,请阅读 The Aeron Files。

1. 在 multicast 和 MDC 上沿用默认的 NAK 定时器

Section titled “1. 在 multicast 和 MDC 上沿用默认的 NAK 定时器”

接收方发现缺口后,会先随机等待一段时间再发 NAK,上限是 aeron.nak.multicast.max.backoff (默认 10 ms)。这个窗口是按互联网量级的 RTT 设定的,放在局域网里大得离谱。所有 multicast 语义的流都受它支配, Aeron Cluster 的日志复制通道也不例外。在裸金属上实测(1 个 publisher → 3 个 MDC 接收方,224 B、50k msg/s, 注入 0.01% 的种子丢包),重新调整定时器后,p99.9 从 8,286 µs 降到 105 µs,p50 保持在 37 µs。

修正方向: 根据 RTT 和丢包预算推导 backoff,并把 aeron.nak.multicast.group.size 设为真实的接收方数量。 这些是 Media Driver 的属性,必须传到 driver 进程里,而不是你的应用 JVM。 深入阅读:NAK 定时器调优。

2. 调大 so_rcvbuf,却不核实内核实际给了多少

Section titled “2. 调大 so_rcvbuf,却不核实内核实际给了多少”

接收窗口超过 SO_RCVBUF 时,driver 会拒绝启动;但它管不了 net.core.rmem_max。如果内核上限更低, 内核会悄悄把缓冲区截断,driver 只打印一条警告。ENA RX ring 是第二个坑,而且是以时间计的:在 10 Gbps、 约 1500 字节帧的流量下,默认的 1024 个条目只能扛住 ≈ 1.2 ms 的接收方停顿,而一次 CFS 唤醒延迟就可能达到 ≈ 10 ms。无论哪种情况,结果都是 RcvbufErrors 或 rx_overruns,接着就是缺口和 NAK。

修正方向: 把四个缓冲区当作一条链,自下而上设置,先把 ring 调到最大。 深入阅读:接收路径上的四个缓冲区。

3. 不加配速地突发发送,却到接收端去找延迟

Section titled “3. 不加配速地突发发送,却到接收端去找延迟”

offer() 循环以内存速度派发消息,而 Media Driver 唯一的 Sender 线程以固定速率排空。两者的差额就积压在发送端自己的 term buffer 里。在一次 AWS 实测中(160 字节消息),一次未配速的 90,000 条消息突发,发送端排队延迟达到 ≈ 55 ms(观测到的最差值 ≈ 67 ms),而 UDP 丢包、NAK 和背压全部为 0。只盯丢包和背压的监控面板根本看不到它。

修正方向: 测出你的排空速率,按延迟目标在源头为突发配速。 深入阅读:发送端排队与突发配速。

taskset 只负责把线程放到某个核上,并不能把其他任务挡在这个核外面。isolcpus 能把核腾空,但单用它只会让机器变小。 两者都要用,还要再加上 IRQ 引导。在 Mark Price 的测量中,亲和性加 isolcpus 把线程间延迟的最差值从 11.5 ms 降到 14.8 µs;再做 IRQ 引导并加上 nosoftlockup,残余抖动又从 15 µs 降到 2.5 µs。只设亲和性、不做隔离, p50 的收益保住了,尾部却仍然暴露在外。

修正方向: 用启动参数划出核心并去除噪声,把线程显式放到划出来的核上,再把 IRQ 引到 housekeeping 核。 深入阅读:核心隔离与线程绑定。

单条流(一个五元组)在 VPC 内的上限是 5 Gbps,在集群置放群组内是 10 Gbps。一个绑在单个五元组上的 Aeron 流,无论实例链路有多宽,都突破不了这个上限。小消息、高速率的流量通常在撞上带宽之前,就先撞上了实例的 PPS 上限。 如果吞吐已经到了平台期而带宽利用率仍然很低,说明你受限于包速率:只有减少包数、增大单包(批处理、更大的 MTU),或者换更大的实例,才能把它推上去。

修正方向: 先检查 PPS、单流上限、带宽、利用率余量和 BDP,再去调 Aeron。 深入阅读:无法通过调优突破的 AWS 硬性限制。

6. 带着开箱的 leader 心跳超时上线

Section titled “6. 带着开箱的 leader 心跳超时上线”

aeron.cluster.leader.heartbeat.timeout 默认 10 s,约占开箱故障切换时间的 90%。在 Aeron 1.48.11、裸金属上实测, leader 意外宕机后要 约 11.0 s 才能恢复:10 s 的检测加上约 1 s 的选举。把心跳超时设为 1 s(心跳间隔 200 ms,选举超时 500 ms), 故障切换约 1.5 s,而且仍能扛过一般的 GC 和调度停顿。再往下压得太多,就是拿恢复速度去换健康 leader 上的误切换。

修正方向: 把超时降到你最坏的现实 leader 停顿所允许的程度,心跳间隔保持在远低于它的水平,降到亚秒级之前先做 soak。 深入阅读:调优集群故障切换时间。

7. 写一个只发不收的集群客户端

Section titled “7. 写一个只发不收的集群客户端”

只往 ingress 发消息、从不调用 pollEgress() 的客户端,永远收不到新 leader 事件。故障切换之后,无论超时怎么设, 它都会永远处于背压状态。这不是调优问题;不修好它,第 6 条就无从谈起。

修正方向: 轮询 egress,并处理 EgressListener.onNewLeader。 深入阅读:调优集群故障切换时间和 客户端与集群的通信流程。

8. 让非确定性混进 clustered service

Section titled “8. 让非确定性混进 clustered service”

每个节点都必须从同一份 log 得出逐位相同的状态。System.currentTimeMillis()、UUID.randomUUID()、HashMap 的迭代顺序、跨 JVM 和 CPU 的 Math.sin(),以及在 onSessionMessage 里发起的任何 HTTP 或数据库调用,都会破坏这一点。 onTakeSnapshot()/loadSnapshot() 两边不对称,也会经由快照造成同样的后果。这些都不影响 p50、p99 或吞吐。 集群看上去一切正常,直到某次故障切换把一个状态不一致的节点提升为 leader。

修正方向: 时间取自 cluster.time(),使用有序集合,用 StrictMath 或定点数,外部数据通过 ingress 送进来, 给快照加校验和,并在节点之间比对状态哈希。 深入阅读:故障模式运维手册:快照与确定性。

9. 优化快照编码,而真正决定停顿的是 Archive 的 fsync

Section titled “9. 优化快照编码,而真正决定停顿的是 Archive 的 fsync”

ClusteredService 在唯一的 service 线程上做快照,所以 onTakeSnapshot 运行期间订单簿无法成交,期间到达的每笔订单都排在它后面。 衡量这件事要看两个数:快照耗时(take,service 线程写快照所花的时间)和客户端停顿(客户端实际要等多久)。 编码更快,快照耗时就更短。但在生产级持久化、真实的 3 节点集群上,决定停顿的并不是快照耗时,所以只换一个更快的编码器, 客户端可能还是要等同样久。

修正方向: 要测客户端停顿,不能只测快照耗时;先修 Archive 的写入路径,再动编码器。 深入阅读:Aeron Cluster 快照性能。

purgeSegments 会遵守段边界,也会避开正在活动的 recording。但它不知道自己删掉的字节,是不是某个落后节点唯一的恢复途径。 选举追赶传输的是 log,从来不是 leader 的快照,所以一个节点的下一个位置一旦被清理掉,它就无法重新加入,只能重建。 「留七天」只是一种近似,真正决定重启还是重建的是位置。

修正方向: 逐个节点测出快照位置和 log 位置,有意识地选定保留模型,删除之前先校验。 深入阅读:Archive 保留与清理。

Aeron 的基准测试工具固定发送速率、报告延迟,从不去找拐点,也就是延迟越过你 SLA 的那个速率。它的 burst 旋钮 (batch.size)会强制把消息合并进共享的数据报,而均匀配速的生产流量不会这样;于是同一份代码、同一套硬件, 在某个速率下看上去很健康,到了生产环境却已经饱和。

修正方向: 用你真实的消息大小和到达形态自己扫描速率,报告 p99.9 越过 SLA 时的那个速率。 深入阅读:诚实解读 Aeron 基准测试。

那些「DPDK 快 N 倍」的头条数字,拿的是健康状态下的 DPDK 测点去比已经饱和的内核 driver 测点。在内核 driver 的拐点以下, 中位数的差距很小。DPDK 还要占用专门 busy-spin 的核心、预留 hugepages 和一块专用 ENI;绑定配置出错时,它会悄无声息地变慢, 不报任何错误。

修正方向: 先测出每次操作的服务成本,确实需要更高的包速率上限或可预测的尾延迟时再采用它。 深入阅读:什么时候该用 DPDK Media Driver。

本站与 Adaptive Financial Consulting Limited 或 Aeron 项目无任何关联,未获其背书或赞助。 Aeron 是 Adaptive Financial Consulting Limited 的注册商标。

Aeron 是 Adaptive Financial Consulting Limited 在英国及其他国家/地区的商标。