Aeron® 开源版 vs Premium:商业栈什么时候值得买
跑一个多副本撮合引擎所需的全部组件——Transport、Archive 和 Cluster——都在 Aeron® 仓库里以 Apache-2.0 开源。Aeron Premium 是 Adaptive 的订阅产品,在这个核心之外加了七个组件,其中三个会改变系统的能力边界: 撞上内核 driver 的包速率天花板时用 Kernel Bypass (DPDK);需要跨 AZ 或跨区域恢复、又不想把 Raft 放到 WAN 上时用 Cluster Standby;流量要穿过你不信任的网络时用 Aeron Transport Security (ATS)。 如果这三种情况都不符合你的系统,开源栈就够了,钱更该花在应用层上。
| 需求 | 开源路径 | Premium 组件 | 有什么变化(本站实测) | 什么时候开源版就够 |
|---|---|---|---|---|
| 在高 datagram 速率下保持平坦的尾延迟 | Java 或 C Media Driver、打包、主机调优 | Kernel Bypass (DPDK) | AWS 实测:100k msg/s 下,开源版的 cluster P99 约为 DPDK 的 1.4 倍;越过内核拐点后,差距来自饱和,而不是速度——DPDK 指南 | 速率离包速率天花板还很远,或者流量能打包 |
| 扛住一个 AZ 或整个区域的丢失 | 跨 AZ 部署 Raft,或 ClusterBackup(冷副本 + 重放) | Cluster Standby | 温备、不投票的备节点;Raft 留在一个 AZ 内——Standby 与多 AZ 高可用 | 能接受分钟到小时级的 RTO(取决于 log 大小) |
| 打快照时不让 leader 停顿 | 每个节点都打快照(全集群停顿) | Cluster Standby(standby 快照) | 快照不在投票成员上打——快照失败与恢复 | 快照停顿在你的最大延迟预算之内 |
| 在线替换节点或迁移区域 | 静态成员;从 ClusterBackup 重建 | Cluster Standby(transition-as-member) | follower 替换:0 条消息丢失(单机)——跨区域迁移 | 你能安排维护窗口 |
| 加密并认证流量 | 网络层加密(IPsec、WireGuard)或隔离网络 | Aeron Transport Security | 每帧 AES-256-GCM,driver 用 RSA 认证;官方没有公布延迟数据,本站也没测过 | 可信、隔离的网络 |
| 仪表盘与告警 | 基于 CnC 计数器自建 exporter | Aeron Insights(beta) | 精选的一部分计数器,打包好了;没有选举次数和 leadership term 指标——指标与告警 | 你已经在跑 Prometheus,exporter 也能自己维护 |
| 控制 archive 磁盘占用 | 靠人工清理纪律 | Data Retention Regulator | 按策略执行保留——Archive 保留与清理 | 清理是一份定期执行、经过评审的运维手册 |
| 大量低速率流,又不想烧掉 CPU 核 | sleeping / yielding 空闲策略 | Aeron Selector | 基于 epoll 唤醒,不再轮询;没有公布数据 | 流不多,或者核有富余 |
Kernel Bypass (DPDK):包速率天花板
Section titled “Kernel Bypass (DPDK):包速率天花板”Adaptive 交付的 Kernel Bypass 是预编译好的 C Media Driver + DPDK 包,以 aeronmd_dpdk 启动。
先看它文档里写明的限制,再谈速度:只支持 IPv4、只支持单播、每个 driver 只能用一个 DPDK 端口,
还要在 DEDICATED 线程模式下把 conductor、sender 和 receiver 分别绑到不同的核上。基于组播的设计用不了它。
安装指南要求 NIC 绑定到 vfio-pci、预留好 hugepages,列出的已测试 poll-mode driver 有 net_ena(AWS)、
net_gve(GCP)和 net_ixgbe(Intel)。
它能带来多少收益,看 AWS 2025 年在 c6in.16xlarge 上做的基准测试(cluster placement group,MTU 1408), 诚实解读基准测试里有完整拆解:
| Aeron Cluster,P99 | OSS Java | OSS C | Premium (DPDK) |
|---|---|---|---|
| 100k msg/s | 136 µs | 139 µs | 98 µs |
| 1M msg/s | 8,479 µs | 8,577 µs | 143 µs |
在 100k msg/s 下差距约 1.4×。到了 1M msg/s,内核 driver 已经饱和而 DPDK 没有;标题里的”59ד量的就是 这一点,并不是数据通路更快。Transport(非 cluster)路径上,OSS Java 与 DPDK 的 P99 对比是:100k 下 32 µs 对 29 µs,1M 下 57 µs 对 39 µs。
代价见 DPDK 选型指南:专用核 100% busy-spin、 预留 hugepages、一块专用 ENI(重启会丢掉它的绑定),还有一种失效模式——绑定配错时延迟会静默变差, 不报任何错。
开源版就够的情况:你的 datagram 速率远低于内核天花板,或者流量能合并进 datagram,又或者延迟主要 花在撮合和风控逻辑上,而不是数据通路上。
Cluster Standby:不把 Raft 放到 WAN 上的高可用
Section titled “Cluster Standby:不把 Raft 放到 WAN 上的高可用”standby 是共识模块的一个变体:它接收集群的 log,在上面运行你的 clustered service,并且不投票—— Adaptive 的文档原话是它”won’t vote in a leader election”(不参与 leader 选举投票),也不会对集群的 log 施加背压。其余一切都由这一点决定:
- quorum 留在本地。把三个投票成员放在一个 AZ,备节点放在另一个 AZ;提交永远不用等跨 AZ 的确认。 开源版的替代方案是把 Raft 铺到多个 AZ 上,这样每次提交都要多一个往返——见 Standby 与多 AZ 高可用。
- 快照从投票成员身上挪走。
PremiumClusterTool standby-snapshot(经由 leader 触发)在备节点上打快照; 重启的成员在加载自己的快照之前,会先拉取更新的 standby 快照。standbySnapshotsEnabled和acceptStandbySnapshots默认都是false——不打开的话,这个功能你付了钱却没用上。 - 替换节点是一条命令,不是一次重建。
transition-as-member把一个备节点提升到故障成员的 ID 上; 成员必须用主机名寻址,这样才能把名字重新指向新节点(DNS、/etc/hosts或自定义 resolver)。本站的迁移运维手册 在单机上实测过(3 节点集群,无 WAN):follower 替换丢失 0 条消息。把备节点提升到 leader 的位置上, 在这套测试环境里没能重新收敛,所以在你自己的环境里跑通一次干净的切换之前,这一步都算未经验证。 - 在线变更成员现在只有 Premium 能做。开源版的 changelog 在 1.41.0 把 dynamic join 标为废弃 (“to be replaced with a more robust and user friendly premium offering”,即将由一个更健壮、更易用的 premium 产品取代),并在 1.47.0 删除了剩余的 API。开源版里,成员列表是静态的。
开源版就够的情况:能接受分钟到小时级的 RTO,因为 ClusterBackup 的重放时间取决于 log 大小。ClusterBackup 从运行中的集群复制 log 和快照;重建一个成员,
就是把这份 archive 和 recording.log 拷到一台 clusterMembers 条目相同的节点上,然后重放。
备份与灾难恢复把温备和冷备并排做了对比。快照的安全性
在两个版本里完全一样——打到一半中断的快照恢复方式相同,完整性工具(invalidate-latest-snapshot、
validate-recording-log)也是开源的。
Aeron Transport Security:不可信网络上的帧
Section titled “Aeron Transport Security:不可信网络上的帧”开源版的 SECURITY.md 说得很直白:“Aeron does not authenticate or encrypt transport traffic by
default”(Aeron 默认不对传输流量做认证或加密);在不可信网络上——“including most cloud deployments”
(包括大多数云上部署)——它建议用 ATS,或者自己上 IPsec/WireGuard。ATS 用 AES-256-GCM 加密每个
datagram(header 明文发送,作为认证数据),用 RSA 密钥对认证 driver,单播密钥则用 ECDH 协商。
它覆盖单播、组播和 MDC。
决定能不能用的约束:只支持 C Media Driver(Java driver 遇到 ats URI 参数会报错)、OpenSSL 3.0.0、
每个 driver 一把唯一的 RSA 私钥,并通过 LD_PRELOAD 或 AERON_DRIVER_DYNAMIC_LIBRARIES 加载。
同一个 channel 上,ATS 端点和非 ATS 端点互相看不见,所以要按 channel 逐个上线(ats=false 可以退出)。
Adaptive 没有公布延迟数据(概览里只说 “minimal latency”),本站也没测过——上线之前,分别测开和不开时的 p99。
开源版就够的情况:网络可信且隔离,或者网络层隧道的延迟开销在你的预算之内。Archive 和 Cluster 的认证
与授权是开源的,而且默认就在运行:认证放行所有连接(DefaultAuthenticatorSupplier),Archive 的授权放行所有命令。
Cluster 默认的授权服务(AllowBackupAndStandbyAuthorisationService)只放行 Cluster Backup 和 Standby
需要的请求,所以客户端发给 consensus module 的管理请求会被拒绝。你的应用命令作为普通的 ingress 消息进来,
根本到不了授权服务,得由服务自己鉴权。无论选哪条路,都要自己配好认证器和授权服务。
Aeron Insights、Data Retention Regulator、Selector
Section titled “Aeron Insights、Data Retention Regulator、Selector”这三个组件改变的是工作量,不是延迟。
- Aeron Insights(beta)带有 Prometheus exporter、一个示例 Grafana 仪表盘和一个 CLI。它读的 CnC 文件 和开源 exporter 读的是同一个,但只导出其中精选的一部分:值得注意的是,集群选举次数、leadership term 和 append position 都没有对应指标, 而它们恰恰是最有用的稳定性告警,见指标与告警。这些计数器要靠你自己的 exporter 和它并行采集。
- Data Retention Regulator 对 Archive 和 Cluster 的 recording 执行保留策略——例如
RetainEnoughDataForRecoveryPolicy会保留最近 N 个快照,以及其中最早那个快照之后的 log。它的默认备份 策略什么都不做。开源版的对应做法是Archive 保留与清理里的 人工流程。 - Aeron Selector 是一个 Linux 守护进程(
aeronsd,基于epoll,需要 Media Driver 1.43.0+),让应用 线程在大量 subscription 上休眠,而不是 busy-spin。Adaptive 明说,代价是唤醒延迟。开源版能调的是空闲 策略——见智能批处理与空闲策略。
Adaptive 还列出了 SBE Domain Mapper(Java 17+,生成 SBE ↔ 领域对象的适配代码)。它是提升开发效率的 工具,对运维没有影响,所以不在这次选型的考虑范围内。
- 你撞到的第一堵墙是不是每秒包数,而且到达平滑、没法打包,又只用单播 IPv4?→ 评估 Kernel Bypass, 并给每个 driver 预算好专用的隔离核。
- 集群扛住 AZ 或区域丢失的速度,是否必须快于一次
ClusterBackup重放,同时每次提交又不能等跨 AZ 的确认?→ 评估 Cluster Standby,并按异步复制会丢数据来设计。 - 快照停顿是否出现在你的最大延迟里?→ 用 standby 快照;确认
standbySnapshotsEnabled和acceptStandbySnapshots都已设置。 - 流量是否穿过你控制不了的网络?→ ATS(C driver)或网络层隧道;两种都要测 p99。
- 以上都不是?→ 留在开源版。自己写 exporter,把清理脚本化,调好空闲策略。
Adaptive 以订阅方式销售 Premium,附带它所说的”SLA-backed support”(有 SLA 保障的支持),并在 AWS、 Google Cloud 和 Azure 的云市场上架。它没有公布价格或 SLA 条款,所以本页也没有。
- Aeron Premium 文档索引(组件列表,“available on subscription”): https://aeron.io/premium-docs/overview/index.html
- Aeron Premium 产品页(组件简介,“SLA-backed support”,云市场上架信息): https://weareadaptive.com/aeron-premium
- Kernel Bypass (DPDK):https://aeron.io/premium-docs/aeron-dpdk/dpdk-overview.html
- Cluster Standby:https://aeron.io/premium-docs/aeron-cluster-standby/standby-overview.html
- Aeron Transport Security:https://aeron.io/premium-docs/aeron-transport-security/ats-overview.html
- Aeron Insights:https://aeron.io/premium-docs/aeron-insights/insights-overview.html
- Data Retention Regulator:https://aeron.io/premium-docs/aeron-data-retention-regulator/drr-overview.html
- Aeron Selector:https://aeron.io/premium-docs/aeron-selector/selector-overview.html
- SBE Domain Mapper:https://aeron.io/premium-docs/sbe-domain-mapper/index.html
- 开源仓库与许可证:https://github.com/aeron-io/aeron; 安全范围:https://github.com/aeron-io/aeron/blob/master/SECURITY.md; dynamic join 的废弃(1.41.0)与删除(1.47.0): https://github.com/aeron-io/aeron/blob/master/CHANGELOG.adoc
- Cluster Backup(开源):https://aeron.io/docs/aeron-cluster/cluster-backup/
- 认证与授权的默认实现(开源):
DefaultAuthenticatorSupplier、Archive.java(DEFAULT_AUTHORISATION_SERVICE_SUPPLIER)、ConsensusModule.java和AllowBackupAndStandbyAuthorisationService - AWS 基准测试数据:Aeron on AWS: 2025 Performance Benchmark Results, 经由诚实解读基准测试
- Transport、Archive 与共识的内部原理:The Aeron Files
本站与 Adaptive Financial Consulting Limited 或 Aeron 项目无任何关联,未获其背书或赞助。 Aeron 是 Adaptive Financial Consulting Limited 的注册商标。
Aeron 是 Adaptive Financial Consulting Limited 在英国及其他国家/地区的商标。