撮合引擎的消息中间件选型:Aeron® vs Kafka vs Chronicle Queue
如果撮合引擎必须做到丢一个节点也不丢已提交的订单,那么这份清单里只有 Aeron® Cluster 能把你自己的代码 直接跑成一个基于 Raft 复制的状态机。共识、可回放的日志和 UDP 传输都在同一套 Apache-2.0 技术栈里,代价是 你得守住确定性代码的纪律,还得有人懂 JVM 低延迟运维。Apache Kafka 服务的是交易所的另一半:基于 TCP、 可保留、可反复读取的事件流,供风控、分析、监察和审计使用,而它自己的文档也说提交延迟“在 10 ms 量级” (“on the order of 10 ms”)。Chronicle Queue 和 LMAX Disruptor 都是单机的积木。除非你自己动手搭,或者买 Chronicle 的 Enterprise 复制功能,否则两者都不会把你的状态复制到其他机器上。
对比:决定交易所设计的几项属性
Section titled “对比:决定交易所设计的几项属性”| 属性 | Aeron(Transport + Archive + Cluster) | Apache Kafka | Chronicle Queue(OSS) | LMAX Disruptor |
|---|---|---|---|---|
| 为你的代码提供复制状态机 | 是。Cluster 把你的服务作为基于 Raft 的复制状态机来运行 | 否。它复制的是日志,消费者的状态得由你自己重建 | 否。README 把 Enterprise 复制描述为“实时备份”(“real-time backup”),不是共识 | 否 |
| 提交 / 共识模型 | Raft 多数派提交 | leader + 动态的同步副本集合(ISR),不是多数派投票;KRaft quorum 只管元数据 | 无(单写者,本地文件) | 无 |
| 持久化与回放 | Archive 录制流,供“事后或实时回放”(“later, or real-time, replay”);默认同步级别只到 page cache | 持久日志,按 topic 设置时间保留期,消费者可回退到任意仍保留的 offset | 本地磁盘上的内存映射文件;不支持网络文件系统 | 无(内存环形缓冲区) |
| 传输 | UDP 单播、UDP 组播、IPC | TCP 二进制协议 | 同机共享文件;跨机只能靠 Enterprise 复制 | 线程间,限于单个进程内 |
| 典型部署 | 3 节点集群 + 客户端,绑核,busy-spin | broker 集群(常见 RF 3)+ 3 或 5 个 KRaft controller | 嵌在你 JVM 里的库 | 嵌在单个 JVM 里的库 |
| 语言 | Java、C、C++ 客户端(.NET 另有独立实现);Cluster 服务端是 Java | JVM:Java 客户端;broker 用 Java 写,夹杂少量 Scala | Java | Java |
| 许可与支持 | Apache-2.0;Adaptive 出售 Premium 组件、培训和支持 | Apache-2.0 | Apache-2.0;Enterprise Edition 为商业版 | Apache-2.0 |
| 不适合做什么 | 长保留期、扇出给几十个消费团队 | µs 级延迟、同步复制的订单簿 | 开箱即用的多机 HA | 任何需要离开进程的场景 |
后面几节里的数字彼此不可比:它们分别来自不同的厂商、测试环境、消息大小和测试框架,没有一个是在同一套 硬件上正面对比测出来的。
什么时候选 Aeron
Section titled “什么时候选 Aeron”当定序和状态复制本身就是产品时,选 Aeron Cluster——撮合引擎正是如此。README 对 Cluster 的描述是“基于 Raft 共识算法、以复制状态机形式实现的容错服务”(“fault-tolerant services as replicated state machines based on the Raft consensus algorithm”)。落到实践上:每个节点应用同一份有序日志,所以在同一个日志位置上,follower 持有的 订单簿与 leader 完全相同。这一点靠哪五条安全保证成立,见 Aeron Cluster 与 Raft 共识;选举的内部机制见 The Aeron Files。
本站测得的数字(我们自己的环境,不是厂商宣称):
- p50 37 µs,1 个发布者 → 3 个 MDC 接收者,224 B、50k msg/s,裸金属。在 0.01% 的注入丢包下,调优 NAK 定时器把 p99.9 从 8,286 µs 降到 105 µs(NAK 定时器调优)。
- leader 故障切换:开箱约 11 s,调优后约 1.5 s:
aeron.cluster.leader.heartbeat.timeout设为 1 s,心跳间隔 200 ms,选举超时 500 ms。Aeron 1.48.11,裸金属(调优集群故障切换时间)。 - 基准测试的延迟高度依赖
burst这个参数。把厂商或社区的数字放进幻灯片之前,先读 诚实解读 Aeron 基准测试。
真正决定选型的往往是代价,而不是延迟:
- 服务代码必须是确定性的。 服务里只要用了挂钟时间、随机数或
HashMap的迭代顺序,副本就会悄无声息地 分叉(运维手册:快照与确定性)。 - 集群服务只能用 Java 写。 在 OSS 仓库里,
aeron-cluster/src/main下只有 Java 源码(java/,外加resources/)。客户端有 Java、C 和 C++ 版本,另有一个独立的 .NET 客户端。 - 低延迟运维是一门专门的手艺。 要守住 p99,靠的是隔离核、busy-spin 空闲策略和 driver 调优(核心隔离与 线程绑定、智能批处理与空闲 策略)。
- 保留期得你自己运维。 archive API 删除 cluster 日志段时,不会检查某个节点重启时是否还要用到它们,所以 清理必须走一套规程(Archive 保留与清理)。持久性默认只到 page cache(Archive 持久化与回放)。
- 部分功能是商业版。 README 把“基于 DPDK 的内核旁路”(“kernel bypass with DPDK”)和 ATS 加密列为 Adaptive 的专有增强,Adaptive 也就是 Aeron Premium 背后的公司。认定自己需要它之前,先读 什么时候该用 DPDK。
什么时候选 Kafka
Section titled “什么时候选 Kafka”需要可保留、供多个消费者反复读取的流时,选 Apache Kafka。官方介绍说它能“持久、可靠地存储事件,想存多久 就存多久”(“durably and reliably for as long as you want”),保留期按 topic 设置。设计文档写道“消费者可以有意 回退到旧的 offset,重新消费数据”(“a consumer can deliberately rewind back to an old offset and re-consume data”)。客户端与 broker 之间走的是“高性能 TCP 网络协议”(“a high-performance TCP network protocol”)。
它为什么不适合做撮合引擎的核心:
- 提交延迟。 Kafka 设计文档说,等待一条消息被提交“可能需要 10 ms 量级”(“can take on the order of 10
ms”)。你可以用
acks(异步,或只等 leader)降低持久性来换延迟,但这是持久性层面的决策,不是调优旋钮。 - 复制模型。 “Kafka 不用多数派投票,而是动态维护一组同步副本(ISR)”(“Instead of majority vote, Kafka
dynamically maintains a set of in-sync replicas (ISR)”)。在
acks=all下,要等当前 ISR 的所有成员都拿到 这条记录才会确认;min.insync.replicas设定下限。作为日志复制方案,这个设计没有问题,但它不是撮合逻辑的 复制状态机:故障切换后,消费者得从 offset 重建状态。 - 顺序只在分区内成立。 topic 被“划分为一组全序的分区”(“divided into a set of totally ordered partitions”)。要在所有品种之间做全局定序,只能用单分区,或者自己实现定序器。
- 吞吐靠批处理。 文档里举的批处理上限是“64k 或 10 ms”(“64k or 10 ms”)。对流处理来说这个取舍是对的, 放到下单热路径上就错了。
什么时候选 Chronicle Queue
Section titled “什么时候选 Chronicle Queue”Chronicle Queue 是“无 broker、堆外内存的 Java 库,提供超低延迟的持久化消息”(“a broker-less, off-heap Java library for ultra-low-latency, persisted messaging”),数据存放在内存映射文件里。它适合同机流水线和日志 记录:网关 → 引擎 → 发布者这几个进程都在一台机器上,每条消息都落盘、可回放。
- 厂商数字,同一台机器: 每分钟 1000 万个事件、40 字节消息、“一个线程发布,一个线程消费”(“one thread to publish, and one thread to consume”)时,99 分位为 0.78 µs(来自 Chronicle README,未说明硬件)。
- 不支持网络文件系统。 README 说 Chronicle Queue “不支持在任何网络文件系统上运行”(“does not support operating off any network file system”),而跨多台主机“唯一受支持的方式”(“the only supported way”)是 Chronicle Queue Replication,这是 Enterprise Edition 的功能。
- 没有共识。 复制被描述为“对全部队列数据的实时备份”(“real-time backup of all your queue data”)。README 里没有任何地方提到 leader 选举或多数派提交,故障切换逻辑得你自己设计。
如果引擎在设计上就是单机的、HA 另有方案,或者你已经买了 Chronicle Enterprise 的许可,就选它而不选 Aeron。 如果多节点容错必须开箱即用,而且得是 Apache-2.0 许可,就别选它。
LMAX Disruptor 根本不是一类东西
Section titled “LMAX Disruptor 根本不是一类东西”Disruptor 是“高性能的线程间消息库”(“a High Performance Inter-Thread Messaging Library”),负责在同一个进程
内的线程之间传递事件。它没有网络传输,没有持久化,也没有复制,所以该拿它和 ArrayBlockingQueue 比,而不是
和 Kafka 或 Aeron 比。LMAX 的论文报告:每一跳平均 52 ns,ArrayBlockingQueue 则是 32,757 ns(三级流水线,
Core i7-2720QM @ 2.2 GHz,Java 1.6.0_25,Ubuntu 11.04,未绑定 CPU)。
它回答的是引擎内部的问题,也就是网关解码、撮合和发布之间的线程模型,无论你选哪种传输都可以和它搭配。持久性 和故障切换得从别处来。
简述:NATS、ZeroMQ、Solace
Section titled “简述:NATS、ZeroMQ、Solace”| 产品 | 官方文档怎么说 | 是否适合做撮合引擎核心 |
|---|---|---|
| NATS(Apache-2.0) | Core NATS 是“至多一次,永不重放”(“at most once, never replayed”)。JetStream 加上了持久化和回放;每个多副本 stream 是一个独立的 Raft 组,写入在多数派持有后才确认 | JetStream 有真正的共识,但它是一个要走网络调用的 broker,你的状态机仍然在你自己的进程里 |
| ZeroMQ(libzmq,MPL-2.0) | “看起来像个可嵌入的网络库,用起来却像个并发框架”(“Looks like an embeddable networking library but acts like a concurrency framework”);socket 可以跑在进程内、进程间、TCP 和组播之上 | 只是传输层。持久化、回放和故障切换都得自己做 |
| Solace | 事件 broker。默认是“Direct messaging”,“可靠,但不是 Guaranteed”(“reliable, but not Guaranteed”);Guaranteed 消息存放在非易失存储中 | 热路径上多一跳 broker,也没有为你的代码提供复制状态机 |
- 已提交的订单是否必须在丢失一个节点后依然存在、且回放没有缺口? 是 → 你需要对状态机做共识:用 Aeron Cluster,或者在其他方案之上自己搭一层 Raft。
- 下单的往返延迟预算是多少? 微秒级 → UDP/IPC 传输加绑核。几毫秒也能接受 → Kafka 或某种 broker 可行, 而且更容易招到人。
- 有多少个消费团队,保留期多长? 团队多、要保留几周的历史 → 下游用 Kafka,不管引擎用什么跑。
- 引擎在设计上是单机的吗? 是 → Chronicle Queue 或 Disruptor,再加你自己的 HA 方案。拍板之前先把这份 方案写下来。
- 谁负责确定性评审和 JVM 调优? 没人 → 暂时别选 Aeron Cluster。它的故障模式是悄无声息的分叉和尾延迟尖刺, 两者都需要有明确的负责人。
- 会不会扩展到不止一个定序器? 现在就规划好分片键(用 actor 模式分片 OMS)。
- 签任何合同之前,先在自己的环境上测。 上面每个数字都来自不同的测试框架。
- Aeron README:https://github.com/aeron-io/aeron · 许可证 https://github.com/aeron-io/aeron/blob/master/LICENSE · cluster 模块 https://github.com/aeron-io/aeron/tree/master/aeron-cluster/src/main
- Apache Kafka 介绍:https://kafka.apache.org/intro
- Apache Kafka 设计(4.1):https://kafka.apache.org/41/design/design/
- Apache Kafka KRaft 运维(4.1):https://kafka.apache.org/41/operations/kraft/
- Apache Kafka 许可证:https://github.com/apache/kafka/blob/trunk/LICENSE
- Chronicle Queue README:https://github.com/OpenHFT/Chronicle-Queue
- LMAX Disruptor:https://lmax-exchange.github.io/disruptor/ · 仓库 https://github.com/LMAX-Exchange/disruptor · 技术论文 https://lmax-exchange.github.io/disruptor/disruptor.html
- NATS JetStream:https://docs.nats.io/nats-concepts/jetstream · 集群 https://docs.nats.io/running-a-nats-service/configuration/clustering/jetstream_clustering · 服务端许可证 https://github.com/nats-io/nats-server
- ZeroMQ:https://zeromq.org/ · libzmq 许可证 https://github.com/zeromq/libzmq
- Solace 术语表:https://docs.solace.com/Get-Started/glossary.htm
- Aeron 内部机制:The Aeron Files
本站与 Adaptive Financial Consulting Limited 或 Aeron 项目无任何关联,未获其背书或赞助。 Aeron 是 Adaptive Financial Consulting Limited 的注册商标。
Aeron 是 Adaptive Financial Consulting Limited 在英国及其他国家/地区的商标。