[5.1.0]关于Dledger和controller疑问

[Hoxxx]

看文档看得有点晕，这两个组件做的事是相同的？
三节点，想做一个高可用、异步复制的mq集群，是不是用Dledger就够了？

[RongtongJin]

DLedger相关的高可用有两种模式

1. RocketMQ 4.5 之后 DLedger模式被引入 RocketMQ
   

该架构主要是利用OpenMessaging中名为DLedger的Raft存储库来实现，DLedger存储层是仿照RocketMQ写的简化版本，传输层也用的RocketMQ Remoting，这样的切换架构依靠Raft自选举能力，仍然没有任何外部组件依赖。如图所示，最主要的区别是利用Raft CommitLog代替了原来CommitLog，使CommitLog拥有了选举复制的能力，然后通过角色透传的方式，把Raft的角色透传给外部Broker的角色，Leader对应原来Master的角色，Follower和Candidate对应原来的Slave角色，而Broker与其他外部组件如NameServer，客户端的交互仍然以Master/Slave的形式进行。现在，如果一个Master挂了，依靠Raft自动选主的能力，会重新选出一个Leader，然后通过角色透传变成新的Master对外服务。此外，Raft的算法也保证了数据的一致性，不会出现消息的丢失。

2.RocketMQ 5.0 后的Controller模式

1 中 DLedger 存在以下问题

• Broker组内的副本数必须是3副本及以上才有切换能力，因此成本是有上升的。
• Raft多数派限制导致三副本副本必须两副本响应才能返回，五副本需要三副本才能返回，因此ACK是不够灵活的，这也导致发送延迟和副本冗余间没有一个很好的可协商的方案。
• 由于存储复制链路用的是OpenMessaging DLedger库，导致RocketMQ原生的一些存储能力没办法利用，包括像TransientPool、零拷贝的能力，如果要在Raft模式下使用的话，就需要移植一遍到DLedger库，开发特性以及bug修复也需要做两次，这样的维护和开发成本是非常高的。

因此在RocketMQ 5.0 版本后，DLedger（Raft）能力从原本的复制链路上移到controller，将选主切换能力上移，单独作为一个选主组件。RIP-44提出增加一个DLedgerControlller的选主组件，它是可选部署的，在无切换架构的基础上，部署后经过配置就可以拥有切换的能力，它可以内嵌在Nameserver中，也可以独立部署。如果内嵌在NameServer中，NameServer本身的能力还是无状态的，比如有三个NameServer都内嵌部署了DLedger Controller，如果宕机两个节点，NameServer仍然存在一个可以提供路由服务，DLedger Controller宕机两个节点后由于达不到Raft多数派的要求无法再协助Broker切换，但是消息集群本身正常的收发服务不会受到影响。

如果新建集群，建议使用5.0的controller模式，可以参考相关文档 https://github.com/apache/rocketmq/tree/develop/docs/cn/controller

[mxsm]

@Hoxxx

1. 副本越多性能会有所下降，这个是Raft算法导致。但是不一定是减半。这个需要具体进行测试
2. DLedger Controller可以内嵌NameServer也可以单独部署，Broker如果部署两个节点那就是一主一从，如果你想要实现高可用并且还能进行切换。建议部署至少2个Broker或者更多。
3. Broker你可以部署多个，当Master宕机下线会从剩下的Broker中重新选择一个Broker作为Master。Controller模式下Broker name相同的多个Broker，最后会选举出一个Broker作为Master. 之前是直接在配置文件中设置BrokerId=0的Broker作为Master

你可以了解一下5.0版本Controller模块设计文档：https://github.com/apache/rocketmq/wiki/RIP-44-Support-DLedger-Controller

[drivebyer]

DLedger Controller宕机两个节点后由于达不到Raft多数派的要求无法再协助Broker切换

大佬们。关于这点，假设有 3 个 controller 节点，部署在 2 个机房。 如果多数派的机房宕机后，理论上来说 raft 集群是无法正常工作了，这时候是否有什么办法强制让剩余的一个 controller 节点提供主从切换的功能呢？

[CatofWei]

使用Dledger controller之后，部署broker只用一主一从两个节点，虽然成本下降了。但是当主节点故障的时候，从节点被选举为了主节点，这个时候因为不满足大多数broker可用，所以无法写入消息。那么可用性就下降了，感觉意义没有这么大啊

[francisoliverlee]

如果部署多组主从， 一组主从故障切换， 其他组的主从提供服务， 保障可用性。

[onejimmyboy]

使用Dledger controller之后，部署broker只用一主一从两个节点，虽然成本下降了。但是当主节点故障的时候，从节点被选举为了主节点，这个时候因为不满足大多数broker可用，所以无法写入消息。那么可用性就下降了，感觉意义没有这么大啊

一主一从的情况，主故障，从变成主，当前场景仍然可以写入消息呀，为什么可用性降低了呐

[SchopenhauerZhang]

mq 5.0 缺少Controller 主备自动切换的部署文档；尤其是DLedger模式升级到Controller 主备自动切换模式的文档；
仓库中这块相关的文档只有一下这段：
`
（2）原DLedger模式升级到Controller切换架构

由于原DLedger模式消息数据格式与Master-Slave下数据格式存在区别，不提供带数据原地升级的路径。在部署多组Broker的情况下，可以禁写某一组Broker一段时间（只要确认存量消息被全部消费即可，比如根据消息的保存时间来决定），然后清空store目录下除config/topics.json、subscriptionGroup.json下（保留topic和订阅关系的元数据）的其他文件后，进行空盘升级。
`
有时间可以补充下这块的详细文档吗？
quick start上也是controller+一主一从的模式（2个broker），并没有controller+1主2从（DLedger 模式）的quick start可供参考；
感谢。

[SchopenhauerZhang]

let me try，thx。
问题描述
另外，可能我没有表述清楚，我其实想问的是DLedger+ controller主备切换 模式的部署文档。
因为我本地部署DLedger是能够成功了，但是DLedger升级到controller主备切换总是失败，所以想问问能不能直接基于DLedger部署controller主备切换。
部署步骤
参考官方文档，在Controller模式下，Broker配置必须设置enableControllerMode=true，并填写controllerAddr。
我在原有（3个节点的）DLedger集群基础上增加了enableControllerMode、controllerAddr两项配置，希望
实现3个nameserver（内嵌controller）+3个DLedger。
但是通过getSyncStateSet命令只能看到1个member，导致kill master后切主失败。

排查思路
当然我也在排查是否是我部署的姿势不对，检查过配置目前没有看到问题。如果有相关讨论社区希望可以交流一下。
Thx。

[mxsm]

@SchopenhauerZhang 这种情况下你直接进行切换是不行的， 之前的DLedger主键是用来存储Broker的数据，而Controller模式将数据存储上移了。直接放到了Broker中。与此同时DLedger现在作用是单独作为一个选主组件。 在状态机里面存储的是Broker的一些元数据信息。当你DLedger加载数据的时候Controller实现的状态机是无法识别DLedger里面的数据的，所以你的错误应该是状态机对数据进行解析的时候报错对吗？你可以了解一下5.0版本Controller模块设计文档：https://github.com/apache/rocketmq/wiki/RIP-44-Support-DLedger-Controller 。 不知道这样说是不是能够解答你的问题。

[RongtongJin]

let me try，thx。 问题描述 另外，可能我没有表述清楚，我其实想问的是DLedger+ controller主备切换 模式的部署文档。 因为我本地部署DLedger是能够成功了，但是DLedger升级到controller主备切换总是失败，所以想问问能不能直接基于DLedger部署controller主备切换。 部署步骤 参考官方文档，在Controller模式下，Broker配置必须设置enableControllerMode=true，并填写controllerAddr。 我在原有（3个节点的）DLedger集群基础上增加了enableControllerMode、controllerAddr两项配置，希望 实现3个nameserver（内嵌controller）+3个DLedger。 但是通过getSyncStateSet命令只能看到1个member，导致kill master后切主失败。

排查思路 当然我也在排查是否是我部署的姿势不对，检查过配置目前没有看到问题。如果有相关讨论社区希望可以交流一下。 Thx。

是的。原本的dledger模式和controller是无法混用的。两者是互斥的

[onejimmyboy]

@mxsm 如何配置2主2从的话，如何配置呐？这两组broker是否可以使用同一组controller

[francisoliverlee]

@mxsm 如何配置2主2从的话，如何配置呐？这两组broker是否可以使用同一组controller

可以，broker和原来部署主从一样，只是新增加controller的配置

[liangliplus]

部署基于Dledger 架构一主两从， 和 自己部署两组 master-slave 架构（一共4个节点）有什么区别 ？
master-slave 两主两从， 其中主节点挂掉后，另外一个主节点还是可以继续提供服务啊

[lizhimins]

1. 两副本，无外置 controller 的情况下，是冷备，主挂，副本组只读了。
2. 两副本，外置 controller，热备，主备可以切换。
3. 三副本，可以用 controller 也可以用 dledger，差别是是否外置选主，可以切换。

[liangliplus]

我目前使用的版本是4.9.x
我个人更倾向 master-slave （4个节点), 因为写入性能上更好，并且也保证相对的可用性(2个主节点场景下允许挂掉一个)
原因如下
master-slave 部署2主2从，2个主都能提供写 并且没有数据强一致性(写入性能更好), 只有当2个主都挂掉的时候才无法提供写，一个主挂掉后 发生请求倾斜。

不管是成本上还是性能上 都是master-slave 架构更优秀啊。

想请问大家什么场景下要用Dledger 架构，为什么要用该架构，是有什么master-slave 架构无法满足的情况吗 ？

[henzhaihenzhaixingren]

假如我有一个Controller集群，inSyncReplicas和minInSyncReplicas都配置为2，那么现在broker有3个节点时会如何？因为brokerRole现在是由Controller管理的了，我如何判断现在是一主二从，还是一主一从+一主零从？