链路层架构全景：CXL链路层在协议栈中的位置
聊CXL的链路层，得先搞清楚它在整个协议栈里到底干些啥。
很多人一上来就盯着FEC和重传看，结果越看越晕。
为啥？因为没搞懂链路层的位置，说白了就是没看清这层的上下关系。
我个人习惯，拿到任何协议规范，第一件事就是画架构图。
把层次关系理清，剩下的就好办了。
协议栈中的位置：三层分工
CXL的协议栈分三层，从下往上依次是：
- 物理层：管信号的收发，比特级的活儿。PCIe Gen5/6的电气特性、编码、时钟恢复，都在这一层。
- 链路层：我们今天的主角。负责可靠传输、FEC纠错、重传管理。
- 事务层：处理具体的读写请求、内存一致性协议。应用层逻辑都在这里。
我刚开始接触CXL时，总觉得链路层就是个“传话的”，没什么技术含量。
后来在一个实际项目中，系统在高负载下频繁丢包，我才意识到这层有多关键。
嗯，从此我不敢小看任何一层。
| 层次 | 核心职责 | 常见问题 |
|---|---|---|
| 事务层 | 请求/响应处理、一致性协议 | 死锁、协议违例 |
| 链路层 | FEC、重传、数据包排序 | CRC错误、重传超时 |
| 物理层 | 信号编码、时钟恢复 | 信号完整性、误码率 |
你看，每一层都有自己要解决的问题。链路层夹在中间，既要防错，又要纠错。
Fabric Manager 与设备角色
CXL系统里，设备角色不是随便定的。
一个链路上，至少有下面几种角色：
- Fabric Manager（FM）：整个系统的管理者。负责拓扑发现、地址分配、资源管理。
- Host（主机）：发起事务的一方。通常是CPU或内存控制器。
- Device（设备）：响应事务的一方。加速器、内存扩展器都属于设备。
- Switch（交换器）：相当于网络里的交换机。负责路由和转发。
小提示：Fabric Manager不是必须的设备。在小系统中，Host可以直接管理链路层配置。
但在大规模系统中，没有FM，你很难排查链路层的问题。
我在一个项目中遇到过这样的情况：
一个CXL内存扩展器老是报链路层错误，硬件同事查了半天，发现是FM没有正确配置FEC参数。
你想想看，一个字节配错了，整个链路就崩了。
所以FM的角色不是摆设，它起到的作用比想象的大。
数据通路分层
数据在链路层的流动，可以被拆成两个方向：
- 发送通路（TX）：从事务层拿到数据，经过链路层处理，再交给物理层。
- 接收通路（RX）：从物理层拿到比特流，经过链路层校验，再送给事务层。
具体到链路层内部，又是怎么运作的呢？
我个人习惯把数据通路拆成几个关键阶段：
- 分组阶段：把事务层的数据包切成FLIT（Flow Control Unit，流控单元）。
- 编码阶段：添加CRC、FEC码。如果你用的是RS码，这一步就能看出来。
- 传输阶段：把编码后的FLIT发给物理层。
- 校验阶段：接收端收到FLIT后，先做CRC校验。
- 纠错/重传阶段：如果CRC通不过，链路层决定是否用FEC纠错，还是要求重传。
注意：很多新手把FEC和重传当作两个互斥的方案。
实际上，CXL链路层两者都用。FEC先上，纠不了再走重传。
我曾经因为这个理解偏差，在调试时浪费了整整两天。
为了让你更直观地理解这个流程，我画了一张图。
这张图里，我把链路层拆成了发送和接收两个独立通道。
很多人以为链路层只是个简单的数据搬运工，其实不是。
你仔细看黄色区域，从校验到纠错再到重传，每一步都可能触发不同的行为。
核心要点：
- 链路层独立处理发送和接收，双向不对称是常态。
- FEC是前向纠错，不增加时延。重传是后向纠错，代价是时间。
- 事务层不需要管链路层的错误。链路层自己搞定。
说到这儿，我想起一个案例。
有次一个客户反馈，他们的CXL加速器在特定工作负载下频繁报错。
我们排查了三天，最后发现是链路层的FLIT分组出了问题。
事务层下来的数据包太大，链路层分片没做好，导致接收端CRC校验失败。
嗯，这个问题让我意识到：链路层的设计，真的得从全局考虑。
数据通路细节：发送端和接收端的差异
你可能会问：为什么发送端和接收端的阶段不一样？
答案其实很简单：发送端以编码为主，接收端以校验为主。
说白了，一个负责把数据包“包装”好，一个负责把包装拆开并检查完整性。
具体来看，发送端干这么几件事：
- 收集数据：从事务层的缓冲区拿数据。
- 组装FLIT：按CXL规范，把数据切成固定大小的FLIT。CXL 2.0的FLIT大小是256字节。
- 添加保护码：每个FLIT都会加上CRC和FEC码。我通常建议CRC用32位，FEC用RS码。
- 发送：通过物理层把FLIT发出去。
接收端正好反过来：
- 接收FLIT：从物理层拿到比特流，按FLIT边界切分。
- CRC校验：先算CRC，看数据有没有损坏。
- FEC纠错：如果CRC出错，用FEC尝试修复。
- 判断是否重传：如果FEC搞不定，给发送端发NAK，要求重传。
技巧：在实际调试时，我建议先看CRC错误计数，再看FEC纠正计数。
如果CRC错误多但FEC都能纠正，说明噪声不大。反之，如果CRC错误多且FEC纠正不了，那就要查物理层了。
另外，你还需要注意一点：
发送端和接收端的时钟可能是异步的。
CXL链路层设计时考虑了这一点，所以每个FLIT都带有序号。
接收端用序号来排序和去重，防止重传导致数据乱序。
我曾亲眼见过一个事故：因为序号管理有问题，重传的数据包被错误地插到了正常数据流中间，导致系统直接崩溃。
一个小结
好，链路层的架构全景就聊到这儿。
总结一下核心要点：
- CXL链路层在协议栈里负责可靠传输。
- 发送端和接收端分工明确，编码和校验各司其职。
- FEC和重传是互补关系，不是二选一。
- Fabric Manager的角色在大系统中尤为重要，别小看它。
你有了这个整体认知，后面再看FEC算法和重传流程，就不会觉得乱了。
就好比你在盖房子前先看了图纸，心里有底。