为什么需要PCIe 6.0 ？
自21世纪初正式创立以来，PCI Express(PCIe)接口就成为了数据中心和计算应用中芯片间数据传输的行业标准。GPU、FPGA和TPU等特定加速卡都是通过PCIe接口与各个计算节点快速传输数据。
图源：ADLINK
PCIe 6.0满足800G数据中心带宽的需求
PCIe 6.0 规范支持数据中心向800G以太网的切换，800 Gb/s所需的带宽为100 GB/s，在x16 PCIe 6.0链路配置下，单向带宽可以达到128 GB/s，在多个端口做链路聚合之后，完全支持1.6T 以太网的带宽需求。
PCIe 6.0满足多GPU显卡互联需求
NVLink专注于Nvida的GPU间数据交换，满足大规模并行处理和AI模型训练等高性能计算任务的带宽需求。而PCIe则凭借其开放性和广泛的兼容性，迅速适应市场变化和技术演进。
PCIe 6.0提供了高达64 GT/s的单向传输速率，显著提高了数据吞吐量。在能效方面，PCIe 6.0采用了PAM-4，以优化功耗和信号完整性。因此，PCIe 6.0成为多GPU显卡互联的首选。
内存池共享Compute Express Link (CXL)
CXL 3.0基于PCIe 6.0协议，CXL内存池共享技术支持跨 CPU、GPU、FPGA 等设备的内存统一编址，可将分散的内存聚合为共享池，动态分配给不同任务。通过CXL连接的内存扩展卡，单服务器内存容量可从TB 级提升至PB级，突破大模型训练的内存限制，同时减少采购高价HBM。
NVMe
NVMe（Non-Volatile Memory Express）是一种专为固态硬盘（SSD）设计的存储协议，旨在充分利用 PCIe总线的高速带宽，提供高性能、低延迟的存储解决方案。PCIe 6.0 为 NVMe 存储设备提供了更高的带宽和更低的延迟，显著提升了存储性能和能效，为数据存储提供高速、低延迟的存储方案。
PCIe 6.0的技术特性
信号通道和PAM-4调制
PCIe 5.0使用传统的NRZ（Non-Return-to-Zero）调制方式，当数据速率达到32GT/s时，奈奎斯特频率也达到16GHz，频率升高带来的损耗与耦合噪声和串扰的增加，使得PCIe 5.0信道成为最难处理的NRZ信道。
PCIe 6.0使用PAM-4调制，PAM-4使用四个信号电平（0, 1, 2, 3），形成三个“眼”（eye），每个电平对应两位数据。这种多电平调制方式显著提高了数据传输效率。
由于发射端(TX)的总体电压摆幅没有增加，PAM-4每只眼的可用电压仅为NRZ的1/3。因此，信号对噪声更加敏感，对于在TX和RX之间信号完整性的要求更高。从NRZ信号转换为PAM-4信号，对于信号抖动的要求要提高2倍，同时会导致信噪比(SNR)退化9.6dB，因此封装和PCB中的串扰和回波损耗也比PCIe 5.0高。
前向纠错 (FEC)
噪声敏感性增加意味着我们用于PCIe的1e-12误码率(BER)不可行，并且需要前向纠错 (FEC)，因为PAM-4信令的BER将比1e-12高几个数量级，第一位误码率(FBER)的目标是1e-6。前向纠错 (FEC) 弥补了这种性能上的不足。PCIe 6.0规范将额外的FEC延迟限制为2 纳秒或更短。为了将链路重试几率保持在较低水平，FEC和CRC（循环冗余校验）需要协同工作。
FLIT 模式
因此PCIe 6.0采用了256字节FLIT作为标准大小的数据传输单元，为了支持FEC的固定数据包大小要求，PCIe 6.0 包含基于流控制单元 (FLIT) 的编码。通过消除在物理层对数据包进行分组的必要性，此修改还简化了数据管理程序，降低了延迟并提高了效率。
低功耗模式，FLIT模式的L0p
PCIe 6.0引入了一种新的低功耗状态，称为L0p，允许PCIe 6.0链路在不中断数据流的情况下扩展带宽利用率，从而降低功耗。在前几代中，为了改变链路宽度，整个链路重新训练时，流量会中断几微秒，但L0p允许链路关闭通道，从而降低功耗，同时始终保持至少一个通道处于活动状态，即使其他通道正在进行链路训练。需要注意的是，这种新的低功耗模式仅在FLIT模式下可用，而L0s支持非FLIT模式。
这种新的低功耗模式是对称的，这意味着TX和RX一起缩放，并且支持FLIT模式的重定时器也支持这种模式。在处于L0p期间空闲通道的PHY功耗预计与关闭通道时的功耗相近。
PCIe 6.0的PCB板材选型
由于PCIE 6.0使用了PAM4信号制式，在36 dB损耗链路下，是无法达到1E-06误码率要求的。因此，PCIe 6.0规范不得不将整个物理通道的总损耗值降低到32 dB。
现阶段，PCIE 4.0 16GT/s的速率，主板已经要使用Megtron 4/Megtron 6板材，考虑到CPU芯片的尺寸在不断增大，在PCIE 5.0和PCIE 6.0时代，主板PCB板材需要进一步提升到Megtron 6/Megtron 7等级。铜箔类型需优选HVLP（低粗糙度）以上等级，以减少信号因趋肤效应产生的损耗。
