AI大模型训推集群对InfiniBand无损网络的负载均衡与链路故障自愈能力提出极高要求。传统静态LFT转发模式下，多源流量访问同一目标极易产生网络热点，制约RDMA通信性能。本文基于Mellanox SB78X0系列IB交换机物理实验环境，深度拆解InfiniBand Adaptive Routing（AR自适应路由）、SHIELD智能自愈互联的核心工作原理；并通过SM存活、SM离线多组对照实验，验证AR动态负载转发的实际效果，为智算IB集群部署、AR模式配置提供可落地的实测参考。
IB交换机在转发数据时，根据数据包的DLID查询本地的LFT表中的出接口进行转发，LFT表项由SM在子网初始化或拓扑发生变化时写入，交换机本身不计算LFT表。当同时有多个源往同一个LID发起通信时，只根据LFT查询的情况下，通常会选择在同一个出端口转发，容易产生热点影响通信。当交换机存在多条路径可以去往同一个目标，在条件允许的情况下，会将多条路径放入到同一个port group中，通过查询ARLFT得到该DLID对应的port group，然后在group 内按出口队列/负载动态地选择出接口转发数据，这项技术称为Adaptive Routing，本文在后续中使用AR替代。
要开启AR需要满足以下几个条件：交换机要支持AR、SM的路由引擎要支持AR、SM要开启AR、交换机内同时有多条路径指向同一个LID；SM通过opensm.conf文件中的routing_engine以及ar_mode字段来决定是否开启AR，在默认情况下ar_mode=3代表自动。
SM在做子网发现时会通过厂商特定的ARInfo获取到交换机的能力识别出交换机是否支持AR，当SM启用AR时会根据拓扑算法创建port group，并且将ARLFT下发给交换机。
接下来我们将在基于AR的基础上介绍ARN与SHIELD的特性。
Adaptive Routing Notification：当交换机发现某个口发生拥塞时会发送通知给邻接交换机，促使邻接交换机及时调整port group的出接口，属于跨交换机的负载反馈机制，比纯依赖本地队列观测更灵活。
Self-Healing Interconnect Enhancement for InteLligent Datacenters：在通常情况下，当交换机中的一个端口状态发生变化会触发SM重新计算LFT表，当SM繁忙时可能会导致网络抖动。在支持AR与SHIELD的交换机上，当交换机发现通过ARLFT选定的出接口不在Armed/Active状态时，可以通过Fast Link Fault Recovery机制选择同port group中其他正常的端口进行转发且不需要SM介入，由交换机本地进行决策，能把端口故障对网络的影响降到最低。当交换机本地没有某个LID的可选择出端口时，交换机会使用Fast Link Fault Notification通知邻接交换机，让邻接交换机不需要使用本交换机的路径转发这个LID的流量；只有fat-tree与quasi-fat-tree拓扑中支持FLFN。在新一代的Quantum交换机中，支持pFRN，当链路故障时，交换机会给对端发送消息让对端交换机更新相关路由在port group中的mask。
以下通过实验验证AR与SHIELD的部分功能，本实验通过命令关闭leaf1上的DLid=7默认选择的出接口，并观察LFT、ARLFT、port group的输出，通过以下三个场景验证AR的效果。本文章所涉及到的实验设备均为真实物理设备。
场景一：SM存活并且开启AR
场景二：SM离线并且开启AR
场景三：SM离线并且关闭AR
实验环境采用2台各4卡的GPU服务器与3台mellanox SB78X0系列的IB交换机。
Spine交换机Lid=2
Leaf1交换机Lid=10，node1上的mlx5_0连接在2号口，且分配到的Lid=6
Leaf2交换机Lid=13，node2上的mlx5_1连接在1号口，且分配到的Lid=7
Node1上的HCA信息
Node2上的HCA信息
Leaf1上的LFT
Sminfo以及Leaf1上的ARLFT
Leaf1上的port group
实验场景一：
在node1上开启长ping后，通过ibportstate 10 19 disable关闭Leaf1上的port 19
Leaf1上的LFT表项，出接口从19替换为20
Leaf1上的ARLFT表项，默认出接口替换为20
Leaf1上的AR port group表项，原先在port group中的19已经被剔除掉了
实验场景二
关闭UFM，并验证sminfo，发现SMInfo查询失败
在node1上开启长ping后，通过ibportstate 10 19 disable关闭Leaf1上的port 19
Leaf1上的LFT表项，我们发现由于SM已经离线无法修改交换机上的LFT，所以此时LFT中的Lid=7的出接口还是19
Leaf1上的ARLFT表项，同样没有SM的介入无法修改ARLFT，但是并没有影响到数据的转发，验证了本地的SHIELD的FLFR机制已经生效
Leaf1上的port group表项，同样没有SM的介入，port group也没有发生改变
实验场景三
SM离线，并且AR没有被开启
关闭Leaf1上的19号口，发现Node1上的ibping丢包
在Leaf1上查看LFT表，发现超时，如果把19号口 up后可以恢复正常，由此验证了在没有开启AR的场景下，当SM离线后本地交换机在有多条路径的情况下也不再具备更换可用端口进行数据转发的决策权
本次AR、SHIELD验证实验正是基于信珩星途实验室智算实训平台完成。依托信珩星途实验室平台，我们专注于智算与超算场景下高性能网络、GPU服务器架构、GPU算力调度方向的技术实训。为保障学员接触到与真实生产环境高度一致的硬件拓扑，所有教学与验证实验均基于裸金属环境开展，完整保留原生PCIe拓扑链路。
实训试验台搭载多张NVIDIA A100数据中心GPU及专业工作站显卡，支持NVLink‑Bridge物理桥接；配套多台InfiniBand交换机、十余张Mellanox CX5系列网卡，交换机与网卡硬件原生支持SHARP v1相关实验，网卡可完成SR‑IOV Operator实操验证；多块NVMe固态硬盘，可支撑NVMe‑oF相关实训