【网络虚拟化】一文搞懂华三(H3C) IRF技术：底层原理详解实战

项目目标

        本次围绕构建“安全稳定、高效灵活、智能管理”的核心目标，全力打造高可靠、高性能、可扩展的网络基础架构。具体而言，一是筑牢稳定接入基石，通过部署先进的核心、接入网络设备，构建冗余健壮的网络拓扑，确保为各类业务服务器提供持续、低延迟、高带宽的网络接入服务，保障各业务系统的数据交互流畅稳定；二是完善带外管理体系，搭建集中化、规范化的服务器带外管理网络（如IPMI/iDRAC/iBMC等），实现对服务器的远程监控、配置、故障排查及电源管理等操作，提升运维效率，降低现场运维成本，保障服务器硬件层面的可管可控；三是保障网络安全合规，严格落实网络安全相关标准，在网络层面部署访问控制、数据传输加密等安全策略，确保基础网络平台及接入服务器的安全性，满足数据合规性的要求；四是支撑未来扩展演进，设计方案充分考虑未来业务增长和技术发展趋势，预留充足的网络带宽与设备扩展能力，确保网络平台能够灵活适配后续业务扩展及新技术引入需求，提供坚实的网络底座支撑。

方案概述

    根据高可靠性需求，两台核心交换机采用IRF2堆叠的方式虚拟成一台，采用两个100G接口配置堆叠，通过IRF2形成双主的状态，其中一台出现故障，另外一台可以接管， 通过这种方式实现高可靠性。

存储接入、业务接入和管理接入交换机也是通过IRF2堆叠方式两两虚拟成一台,通过两根40G堆叠线缆配置IRF，形成IRF后，采用25G接口与核心交换机通过聚合的方式连接，每台交换机分别上连核心交换机一和核心交换机二，形成四条聚合的链路，增加线路带宽和高可靠性的目的。

另外两台带外管理接入交换机各自用10G光纤上连核心交换机一和核心交换机二，形成二条聚合的链路，增加线路带宽和高可靠性的目的。

网络拓扑图

IRF技术设计

IRF2堆叠就是将多台盒式设备通过堆叠口连接起来形成一台虚拟的逻辑设备。用户对这台虚拟设备进行管理，来实现对堆叠中的所有设备的管理。这种虚拟设备既具有盒式设备的低成本优点，又具有框式分布式设备的扩展性以及高可靠性优点。

IRF2既支持对盒式设备的堆叠虚拟化，同时支持H3C同系列框式设备的虚拟化。

拓扑管理

设备上用于IRF2连接的物理端口被称为IRF2端口，它是一种逻辑接口。一个IRF2端口可能对应一个物理端口，也可能由多个物理端口聚合而成（称为聚合IRF2互联口），以达到增强带宽和链路备份的作用。IRF2物理端口之间可以使用专用线缆也可以使用光纤连接：专用线缆可提供更高带宽和较短的连接距离，光纤可提供远距的IRF2虚拟化能力。

如图1所示，IRF2系统连接拓扑有两种：链形连接和环形连接。

图1 IRF2的主要连接拓扑

IRF2系统中的各台设备通过与直接相邻的其它成员交互HELLO报文来收集整个IRF2系统的拓扑关系。HELLO报文会携带拓扑信息，包括连接关系、成员设备编号、成员设备优先级、成员设备的桥MAC等内容。

IRF2成员设备在本地记录自己已知的拓扑信息，拓扑信息通过IRF2互联端口传递，经过一段时间的收集，所有设备上都会收集到完整的拓扑信息（称为拓扑收敛）。此时会进入角色选举阶段，确定成员为Master或者Slave。

角色选举会在拓扑发生变化的情况下产生，比如：IRF2建立、新设备加入、IRF2分裂或者两个IRF2系统合并。角色选举规则如下（按规则次序判断，直到找到唯一的最优成员，才停止选举。此最优成员即为IRF2系统的Master设备，其它设备则均为Slave设备）：

1、当前Master优于非Master成员；

2、当成员设备均是框式分布式设备时，本地主用主控板优于本地备用主控板；

3、当成员设备均是框式分布式设备时，原Master的备用主控板优于非Master成员上的主控板；

4、成员优先级大的优先；

5、系统运行时间长的优先；

6、成员桥MAC小的优先。

角色选举阶段Master还会负责成员编号冲突处理、软件版本加载、IRF2合并管理等工作。拓扑与角色选举处理成功后，IRF2系统才能形成和正常运行。

成员管理

通过IRF2连接形成的虚拟设备在管理上可以看作是单一实体，用户使用Console口或者Telnet方式登录到IRF2中任意一台成员设备，都可以对整个IRF2系统进行管理和配置。

Master设备作为IRF2系统的管理中枢，负责响应用户的登录请求，即用户无论使用什么方式，通过哪个成员设备登录IRF2，最终都是通过Master设备进行配置，这种方式可以使IRF2内所有设备的配置保持高度统一。

IRF2系统使用成员编号（Member ID）来标志和管理成员设备，IRF2中所有设备的成员编号都是唯一的。成员编号被引入到端口编号中，便于用户配置和识别成员设备上的接口。

成员设备加入。IRF2系统当发现有新的成员设备加入时，会根据新加入设备的状态采取不同的处理：新加入的设备本身未形成IRF2（如：新成员是新上电，但IRF2已经配置和电缆连接），则该设备会被选为Slave；加入的设备本身已经形成了IRF2运行结构（如：新成员已经在IRF2状态下工作，使用IRF2电缆连接到已有IRF2系统），此时相当于两个IRF2合并（merge），两个系统会进行竞选，竞选失败的一方所有IRF2成员设备需要重启（冗余的网络结构设计已经保证了网络业务承载的不中断性），然后全部作为Slave设备加入竞选获胜的一方。

成员设备离开

正常情况下，直接相邻的IRF2成员设备之间周期性交换HELLO报文。如果持续10周期未收到直接邻居的HELLO报文，则认为该成员设备已经离开IRF2系统，IRF2系统会将该成员设备从拓扑中隔离出来。如果发现IRF2互联端口Down，则拥有该端口的成员设备会紧急广播通知其它成员，立即重新计算当前拓扑，而不用等到HELLO报文超时再处理。

如果离开的是Slave设备，则系统仅仅相当于失去一个备用主控板以及此板上的接口等物理资源；如果离开的是Master设备，则IRF2系统会重新进行选举，选举出的新Master接管原有Master的所有功能。

单台设备离开IRF2系统后会回到独立运行状态，相连的多台设备离开IRF2系统后会形成独立的两个IRF2系统，这种情况称为分裂。

盒式设备IRF2互联形成的虚拟设备相当于一台框式分布式设备，IRF2互联电缆模拟了交换背板，IRF2中的Master相当于虚拟设备的主用主控板，Slave设备相当于备用主控板（同时担任接口板的角色），如图2所示。

图2 盒式设备虚拟化成框式设备

框式分布式设备IRF2互联后形成的虚拟设备也相当于一台框式分布式设备，但该虚拟的框式分布式设备拥有更多的备用主控板和接口板。IRF2中的Master的主用主控板相当于虚拟设备的主用主控板，Master的备用主控板以及Slave的主用、备用主控板均相当于虚拟设备的备用主控板（同时担任接口板的角色），如图3所示。

图3 多框设备虚拟化成更高密度逻辑单框设备

软件管理

IRF2具有自动加载功能。新设备加入时，会与Master设备的软件版本号进行比较，如果不一致，则自动从Master设备下载系统启动文件，然后使用新的启动文件重启，重新加入IRF2系统。

IRF2分裂检测处理

IRF2系统对外体现为一个整体的交换系统，但由于本身由多台设备组成，也存在由于意外原因导致IRF2系统分裂的可能。IRF2系统分裂后，形成两个或多个相同的逻辑设备：地址相同、配置相同，需要进行检测和进一步处理以消除对网络的影响。

桥MAC变化

IRF2系统作为逻辑单台设备，对外具有唯一的桥MAC（和三层MAC）。IRF2系统建立时，Master设备桥MAC同步到其它成员设备，分裂后，对于非Master所在系统，IRF2系统中其它设备维持该桥MAC不变并选举新的Master，此机制可避免当原Master故障时网络中的邻居设备重新学习MAC。同时IRF2也具有比较灵活的桥MAC处理方式以便于组网变通，目前提供了三种IRF2系统MAC变化的方式可通过配置实现：

Master离开后，桥MAC立即变化

Master检测和分裂处理

IRF2系统分裂后，会在网络中形成两组或多组“完全相同”的设备组，均有相同配置的Active Master，IRF2附加了检测和冲突处理，称为MAD（Multi-Active Detection，即多Active检测）。

图4 IRF2分裂检测方式

检测：通过LACP（Link Aggregation Control Protocol，链路聚合控制协议）或者BFD（Bidirectional Forwarding Detection，双向转发检测）协议来检测网络中是否存在多个从同一个IRF2系统分裂出去的全局配置相同的IRF2，如图4所示。

LACP方式下，H3C进行了扩展开发，在LACP协议报文中增加IRF2 Master ID ，当系统分裂后，分裂后的IRF2系统有各自的Active Master ID，可通过LACP进行传递检测；BFD方式下，也通过在BFD中扩展Master ID来检测冲突。

冲突处理：IRF2系统分裂后，系统会检测到网络中存在多个处于Active状态相同的IRF2系统，Master成员编号小的处于Active状态的IRF2系统会继续正常工作，Master成员编号较大的处于Active状态的IRF2会迁移到Recovery状态：关闭该系统中所有成员设备上除保留端口以外的其他所有物理端口。

故障恢复：IRF2系统通过日志提示用户修复IRF2互联链路，链路修复后，冲突的设备重新启动，恢复IRF2系统，被Down掉的端口将重新恢复业务转发。

IRF2对上层控制协议的支撑

IRF2的基本虚拟化思想是将多台设备合并成单台高密逻辑框式设备，因此系统内有多块主控，如何处理好Master主控与众多Slave主控的关系，成为IRF2支撑上层协议处理的关键。

IRF2系统采用的是1:N冗余，即Master负责处理业务，Slave作为Master的备份，随时与Master保持同步。当Master工作异常时，IRF2系统将选择其中一台Slave成为新的Master，接替原Master继续管理和运营IRF2系统，不会对原有网络功能和业务造成影响，

IRF2协议热备份功能负责将各运行协议的配置信息以及支撑协议运行的数据（比如状态机或者会话表项等）同步到其它所有成员设备，与单框设备的双引擎工作方式相似，从而使得IRF2系统能够作为一台独立的设备在网络中运行。

以路由协议为例，如图5所示，IRF2系统与外部网络使用的OSPF路由协议。当Master收到邻居路由器发送过来的Update报文时，一方面它会更新本地的路由表，同时它会立即将更新的路由表项以及协议状态信息发给其它所有成员设备，其它成员设备收到后会立即更新本地的路由表及协议状态，以保证IRF2系统中各个物理设备上路由相关信息的严格同步。当Slave收到邻居路由器发送过来的Update报文时，Slave设备会将该报文交给Master处理。

图5 IRF2的协议处理

当Master故障时，新选举的Master可以在GR环境下无缝的接手系统运行的工作，新的Master接收到邻居路由器过来的OSPF报文后，会将更新的路由表项以及协议状态信息发给其它所有成员设备，并不会影响IRF2中数据转发。这样就保证了当成员设备出现故障的时候，其它成员设备可以照常运行并接管故障的物理设备功能，此时，域内路由协议不会随之出现中断，二三层转发流量和业务也不会出现中断，IRF2系统的GR与单台设备的GR处理流程相同，从而实现了不中断业务的故障保护和设备切换功能。