用设计诠释工业美学，即技术美Beauty of Technology，功能美Beauty of Functiona，材料美Beauty of Material，形式美Beauty of Formal ，这是工匠精神的极致体现。深得上述设计理念精髓的工业品，亦是艺术品，苹果手机如此，交换机亦然。
本文既非产品工程技术文档，亦非原厂文宣，乃朝花夕拾，史海拾贝，温故而知新，文笔粗拙，贻笑大方。

正文

本文将拆解一台48x25GE+4x100GE + 2x200GE交换机。

这是一台戴尔S5248F-ON的25G交换机。该交换机是基于博通三叉戟3的2T芯片。该交换机具有从25GbE至200GbE交换机端口。这也是目前连接服务器的主流产品。下图是带有巨大散热片的博通三叉戟3的2T芯片。

首先看一下交换机的外部结构。

该交换机采用1U平台，下图为该交换机的正面：

正面就是48个SFP28 25GbE端口。下图是该交换机的下面板视图：

交换机前面板的左侧，是堆栈ID的LCD以及状态指示灯。这些都是戴尔交换机的常见功能。还有串行控制台console和带外管理等端口。下图是该交换机的左侧：

在交换机中间位置是48个SFP28 25GbE端口。这些通常用于连接到机架内的服务器。如下图所示：

与常见的其他品牌交换机的设计不同，该交换机没有两个通常用于更高速管理任务的 10GbE SFP+ 端口。相反，是六个高速端口。两个是QSFP28-DD端口，每个端口提供200Gbps的带宽。这些端口可以分成两个100GbE端口，它们被标记为49/50和51/52，以及四个100GbE连接的LED状态指示灯。如下图所示为该交换机的QSFP28 DD和QSFP28端口：

除此之外，还有四个QSFP28 100GbE端口。这可以提供800Gbps的上行链路带宽和1.2Tbps的25GbE服务器连接。另外一个不同之处是，虽然SFP28和QSFP28连接器有常见的散热片，但QSFP28-DD端口配有额外的小散热片以提供冷却。下图为该交换机的QSFP28 DD散热器：

下图是冷却200Gbps端口的更高功率光学器件所需的散热片的另一个视图。

交换机后部，是一个常见的戴尔交换机的设计布局，如下图所示:

传统的戴尔交换机，服务端口位于后部，而该交换机则位于前面。如下图所示：

交换机后部有四个双风扇模块可热插拔。戴尔提供端口到PSU和PSU到端口气流交换。这是PSU到端口的配置。下图为该交换机的后风扇模块：

以下是风扇如何从另一侧插入交换机的视图。

交换机后部有两个750W80Plus白金PSU。如下图所示：

接下来，进入交换机的内部概述。

在交换机内部，仍是一个标准的布局设计，包括端口，交换芯片及其PCB，然后是管理和电源/冷却。这类似于许多其他交换机。如下图所示：

该交换机用的交换芯片是Broadcom Trident 3。它被一个相当大的散热片所覆盖。如下图所示：

Broadcom Trident 3是一款16nm交换芯片，旨在提供更多功能。该芯片系列涵盖X2，X3，X4，X5和X7等型号，交换容量从200Gbps到3.2Tbps。该交换机采用2Tbps的性能，正好与它的端口计数相匹配。T3的介绍如下图所示：

此外还有一个MicrosemiZL30363（现在的Microchip）立管板。这款MicrosemiZL30363是一款IEEE 1588同步以太网分组时钟和双通道网络同步器。如下图所示：

下图是ZL30363 示意图：

该交换机PCB的另一侧密度则相对较低。如图所示：

在主交换机PCB后面，有电源输入、风扇模块和管理板的PCB。如下图所示：

主PCB上有一个CR2032电池，在安装管理板时可以使用。如图所示：

除了交换芯片之外，这一代交换机的重大变化之一就是转向英特尔Atom凌动C3000系列Denverton CPU芯片。SSD存储为64GB，内存为16GB。该板载内存可以从电路板顶部的SODIMM看的，第二个SODIMM实际上位于管理PCB下方。如下图所示：

该交换机具有标准的BMC。虽然戴尔在其PowerEdge产品线上使用专有的iDRAC控制器，但一些非PowerEdge服务器以及三大传统服务器供应商Dell，HPE和Lenovo以外的绝大多数服务器都使用ASPEED BMC。大企业不仅在服务器中使用ASPEED部件，而且还在交换机，存储，阵列，JBOF，JBOG等都使用。下图为ASPEED Amercian Megatrands：

在这里，ASPEEDBMC有一个MegaRACPM贴纸，上面写着”AmericanMegatrands”，该公司的名字是American Megatrends。

至此本机就拆解完毕。

希望本文能对了解数通网络设备提供一点粗浅的感性认识。
本文有关信息均来自公开资料。

用设计诠释工业美学，即技术美Beauty of Technology，功能美Beauty of Function，材料美Beauty of Material，形式美Beauty of Formal，这是工匠精神的极致体现。深得上述设计理念精髓的工业品，亦是艺术品，苹果手机如此，交换机亦然。
本文既非产品工程技术文档，亦非原厂文宣，乃朝花夕拾，史海拾贝，温故而知新，文笔粗拙，贻笑大方。

正文

本文将拆解一台天弘Celestica 3.2T交换机。

该交换机为天弘Seastone DX010 32x100GbE交换机。看一下白牌机大厂天弘是如何设计3.2T交换机的。

交换机的前面板，有32个QSFP28 100GE端口。下图是交换机前置端口：

在交换机前面板右侧，有两个RJ45端口。分别是带外管理端口和console串行控制台端口。还有一个USB端口，用于加载操作系统或备份配置。如下图所示：

在设备的另一侧，是SFP端口，如下图所示：

交换机后部，有5个可拆卸风扇。如下图所示：

最外层的两个单元是800W Delta电源。它们位于两侧，以促进气流，并为机架的A + B电源侧提供短电缆。如下图所示：

在中间，是5个热插拔风扇载体。闩锁由相对容易拆卸的金属制成，这是一个不错的设计，但它不是最常见的1U风扇设计。如下图所示：

交换机内部，是相当简洁的布局设计。PCB为双板设计，这在交换机中不太常见，这也是天弘的独特之处，如下图所示：

上层PCB用于交换机功能。常见的设计是安置大型散热用于多个IC。相反，它只是在那里冷却Broadcom战斧1代芯片BCM56960。这是一个3.2T交换芯片，如下图所示：

Broadcom BCM56960集成了低功耗25G SerDes，可处理32个100GbE、64个50GbE或 128个25GbE配置。这意味着可以将QSFP28分接到4x SFP28，并连接大量设备，同时聚合100GbE链路以进行上行链路。下图为交换芯片散热片：

该PCB非常厚，它连接交换芯片到交换机前面的QSFP28连接器。下图为两个印刷电路板 ：

底部PCB相对简单。底部PCB为控制PCB。管理，电源和冷却。如下图所示：

在管理模块上，黑色散热片下是Intel Rangeley（Atom C2000系列）CPU。如下图所示：

Intel的AtomCPU在数据中心交换机上非常常见了。内存使用2个DDR3 SODIMM插槽。存储采用mSATA SSD，如下图所示：

下层PCB上还有电池，如下图所示：

至此本机就拆解完毕。

希望本文能对了解数通网络设备提供一点粗浅的感性认识。
本文有关信息均来自公开资料。

用设计诠释工业美学，即技术美Beauty of Technology，功能美Beauty of Function，材料美Beauty of Material，形式美Beauty of Formal，这是工匠精神的极致体现。深得上述设计理念精髓的工业品，亦是艺术品，苹果手机如此，交换机亦然。
本文既非产品工程技术文档，亦非原厂文宣，乃朝花夕拾，史海拾贝，温故而知新，文笔粗拙，贻笑大方。

正文

本文将第四次拆解一台32x100GbE某白牌交换机。

交换机的正面是32个QSFP28 100GbE端口。如下图所示：

正面有console控制台，带外管理和USB端口。如下图所示：

交换机的后部，是个简洁的设计。有六个热插拔风扇以5+1冗余方式运行，因此即使在风扇发生故障的极小情况下，交换机也可以在更换风扇时运行。如下图所示：

这些热插拔电源，有内部风扇，如下图所示：

交换机内部有端口，主交换芯片和PCB，还有管理部分，在交换机的后部有冷却控制单元。如下图所示：

在交换机底板上有多个相当大的IC。有英特尔x86CPU，Altera CPLD/FPGA，Broadcom交换机芯片，SmartFusion Coretex-M3/ FPGA SoC等。如下图所示：

交换机芯片是Broadcom Tomahawk 56960，这是一款3.2T交换机芯片，可实现32个100GbE端口。下图为Broadcom 56960 3.2T芯片散热片：

底板PCB不仅有交换芯片，端口，还有三个低功耗Altera（现在的英特尔）Max V CPLD ， 风扇PCB上还有一个这样的芯片，总共有四个。如下图所示：

在交换芯片旁边还有一个旋风IV FPGA。下图所示为Intel Altera Cyclone IV：

交换机的管理采用的是英特尔Atom凌动C2538 CPU，这是一款低功耗四核SoC，是英特尔Rangely系列。它以2.4GHz的频率运行，TDP为15W，采用的是小型散热片，下图为Intel Atom C2538 CPU：

底板上有两个8GB DDR3的SODIMM，板载内存总计为16GB。如下图所示：

由于这种类型的交换机中的管理控制器看起来很像嵌入式x86服务器，因此还有一个64GB mSATA SSD。如下图所示：

该交换机还有一个Actel SmartFusion A2F200M3F芯片，具有FPGA逻辑，Arm Cortex-M3处理器。如下图所示：

交换机有气流导轨，可将PSU气流和底板气流分开。气流专门围绕Broadcom交换芯片和 QSFP28端口，以确保更高功率的组件获得足够的冷却。

在其内部有热插拔风扇，这些风扇有自己的PCB来监控风扇运行，并确保诊断故障并且更换相对容易。风扇PCB和反向旋转风扇如下图所示：

该交换机有个特别的功能是LED灯通道，可以轻松查看哪个风扇出现故障。下图为风扇状态LED 灯通道和分层PCB：

下图为550W 80Plus铂金PSU视图：

这些电源是80Plus白金级设备。这些电源的冷却不是冗余的，只要有两个电源，每个电源就可以支持运行整个交换机，从而实现1+1冗余设置。

这是一台被OCP认证接受的交换机设计。这意味着该白牌交换机符合OCP批准的规范，并且设计文件是开源且可用的。如下图所示：

至此本机就拆解完毕。

希望本文能对了解数通网络设备提供一点粗浅的感性认识。
本文有关信息均来自公开资料。

用设计诠释工业美学，即技术美Beauty of Technology，功能美Beauty of Function，材料美Beauty of Material，形式美Beauty of Formal，这是工匠精神的极致体现。深得上述设计理念精髓的工业品，亦是艺术品，苹果手机如此，交换机亦然。
本文既非产品工程技术文档，亦非原厂文宣，乃朝花夕拾，史海拾贝，温故而知新，文笔粗拙，贻笑大方。

正文

本文将拆解一台Arista DCS-7060CX-32S 32x 100GbE

Arista 7060CX-32S硬件概述

交换机是1U布局设计，适用于标准19″机架。交换机正面有32个100GbE端口。交换机左侧还有两个SFP +端口。下图为该交换机正面：

侧面有一个Console管理端口和USB端口来管理交换机。如下图所示：

交换机背面有四个热插拔风扇和两个电源。上面有个红色手柄。下图是交换机后部：

下图为交换机正面拆卸视图：

在QSFP后面，交换机PCB的中间为Broadcom Tomahawk交换ASIC。这是一款6.4T交换机芯片，用于双向32x 100GbE端口流量，支持约 3.3Bpps。下图为该交换机的规格：

下图为交换机32S侧视图：

交换机的冷却解决方案非常特别。散热片中心有几个鳍片。该中心散热片具有热管，可通过更密集的翅片阵列向两侧散热。散热片的总长度约为38厘米，包括热管的尖端。下图为散热片特写：

散热片翼子板位于PCB上方。有一个英特尔-Altera旋风FPGA，就在其中一个翼子板的下方。下图为散热片下的Altera旋风分离器：

在交换机底板PCB后面，是控制平面PCB。下图是电源和风扇的后视图：

下图为交换机另一个内部视图：

很多交换机都有连接到控制PCB而不是交换机PCB的电源。该交换机设计用于将电源直接连接到高功率交换机PCB。下图为电源接口：

该交换机采用的是AMDGX-424CC。Arista有一个x86平台来管理交换机。该CPU具有Radeon 5E显卡核心。虽然没有显示输出，但从技术上讲，此交换机中有AMD GPU IP。如下图所示AMD GX 424CC：

交换机底板有两个DDR3插槽，其中一个已插上内存条。根据规格表，一般是4GB DIMM。目前升级为8GB的DIMM。如下图所示处理器和内存：

此处没有安装的是M.2 SSD插槽。在规格表中没有说明，但它似乎被设计为采用高达80mm SSD。M.2 SSD接口如下图所示：

风扇带有漂亮的热插拔连接器，其中红色夹子用于将风扇固定在适当的位置并将其引导到连接器。风扇连接器如下图所示：

电源是交换机与规格表不一样的配置。规格表显示500W电源，但这些是495W 80Plus铂金Delta电源。如下图所示：

至此本机就拆解完毕。

希望本文能对了解数通网络设备提供一点粗浅的感性认识。
本文有关信息均来自公开资料。

用设计诠释工业美学，即技术美Beauty of Technology，功能美Beauty of Function，材料美Beauty of Material，形式美Beauty of Formal，这是工匠精神的极致体现。深得上述设计理念精髓的工业品，亦是艺术品，苹果手机如此，交换机亦然。
本文既非产品工程技术文档，亦非原厂文宣，乃朝花夕拾，史海拾贝，温故而知新，文笔粗拙，贻笑大方。

正文

本文将拆解一台32x100GE交换机。这是一台戴尔S5232F-ON交换机。

戴尔 S5232F-ON外部硬件概述

该交换机是1U设计，前面板具有相当标准的端口布局。下图为前端口视图：

从交换机前面的左侧开始，有堆栈ID LCD以及状态指示灯。如下图所示：

在交换机前面板中间，有32个QSFP28端口。每个都提供100GbE支持。QSFP28中的Q代表四通道，因此可以将1个QSFP28分接到4个SFP28，以便每个100GbE端口获得4个25GbE端口。该交换机支持多达124个25GbE分线端口。这意味着在此交换机上无法获得32×4=128个25GbE。下图为32个100GbE QSFP28 端口：

交换机前面板有两个10GbESFP+端口，用于交换机上的更高速管理任务。如下图所示：

交换机的背面，是典型的戴尔布局。如下图所示：

后部有四个双风扇模块是可热插拔的，这是此类交换机的标准配置。风扇模块如下图所示：

在后部中心有管理模块。它具有串行控制台端口console、USB 端口、服务标记和带外管理端口。这样设计可能存在的问题是，由于服务标签和USB端口位于机箱中间，因此在交换机机架上访问它们可能比较困难，因为如今交换机的深度通常比服务器或存储机器小得多。如下图所示：

电源采用的是两个750W80Plus铂金PSU。采用PSU到端口的设计，气流方向如蓝色小气流箭头所示。如下图所示：

总体而言，对于现在100GbE的1U交换机来说，这是一个相当标准的配置。

下面是交换机的内部概述。

交换机内部是相当标准的设计布局，包括端口，交换芯片及其PCB，然后是管理和电源/冷却。下图是内部视图：

该交换机采用的芯片是Broadcom Trident 3 X7。它被一个相当大的散热片所覆盖。如下图所示：

Broadcom Trident 3是一款16nm的交换芯片。Trident3系列涵盖X2，X3，X4，X5和X7型号，交换容量从200Gbps到3.2Tbps。该交换机采用的是X7 3.2Tbps。下图为芯片介绍：

在交换芯片旁边，有一个莱迪思（LMXO3LF-4300C）FPGA，和一个小型PCB。该板包含MicrosemiZL30363（现为Microchip）芯片。如下图所示：

这款MicrosemiZL30363是一款IEEE1588同步以太网分组时钟和双通道网络同步器。下面为其框图：

下图为SFP端口后面视图：

在主交换底板PCB后面，有处理电源输入、风扇模块和管理板的PCB。如下图所示：

底板上还有CR2032电池。如图所示：

该交换机的一个升级是采用了英特尔Atom凌动C3000系列”Denverton”芯片。SSD存储为64GB。板载内存为16GB，可通过电路板顶部的SODIMM看到的，第二个SODIMM实际上位于管理PCB下方。如下图所示：

另一个变化是该交换机采用标准的BMC。虽然戴尔EMC在其PowerEdge产品线上使用专有的iDRAC控制器，但一些非PowerEdge服务器以及三大传统服务器供应商Dell，HPE和Lenovo以外的绝大多数服务器都使用ASPEED BMC。大企业不仅在服务器中使用ASPEED部件，而且还在交换机，存储，阵列，JBOF，JBOG等上使用。下图为ASPEED BMC板：

至此本机就拆解完毕。

希望本文能对了解数通网络设备提供一点粗浅的感性认识。
本文有关信息均来自公开资料。

用设计诠释工业美学，即技术美Beauty of Technology，功能美Beauty of Function，材料美Beauty of Material，形式美Beauty of Formal，这是工匠精神的极致体现。深得上述设计理念精髓的工业品，亦是艺术品，苹果手机如此，交换机亦然。
本文既非产品工程技术文档，亦非原厂文宣，乃朝花夕拾，史海拾贝，温故而知新，文笔粗拙，贻笑大方。

正文

本文将拆解一台96x25GE+ 8x100GE交换机。

这台交换机是戴尔S5296F-ON。大多数交换机都是1U的，这台交换机是2U的。将大小增加一倍的原因是，它有效地将端口增加了一倍，总共有96个25GbE端口和8个100GbE端口。这是戴尔S5248F-ON的升级版。

戴尔S5296F-ON硬件概述

下图为该交换机正视图：

从交换机前面的左侧开始，有堆栈IDLCD，状态指示灯和管理模块。管理模块上有串行控制台端口console、USB 端口、服务标记和带外管理端口。在戴尔1U的交换机上，这些端口位于交换机的背面。由于这是96端口版本，所以在这些端口的位置方面与其他戴尔交换机不同。这是2U外观尺寸的一个好处。下图是左侧堆栈管理端口，串行console端口和USB端口：

在交换机中间，是96个SFP28的25GbE端口。还有8个QSFP28 100GbE端口。这些端口可以分解为交换机上总共128个25GbE端口。下图为交换机前低端口视图：

交换机的后部，是一个相对简洁的布局。如图所示：

交换机共配置了四个双风扇模块可热插拔。这些是大型80mm风扇单元。如下图所示,后风扇从机箱中取出:

该交换机采用的是两个1.1kW 80Plus铂金PSU。与使用750W电源的交换机相比，这是一个很大的增长。额外的端口意味着这个2U交换机需要具有额外的功率来带动更多的光模块。下图为后部冗余电源1.1kW：

接下来是交换机的内部概述。

在交换机内部，依旧是一个相当标准的布局，包括端口，交换芯片及其PCB，然后是管理和电源/冷却。这类似于许多其他交换机。内部如下图所示：

该交换机采用的交换芯片是BroadcomTrident 3 X7。它被一个相当大的散热片所覆盖。如下图所示：

Broadcom Trident 3是一款16nm交换芯片，Trident 3系列芯片涵盖X2，X3，X4，X5和X7型号，交换容量从200Gbps到3.2Tbps。该交换机采用的T3 X7芯片是3.2Tbps。下图是该芯片的介绍：

在交换机芯片后面，有一个Xilinx Artix7 FPGA，这在其他交换机中是比较少见的。下图为 赛灵思 Artix 7 FPGA：

此外还有一个Microsemi ZL30363（现在的Microchip）立管板。这款Microsemi ZL30363是一款IEEE 1588同步以太网分组时钟和双通道网络同步器。如下图所示：

下图是该是该芯片的框图：

需注意的是，在查看端口时，Microsemi芯片通常位于系统的左侧。在这台交换机上正好相反，有一条从电源到管理端口的气流路径。这就是为什么在更高端口密度的交换机的另一侧看到这一点的原因。下图为左侧导管，用于将气流输送到PSU：

在主交板PCB后面，有处理电源输入、风扇模块和管理板的PCB。下图为从内部打开后置风扇的视图：

在该主板PCB上有个CR2032电池，提供给管理板使用。

除了交换芯片之外，该交换机的一个重大提升就是CPU升级成英特尔Atom凌动C3000系列”Denverton”芯片。

该交换机采用64GB的SSD存储。板载内存为16GB，可以通过电路板顶部的SODIMM看到，第二个SODIMM实际上位于管理PCB下方。如下图所示：

该交换机的另外一个较大的变化是采用了标准的BMC。虽然戴尔EMC在其PowerEdge产品线上使用专有的iDRAC控制器，但一些非PowerEdge服务器以及三大传统服务器供应商Dell，HPE和Lenovo以外的绝大多数服务器都使用ASPEED BMC。大企业不仅在服务器中使用ASPEED部件，而且还在交换机，存储，阵列，JBOF，JBOG等上采用。

值得注意的是，2U外形尺寸也改变了系统内部的PCB。之前看到，在Broadcom Trident3主板下方还有另一个PCB，看起来可以容纳底部的25GbE SFP28端口组。下图为风扇后面的内部视图：

下图是第二个48端口SFP28印刷电路板和固定架的内部视图：

这意味着交换机顶部和底部的气流在冷却方面有很大的不同。在顶部，有SFP28端口和交换机芯片，而底部只有端口，并且可能稍后的气流流向管理PCB。

至此本机就拆解完毕。

<全文结束>
希望本文能对了解数通网络设备提供一点粗浅的感性认识。
本文有关信息均来自公开资料。

用设计诠释工业美学，即技术美Beauty of Technology，功能美Beauty of Function，材料美Beauty of Material，形式美Beauty of Formal，这是工匠精神的极致体现。深得上述设计理念精髓的工业品，亦是艺术品，苹果手机如此，交换机亦然。
本文既非产品工程技术文档，亦非原厂文宣，乃朝花夕拾，史海拾贝，温故而知新，文笔粗拙，贻笑大方。

正文

本文将拆解一台48x25GbE端口+ 6x100GbE交换机。

这是一台戴尔S5148F-ON交换机。

戴尔自从收了OPS 后，就一直在大力推动其开放式网络产品。

戴尔S5148F-ON外置硬件概述

该交换机是1U平台设计，具有相当标准的端口布局。戴尔通常建议使用此交换机的1U导轨。下图为交换机正面：

在交换机的左侧，有堆栈ID LCD和状态LED。下图为交换机堆叠端口液晶屏：

在交换机中间，有48个SFP28端口。对于现代ToR交换机来说，这是一个相当标准的端口配置。下图是48个25G的SFP28端口：

在交换机的右侧，有6个QSFP28 100GbE端口。这些通常用于网络的聚合层。如果网络规模较小，则还可以使用它们直接与服务器和存储建立100GbE连接。下图为100GbE QSFP28 端口：

在交换机的背面，有一些常见以及一些不太常见的设计。例如PSU到端口气流交换。如下图所示：

电源采用80Plus白金级额定功率，每个750W。这些看起来像普通的戴尔服务器PSU，但蓝色的小气流贴纸显示此PSU的气流与在普通PowerEdge服务器中看到的气流相反。下图为750W电源：

风扇模块是可热插拔的双风扇模块。一些低端交换机会采用固定风扇。但在主流交换机领域，热插拔风扇是必须的。下图为风扇模块：

在交换机的中部，有一个I/O模块，上面有带外管理端口，串行控制台端口console，USB端口和服务标签。这样设计会有个问题，就是将它们放在交换机的背面，能很难使用。下图为交换机后置视图：

但这种布局设计在戴尔交换机设计中已经很普及了。维修这些部件仍可能面临实际挑战。风扇和电源相对来说稍微容易一些。

下面是交换机的内部概述。

在交换机内部，还是相当标准的布局，包括端口，交换机芯片及其PCB，然后是管理和电源/冷却模块。如下图所示：

该交换机采用的交换芯片是CaviumXPliant（被Marvell收购，但已经废弃）。该芯片位于这个大型散热片的下方。如下图所示：

可以注意到气流管理远不及在高端32x400GbE交换机上看到的。下图是控制PCB和散热片：

这台交换机，比较特别之处是这个Celestica板。这似乎是带有戴尔定制的Celestica OEM交换机，但除了外观之外，无法确认此主板以外的其他功能。该板包含MicrosemiZL30363（现为Microchip）芯片。如下图所示：

这是一个 IEEE 1588和同步以太网数据包时钟和双通道网络同步器。下图为该芯片的框图：

通常在交换机底板PCB的两侧会有许多FPGA，但这里的情况并非如此。下图为100GbE SFP28端口后面的组件：

在交换机底板PCB的后面和下面，有一块PCB板，将其他部分连接在一起。此电源和冷却 PCB上有用于风扇和电源的热插拔连接器。它还具有一个高密度连接器，可以在下图的右上角看到：

该连接器用于将管理PCB连接到系统中。如下图所示：

下图为管理PCB位于电源之间和风扇前面的视图：

下图是英特尔凌动Rangeley Atom C2000管理板：

该板运行基于Linux的网络操作系统。对于那些比较熟悉服务器的人来说，这几乎就像一个小型嵌入式服务器里面的交换机。如下图所示：

下图为16GB mSATA InnodiskSSD和Actel SmartFusion ARM CPU：

该交换机采用的是四核英特尔凌动C2000 Rangeley。它的两侧是两个DDR3 SODIMM插槽。这里安装了一个8GB DDR3 SODIMM。如下图所示：

底板上有个CR2032电池。此电池位于具有电源和风扇连接器的PCB上。当管理PCB安装上去的时候，这个电池会被遮挡了，更换比较麻烦。如下图所示：

在以后发布的交换机中，戴尔纠正了这种设计。

至此本机就拆解完毕。

希望本文能对了解数通网络设备提供一点粗浅的感性认识。
本文有关信息均来自公开资料。

篆芯智能网络交换机芯片，不仅支持传统的各种传输协议功能外，还将支持针对DPU和AI加速芯片新一代云数据中心需求的新数据中心传输协议(NDP-New Datacenter Protocol)。NDP不但能够完全去除传统协议的历史包袱（如TCP的慢启动，会话的建立及拆除），还能够在网络拥塞的情形下提供高效的告警及缓解机制，进而极大地降低整体交互时延进而提高整体应用的有效性。

近日，篆芯半导体，云豹智能与燧原科技三家公司达成战略合作，依托三方各自在高端数通网络芯片，DPU和AI计算领域的软硬件优势，联合开发基于智能网络基础架构的大规模高性能AI算力平台，为云端AI计算提供更高效的解决方案。

<续前文>

NDP交换机服务模型

前述有提到过CP(Cut Payload)技术，通过把数据丢掉，单纯送包头给对方。其不丢掉报文的原因是希望能够通知接收端关于报文的信息，让接收端可以要求转发端重传。这整体所消耗的时间会比接收端依赖重传Timeout还要短。然而。论文还发现，若采用最原生的CP处理其实会引发下列问题，因此要将其改良以解决这些问题。以下图所示，在9KB jumbo帧的情况下，去探讨应用程序之间的goodput，goodput与throughput的差异是：goodput代表的是应用程序真正接收到的报文量，不包含协议包头以及重传报文所造成的流量。

图中红线的部分代表的是原生CP处理，而蓝线的部分代表则是NDP处理。X轴代表的是网络中有多少条链接种被大量切断的报文(被砍掉内容，只剩下包头)。Y轴代表的是在当前网络下，应用程序真正收到的goodput占理想值多少百分比。(最高100%)。图中实线代表的是所有应用程序的平均goodput，而虚线代表的是10%最差应用程序的平均goodput。先看原生CP的效果，可以明显看到实线的部分，会因为流量愈多，而使整体goodput几乎呈线性下降。而对于虚线来说，整个几乎惨不忍睹，代表后半部分的应用程序根本没有办法拥有好的传输量。

除了上述模拟结果外，原生CP还有一个问题是，采用FIFO机制来收送一般报文与被切断后的报文，这意味者CP想要让接收端尽快地知道有报文要重传，但是这些被截断的报文又要等待交换机内的缓存都被消耗掉才有机会被送出，其实这一来一回对于整体的是会造成一些损伤的。为了解决上述原生CP 带来的问题，NDP提出以下改进：

1.NDP交换机维护两个队列缓冲区，低优先的用于数据传输，高优先的用于被截断报文的传输，ACKS以及NACKS。

2.论文认为这个设计听起来有点奇特，看起来好像反而会让数据报文更晚送出去，但是经过实验证明，高优先的报文到达接收端并且通知送端要重传报文时，通常交换机低优先缓存的报文都还没有全部处理完毕。

3.高优先跟低优先的队列缓存彼此之间采取的是10:1的轮流机制，每送十个高优先报文，就送一个低优先报文，这可以让要重传的报文尽早通知到接收端。

4.为了打破网络中平衡状态(强者恒强，弱者恒弱)，每当低优先队列满载且遇到新报文时，这时交换机会有两个动作(机率分别是 50%)。

将新到的报文截断，送到高优先队列

将低优先最后面的报文截断，送到高优先，而刚进来的报文就送到低优先队列

通过上述两种动作，打破了网络的平衡，这点可以由图2的虚线看到，在NDP 的环境中，即使是效能最差10%应用程序的goodput跟平均也是差不多的。

路由

前述已经提到，NDP想要实现per-packet ECMP而非per-flow ECMP，于是论文提出了两大类方法：

1. 让交换机本身随机决定当前报文该如何转发

2. 让转发端决定当前报文该如何转发

论文实验证明，让转发端去选择报文该如何转发，会比让交换机去随机转发报文来得更有效率，同时因为交换机本身不用去思考该怎样转发报文，每个报文处理的速度可以更快速，因此交换机的缓存可以设置的更小，这对于低延迟的特性有更好的支持。NDP认为，由于网络环境是在数据中心内，网络拓扑的状况都是可以事先知道的，如从转发端到接收端共有哪些路径可以走。因此NDP的处理方式是转发端事先了解到接受端之间有哪些路径可以走，然后每遇到一个报文，就挑一个路径转发，下一个报文就在剩下的路径中随机挑一条去转发，当所有的路径都已经走过一次后，就全部重新来过。
这样的做法有两个优点：
1.通过分散报文到所有路径去转发，能够提升网络整体的使用率，并且减少某条网络成为瓶颈的可能性。
2.每次挑选时都通过类似随机的方式，可避免多个应用程序会使用相同的走法导致网络出现太规律的走法，进而导致使用率不佳或是某些路径过于拥塞。关于由发送端决定当前报文该怎转发，论文提出了三种方法：

1.source-route

2.label-switch

事先规划好哪些label走哪些路径，然后发送端报文上label

3.destination addresses

根据目的端的位置来选择，假如目的端有多个IP地址，则每个地址都可能有不同的走法。

传输协议

接下来详细介绍NDP传输协议的设计。

NDP在设计传输协议时是基于接收端驱动的理念去设计的。希望通过这个设计能够跟之前提过的各式各样技术结合，如multipath forwarding、 packettrimming 以及 short switch queues等。通过与这些技术结合，NDP提供低延迟和高产出的效能。

TCP早期设计是给互联网用的，所以设计理念是悲观的，因为不知道整个网络上每个节点的状况，尽可能的小心去使用。如slow start、三次握手等原则。此外，对于TCP来说，当同时发生网络拥塞丢弃报文，或多重路径路由所导致报文的顺序不一致，这些情况会让TCP无法分辨到底发生什么事情，于是最后只好要求发送端重传，这行为无形间就降低了整体的传输速度。

然而对NDP来说就不一样，由于是在数据中心内，能够事先知道整个网络节点的各情况，因此NDP采取的是乐观的设计理念：

1.收到第一个RTT就转发报文，不等三次握手。

2.一开始就根据当前线路的最大承载量去设定传输速度，假设都没有其他流量使用。

3.不依赖顺序的协议内容

NDP采用了截断报文的方式，通过包头的内容告诉接收端到底哪些报文需要重传，这使得接收端有更明确的信息知道网络发生什么情况，因此报文到达的先后顺序就显得不重要。

下图解释了截断报文的运作模式：

假设从SRC要转发九个报文到达DST，当报文到达DST上层的交换机时，因为交换机的数据缓存(低优先队列)只能承受八个报文。所以第九个报文就被截断了(时间点为T(trim))。接下来通过不同优先队列的设计，被截断的报文可以在 T(header)的时间就马上到达DST，DST在看到包头后就马上知道第九个报文需要重传，因此马上送个信息回到送端。此信息到达发送端的时间点为 T(rtx)，同时交换机还在处理刚才的八个报文，大概处理到第二个左右。当发送端将第九个报文送到交换机时，此时交换机处理到第六个左右，因此数据缓存不但有空间可以容纳第九个报文，同时这过程中也没有任何处于闲置的况状，可以说是将缓存的使用率尽可能的提升。

至此，可以知道截断报文能够告诉接收端哪些报文需要重传。论文认为通过上述的特性与Zero RTT的结合，认为让发送端去决定当收到数据(Zero RTT)后发送端要转发多少报文是最佳的选择。

其设计理念及原则为：

当发送端一开始用全速去转发报文后，接下来就会停止转发报文

等待接收端转发请求要求发送端继续转发报文

接收端可以根据当前本身收送报文的速率(如对外链接上有多条连接导致每条连接都没有办法用到最高速度)，因此会由接收端去决定发送端当前转发速度多快

不论是重传的报文，或是全新的数据报文，接收端都可以要求发送端转发

接收端采用Pull的概念来达到控制发送端的传输速度，接收端会维护Pull队列，供所有连接一起使用

Pull队列内放置的是Pull报文，该报文要标示属于哪个连接，以及计数器，而该计数器则是per-sender的，用来记录当前转发过多少个Pull报文

Pull队列默认会公平地去处理每个连接所对应的Pull报文，不过可以根据连接优先度调整其转发的Pull报文数量，以提高对应送端的传输速度

每个具体步骤如下：

连接开始时，发送端一开始就用全速将报文送往接收端，这些报文都会包含类似TCP的序号

若接收端收到的是被截断的报文，会立刻转发NACK给发送端，要求其将准备重传报文(还不需要重传)

若接收端收到的是数据报文，会立刻转发ACK给发送端，通知其该报文已接收到(清除旧信息，准备新报文，此时也还不会转发)

当接收端收到报文(数据或是截断报文)，都会马上加入一个Pull报文到其Pull队列中

当发送端收到由接收端所转发的Pull报文时，会根据Pull报文内的计数器来决定当下要转发多少报文(可以是重传报文，也可以是新报文)

当发送端将所有报文都转发完毕后，就会将最后一个报文打上标志，当接收端看到此标志时就知道对应的发送端已经没有报文要送了，就将其对应的Pull包移除，避免下次产生不必要的请求传输

若发送端之后又有数据想要传输，则必须主动传输给接收端，而不会通过接收端的Pull报文来取得

根据论文实验数据，其相关设定如下：

交换机的数据缓存只有八个报文

MTU设定为9K (jumbo帧)，

交换机性能为10Gb/s

环境为FatTree

在此环境下，每个报文完整处理的时间为7.2µs，若考虑到优先队列的使用，最差情况下的处理时间是400µs，此数据一般来说其实是非常小的。因此在NDP的环境中，RTO (Retransmission timeout) 可以设计得更小。那NDP如何在Incast的状况下取得好的表现?假设一开始有很多个发送端，每个都用全速传输。可以想象得到的是会有很多报文都被截断，接收方每个对应的接收端都可以采用Pull的概念控制对应发送端的传输速度，就可以让每个发送端的传输速度总和能够符合交换机的处理速度，能够让被截断的报文数量降到最小，甚至没有。

Coping with Reordering

根据Per-packet多重路径路由，对于发送端/接收端来说，数据报文，Pull报文，ACK以及NACK在收到的时，是非常有可能是乱序的。虽然NDP一开始的设计是不用担心这个情况的。

The First RTT

NDP为了达到能够在第一个报文就直接转发数据而不采用TCP的三次握手后转发数据，必须要处理三个问题：

避免遇到大量相同Source IP的垃圾报文影响

(因为TCP有连接认证，没有连接的TCP报文不会被处理，避免被大量垃圾影响)

2.避免同样一条连接多次建立连接

3.处理在第一个RTT之间经由多重路径路由造成乱序的数据报文

目前已知采用First RTT处理方法，如 T/TCP以及TFO(TCP Fast Open)都有一些相关机制，如采用Token或Connection ID来处理上述问题，但是没有一种方法能够同时处理三个问题。这个问题NDP不想处理，认为可通过Hypervisor/NIC之类的方式预防。

在发送端/接收端两边都设计了time-wait的状态。由于per-packet ECMP的关系，第一个到达接收端的报文往往不是第一个送出的报文，为了处理这个问题，发送端第一次送出的报文都会带有一个SYN的标志以及该报文是第一次送出报文中的第几个。通过这个信息就可以让任何一个第一次送出中的任一个报文来建立连接。

Robustness Optimizations

假如网络一切都正常运行，上述NDP其实运作得非常良好，然而好景不常，网络常常会出问题。这种情况下，NDP要怎么处理这些问题来继续保持其提供的低延迟与高输出的特性。常见的问题有：

1. 交换机故障导致报文不通

2. link出问题，突然降速，如从10Gbs降速成1Gbs

论文认为传统的single-path TCP对于这些问题都没有很好的处理方式，会让整体的效能大幅度下降。NDP处理的方式就是采用大量的计数器，去记住每条连接上面关于ACK以及NACK的数量，同时通过per-packet多重路由的方式来转发报文。因此发送端会定期检查，若当下所有可转发路径中，有某些路由上面的计数器数值异常，代表可能出现问题，不论是降速或是网络不通。此时就会将有问题的路由先从候选清单中排除，避免报文走到有问题的路由去。论文认为传统的作法大部分都依赖路由协议去侦测问题并动态修改路由表，这些虽然有效，但要花费太多时间去处理，因此效果不佳。

Return-to-Sender

前述提过，采用CP机制能够有效的解决Incast网络问题，然而当Incast报文过多时，交换机上的两个队列(高/低优先)都可能会被塞满，在这种情况下报文就会被丢弃了。举例来说，高优先队列可以存放1125*64-byte的报文量，而低优先队列只能存放8*9K-byte的报文量。假设发送端转发了一个报文过去，却迟迟没有等到响应，在经过RTO时间后，就会重传报文。根据前述的实验，最大RTT时间是400µs，因此论文认为最大的RTO设定为1ms即可。然而根据10Gbs的传输能力来看，要处理1125*64B的报文大概需要8ms，这意味者重传的报文是可以在队列被消耗完毕前送达到交换机，可以保障不会有交换机处于闲置的状态进而提高整体使用率。

为了追求极致，论文认为，在某些情况下，如高优先报文或数据量极小的报文，当所有的队列都满的情况下，这时候交换机就会采取特别做法，将报文的source IP以及destination IP反转，然后将该header迅速送回给发送端，告诉发送端说有报文要掉了，快重传。这种机制只有在某些特殊情况下，可能网络当下有些问题之类的，想要加快处理速度，避免等待RTO来处理。下图是根据仿真环境得到的数据图：

Y轴是CDF(cumulative distribution function)，X轴纪录的是当发送端送出第一个报文到达其收到第一个ACK所花的时间。此数值包含所有的delay，也包含重传所导致的花费。

Permutation显示的是432-node中每个node都会往下一个node来进行连接，故会有431条连接

Random显示的是432-node中每个node都会随机找一个node来进行连接，故会有431条连接

上述这两个场景都表现不错，能够完整的用满整个FatTree的网络带宽，同时平均的delay约100ms。接下来Incast的情况，则是挑选100 node同时间对同一个node进行转发的实验，变异数则是每个连接的传输大小。可以观察到的，当转发数量只有135KB时，整体的效能是比较差的。原因是每个连接都能通过第一次RTT就将所有的报文转发出去，这情况导致大量的报文被截断甚至超过缓存数量。同时大概只有25%左右的包头被优化给送回给发送端去加速处理。以delay来看，最后一个报文花了11055µs去转发。假设整体转发量更大，到达了1350KB，虽然第一个报文传输的行为会跟135KB的实验一致，但是后续NDP的设计能够让整体后续的处理更为平顺以及更稳，所以其平均的处理时间大概只有 95µs。

拥塞控制

论文认为NDP本身没有任何拥塞控制，因为拥塞控制本身是为了下列两个目的而产生的：

1.避免拥塞崩溃

2.公平

而NDP本身的特性已经完全避免掉上述的问题，所以根本不要再去做没必要的拥塞控制。NDP设计下，每个连接一开始都乐观地采用全速转发，同时因为协议设计的原因，接收端拥有大量关于当前连接的信息，通过pull队列的设计能够让每条连接平均的使用当前网络带宽。论文指出，由于接收端可以决定发送端转发报文的速率，因此若有些连接被标注是高优先的，则可以使用比一般连接更多的流量。这种情况下就是故意造成不公平的，因此也不是大问题。

NDP局限性

论文通过实验证明了在各种流量模式中，NDP提供的效果非常接近于Clos网络架构理论上的效能。在非对证的网络架构中，如BCube、Jellyfish，NDP的表现会稍微差一点，主要是当网络拥塞时，发送端会将报文通过不同距离的路径来传输报文(就不是ECMP了)。在这种情况下，若采用sender-based per-path的多重路由就会有良好的效果。有一篇论文讨论上述的问题：C. Raiciu, S. Barre, C. Pluntke, A. Greenhalgh, D. Wischik, and M.Handley. Improving datacenter performance and robustness with Multipath TCP. InProc. ACM SIGCOMM, Aug. 2011。

对于高负载数据中心来说，当报文数量过多时，会产生发送端发出的报文一直处于被截断的情况，尽管表现不好，但是跟目前已知的协议，如DCTCP比起来，NDP的效能还是胜出。

最后的问题就是环境部署问题，只当哪一天可编程交换机能够广泛部署在数据中心时，要部属NDP就是很容易的事情了。此外，如何跟现有的TCP连接共存也是一个问题，因为NDP目前会吃掉该网络的流量导致 TCP几乎没法使用，因此在可编程交换机端应该要有办法去处理相关的问题。

<全文结束>

希望本文能对了解数通网络设备提供一点粗浅的感性认识。
本文有关信息均来自公开资料。

篆芯智能网络交换机芯片，不仅支持传统的各种传输协议功能外，还将支持针对DPU和AI加速芯片新一代云数据中心需求的新数据中心传输协议(NDP-New Datacenter Protocol)。NDP不但能够完全去除传统协议的历史包袱（如TCP的慢启动，会话的建立及拆除），还能够在网络拥塞的情形下提供高效的告警及缓解机制，进而极大地降低整体交互时延进而提高整体应用的有效性。

近日，篆芯半导体，云豹智能与燧原科技三家公司达成战略合作，依托三方各自在高端数通网络芯片，DPU和AI计算领域的软硬件优势，联合开发基于智能网络基础架构的大规模高性能AI算力平台，为云端AI计算提供更高效的解决方案。

目前较为全面的讨论NDP的文献为：

M. Handley, C. Raiciu, A. Agache, A. Voinescu, A. W.Moore, G. Antichik, and M. Mojcik. Re-architecting Datacenter Networks andStacks for Low Latency and High Performance. In Proceedings of the ACM SIGCOMM2017 Conference, SIGCOMM ’17, pages 29–42, New York, NY, USA, 2017.ACM.

鉴于NDP是较为前沿的网络新技术，本文将对该论文进行解读。

正文

本论文所发生的场景是在数据中心内，不适用于一般的互联网，主要是因为互联网充满太多未知性与无法掌控的装置，譬如每条链路的带宽, 交换机的配置等。有这些未知的情况下，无法设计一个好的运作模式来满足低延迟与高转发率的需求。因此环境都只考虑数据中心。

论文提出了NDP(New Datacenter ProtocolArchitecture)概念，其具体目标，评比对象以及实作方法如下。

论文设定目标：

对于short-flow有尽量低的延迟

对于long-flow有尽量高的转发率

在高负荷网络中，利用网络拓扑链路来传输报文

将incast情况对网络造成的影响降到最小

论文研究对象：

DCTCP(Datacenter TCP)

MPTCP(Multi Path TCP)

DCQCN(Datacenter QCN)

论文实现方法：

用DPDK开发NDP   Application (抛弃 TCP, 重新开发L4协议)

从硬件方面，在NetFPGA SUME上开发NDP相关功能

从软件方面，在P4上开发NDP相关功能

摘要

近年来数据中心蓬勃发展，为了能够在内部提供更良好的网络效能，不论是低延迟或是高输出，网络架构从早期的三层式体系结构(Fat tree)逐渐都转换成Clos架构，然而传统的TCP协议在设计上并不是针对数据中心设计的，故其设计原理导致其不能满足需求。
因此论文提出了NDP (new data-center transport architecture)，其能够提供 short transfer接近完美的传输时间，同时对于广泛的应用情况，如Incast下亦能够提供很高的传输效能。
NDP架构下，交换机采用浅缓存来存放报文，当缓存满载时，不同于传统的将报文丢弃的做法，NDP采取的是截断报文的内容(payload)，只保留该报文的包头，并且将此报文设定为高优度优先转发。这种作法让接收端能够有更完整关于转发端的信息，能够动态的调整传输速度。
论文将NDP概念和软件，硬件相结合。使用的技术与硬件分别包含了 DPDK、P4 以及 NetFPGA。
最后论文进行了一系列效能评比，用大规模的模拟证明了NDP能够为整个数据中心提供低延迟与高输出的特性。

介绍

随着数据中心爆炸性的成长，为了满足其内部传输的需求(低延迟/高输出)，有各式各样的新方法或是在旧有技术的改进用来满足上述需求。譬如TCP改进的 DCTPC、本来就存在已久的MPTCP甚至是RDMA(RoCE)。在RDMA网络环境中，为了减少报文丢弃对整体传输造成的影响，都会将整个网络传输打造成无损环境，为了达成该目标，可以采用Ethernet Flow Control， Explicit Congestion Notification(ECN)或是Priority Flow Control(PFC)。微软在SIGCOMM 2016发了一篇关于RDMA+PFC问题的论文。其认为虽然 PFC可以用来控制转发报文的速率，藉此达到无损的网络环境，但是一旦整体网络处于高度拥塞的情况时，数据报文与PFC控制报文对带宽的争夺会使整体网络没有办法继续提供低延迟的优点，最后的结论是：“how to achieve low network latency and high network throughput at the same time forRDMA is still an open problem.“ 本论文提出了一个不同与以往思路的新协议NDP来满足上述的要求。
NDP不同于TCP，不需要先通过三次握手来进行连接才可以传输报文，同时也避免了TCP slow start 机制，可以连接一开始就采用全速的方式去转发报文。此外，NDP采用了per-packet multipath而不是per-connection multipath 的方式，同时通过NDP协议的方式避免连接中报文乱序所产生的问题。
对于支持NDP的交换机来说，采用了类似CP(CutPayload)的机制，当交换机缓存满载的情况下，对于接下来收到的报文不会直接丢掉，而是会将其 Payload移除，并且设定高优先度的方式将其包头尽可能快速的转发到目的地，让接收端能够有信息了解到当前网络与转发端的状态。
通过CP机制可以对metadata达到近乎无损的效果，不过对于数据来说则没有办法。由于NDP协议本身设计的方式，报文丢弃所产生的影响并不会像TCP 一样有如此严重的影响。

设计空间

对于内部使用的数据中心而言，其网络流量大部分都是属于Request/Reply,这种类似RPC方式的流量。这意味者以网络使用率来看其不会一直处在满载的状况，但是对连接接收端的应用程序(如服务器)来说，其所收处理的网络流量可能是大数据的传输，也可能是简单数据的短暂连接。对于短暂连接来说，最大的重点就是低延迟，尽可能快的传输回去。
为了处理这个问题，目前有许多应用程序采取reuse TCP连接来处理多个请求，以此方式减少TCP三次握手所产生的延迟。然而，是否存在一种架构，不论当前整个网络系统是否处于高流量负载，该架构能够让应用程序不需要重复使用连接，让每个request都是一条全新连接，同时又能够接近完美的延迟(意味者不会像TCP 都要先经过三次握手才可以开始传数据)。于是NDP的设计理念就出现了，为了达到上述的要求，首先必须要重新思考，当前网络架构中，是什么因素阻碍了上述要求，这些阻碍该如何克服。

端到端服务请求

论文列出了如下数据中心内应用程序要追求的特性。

位置独立

分布式应用程序运行于数据中心内的任一机器上，都不应该要影响应用程序本身的功能。由于目前都采用Clos网络架构来设计网络拓扑，所以整个网络拓扑是能够提供足够的流量来使用，而不会变成一个理由或是瓶颈使得应用程序必须要选择特定的机器才可以运行。

低延迟

虽然 Clos网络架构能够提供足够的带宽给拓扑内的服务器，对于流量的负载平衡能提供良好的效果，但是对于短暂连接来说，并没有办法提供低延迟的能力。
论文认为虽然能够提供高流量输出是一个很重要的议题，但是能够提供低延迟的能力则是更重要且优先度更高。

Incast

Incast这个专有名词的介绍可以参考Data Centersand TCP Incast – Georgia Tech – Network Congestion，简单来说就是同时间有大量请求进到数据中心内，这些请求都会产生对应的reply，然后这些reply连接同时间一起进入到交换机内，这会使得交换机的缓存区立刻满载而没办法继续承受报文，导致部分的TCP连接需要降速重传。
论文认为一个好的网络架构遇到这种问题时，应该要能够保护后台的应用程序连接，让这些连接应该要尽可能地维持低延迟性。

优先级

假设有一应用程序，同时会转发不同的请求到后台去处理，而这些请求所产生的reply本身是有依赖的关系。所以假如这多个reply没有依照当初转发请求的顺序回来的话，在应用程序端就必须要特别去处理，譬如说不要同时送多个请求，不过这样就没有更好的效能表现。因此对于应用程序来说，若本身能够有一个优先级的机制，能够决定哪些报文要先处理，就可以解决上述的问题，而让应用程序本身就可以更自由的去处理。

传输协议

目前数据中心内部采用的传输协议虽然可以处理上述应用程序的问题，但是为了处理那些问题，反而会失去下列特性。而NDP本身在设计时，希望能够在满足上述应用程序的需求，同时又保有下列的特性。

Zero-RTT连接建立

目前主流的TCP协议在转发数据前，必须要先进行三次握手，这意味着当数据送出去前，至少要先花费 RTT*3 的等待时间。对于低延迟的应用程序来说，希望能够达到RTT*0，至少RTT*1的等待时间就能够将数据送出，这对NDP来说，在数据转发前，整个连接不需要有三次握手的动作，一开始就直接送出数据。

快启动

数据中心不同于互联网的地方在于网络拓扑中的每个交换机都是自己掌握的。所以TCP采用的慢启动SlowStart 其实对于数据中心来说是没有效率的，毕竟一开始知道可用带宽是多少，不需要如同面对互联网那样的悲观，慢慢地调整窗口大小，而是可以一开始就乐观的转发最大单位，再根据状况进行微调。若采取这种机制，则应用程序可以使用更快的速度去转发报文。

Per-packet ECMP

在Clos网络架构中，错综复杂的连结状态提供了Per-flow ECMP一个很好发挥的场所，可以让不同的连接走不同的路径，藉此提高整体网络使用率。然而如果Hash的结果相同的话，其实是有机会让不同连接走相同的路径，即使其他路径当前都是闲置的。若采取MPTCP这种变化型的TCP来处理的话，该协议本身的设计可以解决上述问题，但是对于短暂流量或是延迟性来说，却没有很好的效果。为了解决这个问题，可以将Per-flow ECMP转换成Per-Packet ECMP。因此 NDP本身协议的设计就是以Per-Packet ECMP为主的。

Reorder-tolerant握手

假设已经有了Zero RTT以及Per-packet ECMP两种特性，则新连接的报文可能就会发生乱序的情况，收送顺序不同的状况下，若对于TCP来说，就会触发拥塞控制的机制进而导致降速。因此NDP在设计时，必须要能够处理这种状况，可以在不依赖报文到达先后顺序下去处理。

Optimized for Incast

即使整个数据中心的网络环境，如带宽等信息一开始就已经可以掌握， Incast问题还是难以处理，毕竟网络中变化太多，也许有某些应用程序就突然同时大量产生报文，这些报文同时到达交换机就可能导致报文被丢弃。因此NDP本身在设计时，也希望能够解决这个问题。

交换机服务模型

在数据中心内，除了应用程序特定，传输层协议之外，还有一个特性也是很重要的，这个特性与上述两个特性关系紧密，一起影响整个网络的运作，这个特性就是交换机服务模型。论文认为在这特性中，最重要的就是当交换机端口发生阻塞时会怎么处理，这个特性会影响到传输层协议以及拥塞控制算法的设计，甚至是传输相关的特性，如per-packet ECMP都可能会被影响到。论文指出，目前有很多种预防拥塞的机制，如Loss as a congestion，Duplicate or selective Acks等，其中Duplicate or selective Acks会主动触发重传，这种技巧对于长时间连接来说是好的，但对于需要低延迟的短暂连接来说是不好的，主要是这些重传都会经过RTO(Retransmission timeouts)，这个时间的长短会产生一些负面的影响，因此也不是一个万用的解法。

ECN(Explicit CongestionNotification)的出现对拥塞状况提供了不少改进，如DCTCP(data center TCP)就采用了该技术来辅助。该技术对于长时间的流量来说，能够有效的减少报文丢弃的数量，然而对短暂流量来说却没有太大的帮助，因为短暂流量太短暂了，根本来不及去接收ECN报文并处理。在现实情况中，交换机本身会采用较大的缓存来处理报文以及ECN报文，这种设计对于Incast的现象能够有效地减缓报文被丢弃的情形。但也因为缓存太大，每个报文在交换机内待的时间就会更长，因此重传机制的时间就会被拉长，导致延迟过大。
除此之外，对于无损以太网传输来说，则是会通过802.3X的PauseFrame或是802.1 Qbb的PFC (PriorityFlow Control)。这类技术都是通过控制报文阻止转发端停送报文，降低报文丢弃的数量。但该技术也不是十全十美的，以PFC来说，在一个高负荷的网络中，有可能会有两条不同的连接根据Hash导向走向相同，同时这两个连接最初的设定是相同的优先度，则有可能会因为一条连接的拥塞进而导致其他连接也被影响到。
上述这些拥塞制的设计除ECN之外，其余的对于Per-packet ECMP都没有能够提供良好的效果。
论文最后，提到了一种称为CP(Cut Payload)的做法，这种机制就是当拥塞发生时，不丢弃整个报文，而只是丢弃报文的数据，而保留报文的包头。当应用程序端收到只有包头，没有数据的报文，就可以知道这个当前线路有拥塞问题，可以进行相应的处理。
这种情况下，就可以避免减少RTO对于重传造成的时间延迟。然而这种设计也有两个问题(毕竟CP是1994提出的论文)

1．交换机采用FIFO机制，所以这些被丢掉数据的报文，也是要慢慢等待交换机将报文处理完毕才可以往外转送，这就会大幅增加这些报文的RTT时间。

2.该设计是基于single-path传输，没有考虑到多条路径传输，不论是per-packet或是per-flow的ECMP。

至此，可以归纳出作者心目中的完美协议了，简单回顾一下：

1.对于短暂流量能够提供低延迟，低延迟，低延迟

2.对于长时间流量尽量能够提供高流量输出

3.per-packetECMP

4.遇到Incast等情况也能够继续保持低延迟

后文会讨论NDP到底如何处理才能尽可能地有提供上述功能。

设计

为了满足上述的条件，NDP在设计时就决定整个设计要包含完整的架构，这包含了：
1.交换机的行为
2.路由
3.全新的传输协议

下图是展示了NDP的整体架构，通过全新设计的NDP架构，能够满足该图中的每个特性。下面将简单介绍每个模块的功能。后面的章节才会详细叙述其设计方法。

对于Clos网络架构来说，因为网络内拥有多条错综复杂的链接，因此整体网络的带宽是足够的。这对于想要执行负载均衡的应用来说是绰绰有余的，然而为了避免流量都流经相同的路径，导致某些路径上有大量的流量，进而导致报文丢失，并且对于延迟性与流量输出都有影响，必须要采取必要的措施将连接分散到不同的路径之中。
此外，对于短暂连接来说，per-packet的ECMP相对于per-flow来说更有意义，但是per-packet的ECMP必定会遇到报文顺序不同产生的乱序情况。
为了满足短流量低延迟的效果，转发端不能利去探测当前网络的带宽来决定转发速度，必须要在第一个报文就将数据送出，也就是所谓的Zero RTT。对于交换机来说，要达到低延迟，则缓存不能够太大，否则报文待在缓存内的时间过长，就会导致该报文要花更长的时间才能够被送过去。在小缓存的情况下，报文数量一多则缓存就会马上爆满。当报文丢弃同时加上因为per-packet ECMP所产生的报文乱序问题，会使接收端难以处理这些问题，无法辨别当前没有收到报文到底是什么原因。若想要避免报文丢失，则交换机的缓存就要够大，如采取pause frame，亦或是PFC这类型无损网络。然而这类技术都会因为当前连接产生的拥塞判断去影响网络中其他连接，这就会使某些连接没有办法达到低延迟的效果。所以NDP设计的理念是一种介于无损与有损的概念。
论文还采取Packet Trimming，其设计理念与CP（Cut Payload）极为相似，此种情况下，交换机采用小缓存，当接收端发现报文只有包头没有内容时，就可以判断当前网络有拥塞发生。为了可以让重传时间尽可能的快，对于这些被截断内容的报文，交换机应尽可能的快让该类型的报文转发出去。这类型的报文到达接收端后，会让接收端有信息可以知道当前哪些应用的报文到达，藉由这些信息加上一个完整的报文池(receiver-pulled pool)，接收端就可以精准地控制哪些报文要优先处理。

<未完待续>

希望本文能对了解数通网络设备提供一点粗浅的感性认识。
本文有关信息均来自公开资料。

交换机是数通行业高速发展的一个缩影。“点石成金”的先驱们不懈的探索，使交换机产业迅猛发展。相比于时下的交换机，早期的产品，无论是性能还是功能都有很大差距，但每个产品的出现都有其时代意义。让我们进入时光隧道，跟随前辈的足迹，去探访垦荒的年代吧。
本文既非工程学术文档，亦非原厂文宣，乃见微知著，温故而知新，文笔粗拙，贻笑大方。

<续前文>

3.3.5 交换矩阵中的优先级

交换芯片可以为切换仲裁提供多个优先级。在此方案下，输入端口不仅针对特定的输出端口和请求类型发出请求，而且在指定的优先级发出请求。仲裁器使用请求优先级作为算法的输入，用于解析输出端口。对于同一端口，优先级较高的请求将先于优先级较低的请求获得。

仲裁器提供的优先级数量完全独立于交换机中的任何其他优先级机制（如分类优先级或输出队列服务类）。确定优先级的目的是以最快速度调度交换矩阵，以便将最重要的流量传输到输出端口。

3.4 输入队列与输出队列

不管交换矩阵如何设计，如果数据帧都能尽快到达输出队列的话，交换机都能发挥最佳效果。如果输出队列中存在数据帧且输出端口可用，则可以立即发送这些数据帧。

如果输出端口可用，但数据帧仍在交换矩阵的输入端等待，则输出端口将会处于不必要地空闲状态。此时无法发送仍位于输入队列中的数据帧。因此，如果数据帧必须等待，最好是在输出队列中等待，而不是在输入队列中等待。这样可以最大限度地提高输出端的通道利用率。

3.4.1 输入队列和共享内存交换矩阵

对于共享内存体系架构来说，实际上是没有任何与交换矩阵相关的输入队列的。数据帧以以下两种状态之一存储在内存中：

数据帧正在等待查找或分类引擎的处理：在这个节点上，还不知道需要将数据帧传输到的输出端口。内存正用于接收数据路径中的临时存储。此类数据帧不存在队头阻塞问题，因为它们尚未排队等待跨交换矩阵进行传输。

数据帧已插入到相应的输出队列中，正在等待传输：查找引擎完成其任务后，就会知道要将数据帧传输到的相应的输出端口。将此传输链接到目的端口的输出队列中会受到相应缓存区指针的影响。由于这可能是由查找引擎执行的操作，因此不会有数据帧等待在目的输出端口之间传输。虽然接收数据路径中会存在缓存区，但共享内存体系架构实际上不需要输入队列。

3.4.2 输入队列、输出队列和流控制

PAUSE流控机制允许设备请求发送方停止发送数据帧一段时间。之所以执行此操作，是因为交换机端口发现，如果数据帧继续到达，将立即出现缓存区溢出。一旦数据帧传输到交换机内的输出端口，使用PAUSE机制来防止缓存区溢出就变得相当困难。

输出队列上的数据帧通常来自多个不同的输入端口。当输出队列开始增长时，交换机知道在哪个输入端口上进行流控。PAUSE流控机制仅对维护交换矩阵的输入队列的体系架构有效。如果输入队列有溢出的危险，必须知道任何溢出都是由从输入端口到达的数据帧引起的，因此，可以在输入队列上应用高水位标记，并根据需要使用PAUSE流控机制。

即使使用输入排队系统，如果使用链路聚合，流控机制也会出现问题。由于交换矩阵仲裁机制和聚合器的数据帧收集器，通常都不知道链路用于在多个链路之间分发帧的算法，因此无法确定聚合中的哪个物理链路接收会最终导致队列溢出数据帧。除非限制由于单个流量密集型对话而导致的整个聚合，否则流控机制只能用于防止数据帧收集器中的单个物理链路队列，而不是交换矩阵的聚合输入队列。IEEE802.3x流量控制专门设计用于防止内存受限、输入排队的交换机在瞬态过载条件下出现缓存区溢出。

4.交换机数据传输路径功能

交换矩阵向每个输出端口提供数据帧流。这些数据帧可能已从单个输入或多个输入端口进入交换机。在将它们发送到物理链路之前，需要执行一些额外的检查和处理。下图描述了输出端口（传输）数据路径中的逻辑功能模块。

以下各节将介绍在其中每个功能模块执行的操作。

4.1 输出过滤器

对于针对给定输出端口的数据帧，需要执行两个与VLAN相关的检测，然后才能进行实际排队传输。出口过滤器确定输出端口是否位于数据帧所属的VLAN的成员集合中。不能在不属于其关联VLAN的成员集合的端口上发送数据帧。在大多数情况下，数据帧是不会通过交换矩阵转发到VLAN成员集合的输出端口的。但由于筛选数据库中的静态表项不一致或共享VLAN学习的操作，数据帧可能会出现在不应在该端口上发送的输出处。出口过滤器会检测并防止这种情况。

对于应在输出端口上正确传输的每个数据帧，出口规则功能确定是否必须以标记或取消标记发送该数据帧。这是基于每个数据帧做出的，这是数据帧所属VLAN功能。对于此输出端口位于成员集合中的每个VLAN，将在管理控制下发送所有已标记或全部未标记的数据帧。出口规则的设置是基于标记感知设备是否必须在此输出端口连接到的链路上接收此VLAN的数据帧。

出口规则和出口过滤器可以通过使用简单的输出过滤器表同时使用，如下图所示：

对于VLAN标识符的4096个可能值中的每一个，表示端口是否在成员集合中（出口过滤器），指示数据帧是应标记还是取消标记（出口规则）。这是不需要复杂的查找机制的，内部交换机数据帧头中的VLAN标识符可用作直接进入输出过滤表的指针。此外，输出过滤表只需要1KB内存。

做出标记决定后，创建标记所需的所有信息都已存在于内部交换机数据帧头中。VLAN标识符、优先级和其他信息都是在接收数据帧时由分类引擎确定的。在此过程中，只需决定是否在传输的数据帧中包含这些字段。

在稳定状态下，筛选数据库的配置会防止交换机根据生成树协议的操作将数据帧转发到未处于转发状态的端口。但当筛选数据库尚未收敛到新的稳定状态时，可能存在瞬态状态，即不能始终依赖筛选数据库来实现生成树端口状态。出口过滤器可以防止数据帧意外传输到处于不恰当状态的端口上。如果端口被定义为不在任何VLAN的成员集合中，则通过交换矩阵转发的所有数据帧都将在输出端被丢弃。内部管理处理器仍可以采用将它们直接插入到出口过滤器之后的输出队列中的方法，提交BPDU以便在处于侦听或学习状态的端口上进行传输。

4.2 输出队列和优先级处理

在上述处理之后，从输出过滤器通过的数据帧被放入到该端口上的一个输出队列中。正是在输出队列中实现了交换机提供的各种服务类别CoS，每个CoS通常有一个队列。内部交换机数据帧头包含由分类引擎确定的每个数据帧的优先级。此优先级映射到CoS（以及输出队列）。

输出队列的数量通常在1到8的范围内。这是一种实现上的权衡。更多的输出队列在CoS中提供更大的颗粒度，但代价是内存数据结构更复杂，且会要有更大的总内存量。

数据帧取消排队，并根据输出队列调度程序中实现的优先级策略提交以进行传输。调度策略可能包括严格优先级、加权公平排队等。

不管采用怎样的策略，最终结果都是按优先级顺序在输出端口上传输单个数据帧流。内部管理处理器处理输出进程流中的本地源帧。即数据帧可以插入到其中一个优先级队列中，直接插入到单个优先级输出流中，甚至可以插入到链路聚合分发服务器之后的单个物理链路的输出队列中。更高层的应用程序流量（SNMP、HTTP、Telnet等）可以提交到与应用程序相对应的优先级的正常输出队列之中。生成树BPDU可以被优先级调度程序直接插入到输出流中。

链路聚合控制协议（LACP）消息可以根据需要插入到聚合链路的各个物理链路队列中。如果内部管理处理器在本地处理数据帧，则不需要通过输出过滤器进行检测。

4.3 链路聚合分发服务器

如果输出端口包含多个物理端口的聚合，则需要获取来自输出调度的数据帧流，并将每个数据帧分配给特定的物理接口。该选路是依据聚合器中的分发算法决定的。分发服务器确定每个数据帧所属的会话（基于会话映射规则），并将其分配给一个可用的物理接口。分发服务器还要代表自己将数据帧独立地定向到物理端口，如在将会话从一个物理端口传输到聚合中的另一个物理端口时，需要生成标记消息。

4.4 传输流控制

在正常情况下，传输流控制模块以透明方式将分发服务器（或输出调度程序）提交的数据帧传递到传输MAC。既不修改也不干扰数据帧的传输，除非接收流控制模块已检测、解析和解码了包含暂停时间参数的非零值的PAUSE帧。在这种情况下，传输流最初会暂停接口，不将数据帧提交到MAC，直到暂停计时器过期（或者通过接收暂停时间为0的PAUSE帧来清除）。用于停止帧流的方法依赖于实现。通常，某些内部机制（如DMA引擎或内存控制器）只会阻止其他数据帧缓存区指针链接到MAC控制器的传输队列中。

如果交换机需要确认向其伙伴进行流控，则无论数据帧转发是否已停止，它始终可以将PAUSE帧插入到传输流中。确认流控机制的信号可能来自内部管理处理器，也可能来自接口接收端的队列缓存区管理器（如链路聚合收集器或交换矩阵输入队列）。

4.5 时间戳

在最终发送数据帧之前，还需要进行资格检测。在输入端口，在到达时为每个数据帧添加时间戳。需要将该时间戳与当前时间进行比较，以查看该数据帧是否已超过其应出现的状态。网桥会对通过输出端口接收和转发之间的数据帧所经历的传输时延设定上限。除非可以保证此上限，否则时间戳机制可确保丢弃数据帧，而不是以过多的延迟来转发数据帧。

4.6 端口接口（传输）

系统一直在检查、限定、修改和操作数据帧，让它们通过输出端口，离开交换机。传输端口接口实现适用于此特定端口上使用的MAC和PHY功能。

在共享（半双工）信道上，传输MAC为正在使用的LAN技术执行必要的信道仲裁功能。在全双工链路上，无需与任何其他工作站争用信道，MAC可以在数据帧可用时传输数据帧。物理接口（PHY）将MAC发出的数据流转换为适合所用介质的电信号或光信号。

在典型的终端应用中，传输MAC会为所有传出数据帧生成正确的FCS。在交换机中，会有两种可能性：

转发的数据帧与接收的数据帧不同（逐位）：由于插入、修改或剥离VLAN标记，或者由于输入和输出端口上不同LAN技术之间的数据帧格式转换，交换机可能在接收和传输之间修改了数据帧的内容。如果转发的数据帧与接收的数据帧不完全相同，则必须在传输之前计算新的FCS。通常，此功能将由传输MAC实体在硬件中执行。

转发的数据帧与接收的数据帧相同：如果转发的数据帧中的每个位都与接收的数据帧中的每个位完全相同，则原始FCS仍然有效。交换机不需要计算传输MAC中的FCS，而是简单地将数据帧与接收的FCS一起转发。这意味着传输MAC实体必须能够逐帧启用或禁用FCS生成。交换机端口可以通过检查内部交换机数据帧头中的标志位来确定是否已进行帧修改。

此时，数据帧就离开了交换机，完成了数据帧在交换机中的“一日游”。

结束语

本文通过数据帧在交换机中的流向，粗浅地讨论了数通交换机的基本功能。当然真实的交换机会复杂的多得多。“见微知著”，这正是本文的初心。

<全文结束>

希望本文能对了解数通网络设备提供一点粗浅的感性认识。
本文有关信息均来自公开资料。