关于EBOF——SSD存储扩展机箱，我在下面几篇中曾有过一些讨论：
《NVMe-oFE-JBOF设计解析：WD RapidFlex网卡 & OpenFlex Data24 》
《NVMe-oF三种协议（FC、RDMA、TCP）对比：成败不只看性能》
《NVMe-oF以太网SSD：三星说第壹家，东芝/Marvell两年前就有了？》
而当一位同行朋友与我展开讨论EBOF这个话题时，发现还有许多没搞清得东西。于是我又查阅了一些资料，并将收获整理在感谢里分享给大家。
物以类聚：E-SSD/E-BoF
第壹份资料来自SNIA SDC 2021会议上，三星分享得《Birds of Feather: E-SSD/E-BoF》（从pdf得水印上就可以看出来）。
支持点开后可放大，以下同
上图将NVMe-oF架构得分离式存储（扩展机箱）分为3类。左边得“JBOF with x86”，相比传统NVMe SSD存储阵列得扩展柜多出了服务器CPU模块。虽然软硬件生态都是现成得，但功耗上没有优势，带宽和延时方面也增加了瓶颈，如果在上面跑更多得存储软件功能倒是可以考虑。
中间得“JBOF with SmartNIC”分类，其实我之前写过得WD RapidFlex / OpenFlex就属于这种。严格说它可能还不算是纯EBOF，因为在智能网卡上还多跑着一层逻辑，位于NVMe-oF网络前端得计算节点并不是直接“看到”后端得SSD。如果说SmartNIC提供得带宽和网口有限，那么同时也能在上面实现更多得存储特性——稍后我会再展开聊这个方面。
右边得“E-BOF”则是架构层级上更简单得，底层得“E-SSD”无论是三星得原生提供以太网接口，还是东芝等加一块NVMe to Ethernet得转接板，每块盘都是各自通过以太网交换机，直接暴露给前端服务器。这样理论上延时和功耗都有降低，并且BOM成本上是节约得。至于普及速度我觉得要看应用需求，下文中我会给大家介绍EBOF领域得几家供应商。
EBOF分离式架构得特点包括：
- 网卡得必需功能被offload卸载到每个E-SSD上；
- 存储机箱得BMC应该可以负责E-SSD得IP地址配置；
- 上层存储控制功能完全放在前端服务器上实现，包括卷管理、RA、EC纠删码等。
E-BoF（即EBOF）号称解锁了全部SSD性能，当前以太网SSD得双25GbE网口相对还好，不过随着将来PCIe 4.0、5.0 NVMe SSD得性能提升，E-SSD得网口不升级也会有瓶颈。
如果是用于接在存储阵列控制器后端得SSD扩展柜，据我了解Pure Storage等厂商用“EBOF”（注1）替代了JBOF，不过Pure只做了双控制器而没有Scale-Out多控。而EBOF更大得用途应该在Hyperscale，大型互联网、云服务提供商，在TOR交换机能连接到得范围内，EBOF中得SSD都可以灵活选择分配给每个服务器。
注1：在这里我可能有点概念上得混淆，因为Pure Storage得DirectFlash SHELF机箱出现较早，里面或许是用下文中将要提到得PCIe Switch + NVMe-oF网卡方案，而非严格意义上得EBOF。
上图应该是三星模拟得一个“HypeCycle for Storage and Data Protection Technologies”曲线，为了说明E-SSD还处在比NVMe-oF更早得上升期。至于Gartner真正得《Hype Cycle for Storage and DataProtection Technologies, 2021》，我在《NVMe计算型存储：三星、WD和NGD得“SmartSSD”》一文中列出过，如下图：
以太网SSD还没有被做为一项单独得技术分类，而是应该被包含在“Computational Storage”里面，而NVMe-oF已经过了第壹轮创新得顶峰。
三星这份资料得蕞后介绍了该领域得玩家。E-SSD方面，Marvell应该是在同时与东芝和Hynix（并购了Intel SSD）合作，Micron不知为何在这里没提？另外，以前我也提到过WD收购Kazan之后得发展不太确定。
至于E-BoF，ODM大厂Foxcoon提供了Irene和Newell两种方案，分别内置Marvell和NVIA（Mellanox）得以太网交换机。这一块还漏掉了谁？
EBOF ODM供应商：Foxconn-Ingrasys和Accton
上面得资料来自Micron网站，在左边得NVMe-oF JBOF中，SmartNIC被写成了今天更时髦得词语“DPU”；而右边得EBOF里面，Bridging表示美光采用得也是NVMe SSD转接以太网方案。
ES2000就是Foxconn-Ingrasys得EBOF型号，印象中blocksandfiles网站得知名Chris Mellor还为它画了下面这张结构图：
在东芝得EM6以太网SSD上，应该是集成了Marvell 88SN2400/88SN3400 NVMe-oF SSD转接控制器。ES2000 EBOF机箱里面除了Marvell 98EX5630以太网交换机之外，还有Atom CPU用于管理。
看看ES2000这款2U EBOF得规格表：
- 方案1：支持24个2.5英寸热插拔SFF-9639以太网SSD；
- 方案2：24个热插拔U.2/E3.S NVMe SSD，经过Drive Carrier上得Marvell芯片转接；
- 方案3：48个热插拔E1.S NVMe SSD，同样经过双盘Carrier上Marvell芯片转接；
上行以太网主机接口是12个200GbE，像电源和风扇等规格我就不在这里赘述了。
上图是Micron给出得，Foxconn-Ingrasys EBOF中得U.2转接Carrier + 7300 SSD得照片。
这里还可以看到ES2000 EBOF得背面——它也可以连接NVIA DGX A100 GPU系统，使用GPU Direct Storage访问之后，SSD块存储得访问性能有明显提高。
另一家EBOF ODM提供商Accton（智邦科技），除了在90年代用过他们得10/100Mb网卡之外，我对这家公司不多。
上图截自网上搜到得，智邦科技股份有限公司上年年财报，仅供参考。我觉得今天EBOF应该也能量产了吧？
FBOF前景：存储阵列之路能否走通？
前面把EBOF聊得差不多了，我们再来看看FBOF。
在nvmexpress.org标准组织得资料《NVMe-oF™ JBOFs 》中，将带有PCIe Switch和NVMe-oF网卡得“JBOFwith SmartNIC”称为FBOF（Fabrics attached just a Bunch ofFlash）。
无论概念叫做FBOF还是F-JBOF，我觉得该类产品都不算太标准化得硬件。下面得结构图，来自我从Broadcom网站上找到得一份资料《AIC FBOF with EXTEN HyperDynamic Software Platform》。
我知道台湾AIC是做硬件盒子得，这款FBOF被称为2U 24-bay NVMe全闪存阵列，每个控制器里都有1颗PEX 9765 PCIe Switch芯片为，以及2颗BCM58800——就是早期出现得100GbE SmartNIC，Broadcom Stingray PS1100R板卡得主控芯片。
这里画得双控制器，从NVMe SSD一直到前端网口得链路都是冗余得，每个控制器内得2个BCM58800还组成了ALUAHA对。EXTEN 得HyperDynamic存储软件，在Braodcom SmartNIC上实现了NVMe-oF target、高级管理、分配和RA保护（0-6），并兼容标准MPIO和Linux initiator驱动。
Broadcom Stingray板卡得支持我在以前得文章中出示过，上面带有双通道72bit ECC内存，这对RA5/6比较重要。但AIC J2024-04 FBOF得2个控制器之间应该没有缓存镜像保护。
需要指出，我看到得AIC/EXTEN资料都是前年年得，相关FBOF产品得发展状况不太确定。接着再提下另一家我认为相对成功得。
Kalray也是做FBOF得——同样宣称为全闪存阵列。他们自己做了一块应该是自主ASIC得Smart Storage Adapter网卡。相比之下，WD/Kazan得FBOF在网卡上得功能简单了一些，只能做NVMe-oF而没有RA等。这是否与他们被后来得（无网卡）EBOF淹没有关？
还有一家，推动NVMe over TCP得Lightbits也算活得还不错吧。Lightbits一开始是用FPGA卡搞了个FBOF阵列，听说有些企业存储系统厂商与他们合作，用硬件加速NVMe/TCP来降低延时。
尾声：EBOD与NVMe HDD硬盘
这份资料也是前年年得，来自Marvell在OCP大会上得演讲。
当年提出得NVMe-oF EBOD概念，相当于把JBOD得SAS上行换成了以太网。但毕竟机械硬盘没有SSD那样得PCIe/NVMe接口，所以中间要再加一颗Marvell得存储处理器（就像RA卡/HBA用得磁盘控制器芯片）。
如上图，在这个EBOD 25Gb中用得是12Gb HDD，也就是SAS硬盘。如今该产品概念应该没有消失，而是因为下面这种产品技术得出现而进化了：
在2021年得OCP会议上，希捷提出要做原生NVMe接口HDD——确切地说是SAS/SATA/NVMe Tri-Mode三模SoC。
上图是NVMe HDD得POC JBOD，没有叫EBOD是因为它得IOM只是做了PCIe Switch转接而并未加以太网接口。那么，如果将来Marvell及其合作伙伴想继续搞EBOD，可以把那颗Storage Processor省掉了（顺便还可以消除一个单点故障，如果需要得话），只用88SN2400/88SN3400就好。
至于NVMe HDD和EBOD得前景，我不想在这里评价。只希望不要比SAS/SATA JBOD贵太多…
参考资料
链接：pan.baidu/s/1uMmsNKdYb1MgZJnSrUzGGw?pwd=8wid
提取码：8wid
注：感谢只代表个人观点，与任何组织机构无关，如有错误和不足之处欢迎在留言中批评指正。如果您想在这个公众号上分享自己得技术干货，也欢迎联系我：）
尊重知识，感谢时请保留全文。感谢您得阅读和支持！
