[宝典]4gb光纤的难堪

[宝典]4gb光纤的难堪 4Gb光纤通道的尴尬 发展步履缓慢 2005年，在2Gb光纤通道推出两年之后，4Gb版本如期而至，摩尔定律又一次闪烁着灵验的光辉。当然，业内人士都知道，这种灵验背后大多带有浓重的“政治”色彩，光纤协议技术的升级也难逃嫌疑。依笔者看来，4Gb,,,,,FC技术本身和周边配套设备，似乎都在暗示着4Gb,,,,,FC更像是一个迟来的“新”技术。 在物理层上，4Gb,,,,,FC并无设计阻力，采用的是与2Gb,,,,,FC完全相同的接口——LC,,,,,SFP。而且有理由相信，在未来下一个版本的FC技术中，依然会沿用这一标准。因为这本来就是10Gbps以太网络中的XFP标准。也就是说，光纤技术在突破10Gb之前，物理介质方面根本没有技术瓶颈。 也许有人认为芯片的设计是4Gb,,,,,FC的瓶颈，但是实际上早在2002年的时候，Brocade公司就已经开始在其Fabric光纤交换机中使用8Gb带宽的端口控制芯片了。同样是在2002年，Vixel公司被Emulex收购之前，推出过一款做在芯片上的交换机。这款SOC(Switch,,,,,on,,,,,Chip)在一颗芯片上就实现了20个FC端口的交换。在2Gb,,,,,FC推出之后，SOC迅速支持了2Gb,,,,,FC，其总交换带宽在2003年就已经达到了40Gb之多。由此可见，区区4Gb的带宽要求，在IC设计工程师眼中，绝对是小菜一碟。 记得当年光纤通道技术从1Gb向2Gb过渡的时候，PCI总线带宽曾经是个经常被提及的瓶颈。以33MHz外频工作的32位PCI总线，其理论带宽上限也只有1Gb多一点，实难担负2Gb,,,,,FC的工作负载。然而时过境迁，如今的PCI技术不仅可以支持全64位工作，而且外频也急速攀升，从66MHz、133MHz发展到266MHz甚至533MHz。掐指一算，533MHz外频的64位PCI-X总线已经可以达到将近40Gb的带宽。这个数字是4Gb,,,,,FC理论带宽的10倍之多～ PCI总线光纤通道 42664500 4000 3500 3000 21332500 MB/s2000 15001066 0 0 2000年2001年2002年2003年2004年2005年 图1.,,,,,PCI总线与光纤通道的发展 从存储设备的角度来看，中端磁盘阵列中，控制器可以支持8Gb甚至更大带宽的俯首皆拾。由于光纤通道协议升级不够及时，为了充分发挥控制器的能力，迫使各磁盘阵列厂商在设计控制器时拼命的增加后端磁盘环路数量。记得2001年之前，主流中端磁盘阵列一般只需要两个后端环路。不知道从什么时候起，四个甚至八个后端磁盘环路的设计开始盛行。要是4Gb,,,,,FC发布的早些，这些阵列控制器的设计肯定会精炼得多。 了解过物理介质、核心芯片、总线技术和阵列控制器的发展状况之后，回头再看4Gb,,,,,FC的出现。总觉得这一新技术的闪亮登场，其实并没有多么光芒耀眼，甚至有发展速度滞后的感觉。 光纤通道技术发展略为迟滞，隐约也有其“政治”原因。打开“光纤协会”网页就会发现，与其他IT技术协会相比，这个协会中缺少几个重要的会员——IBM、英特尔、微软、思科，甚至连惠普和Sun均缺席其列。这些公司对IT技术发展的影响之大路人皆知，因没有这些公司的支持而没落甚至胎死腹中的例子也比比皆是。古有NetWare与Windows,,,,,NT之争，今有1394“火线”技术与USB之战，还有数不清的大小战役，都结结实实的了强者与趋势之间的同一关系。而翻看“光纤协会”的会员名单，其中强者寥寥，更多的是名不见经传的“潜力股”或是本行业中位列二流的“趋势追随者”。以这样的班底，实难长期领跑于产业前沿。 在那些“巨无霸”之中，最让人看不懂的就是思科公司。事实上，思科公司在两年以前就已经开始生产光纤交换设备。时至今日，其该领域全球市场份额已经位列三甲之中。但“光纤协会”的会员列表中，至今也没有思科的影子。桌面上的理由版本众多，而真正的玄机恐怕要到几年之后才能揭晓。 对手虎视眈眈 IT行业的更新速度，经常被形容为“催命般的”。用时下流行的话说，就是“长江后浪推前浪，前浪死在沙滩上。”技术的更新何尝不是如此～就在光纤通道技术发展略微迟滞的间隙，汹涌的“后浪”已经聚积成势了。 从技术角度看，光纤通道以往占据的阵地有两个:一是高端磁盘的端口;二是高端系统中主机与存储设备连接。而随着SAS技术和iSCSI技术这些“后浪”的日益成熟，两个阵地都遭受着强烈的炮火轰击，随时有失守的可能。 在磁盘端口方面，光纤通道技术在扩展连接能力、性能和管理能力等方面明显优于传统SCSI技术，所以博得了高端用户的青睐。自产生之初，就牢牢的占据了高端磁盘端口这个阵地。然而SAS(串行SCSI)的出现，已经彻底打破了光纤通道技术的优势。 表面上4Gb,,,,,FC与3Gb,,,,,SAS相比，仍然具有一定的性能优势。但是实验室中的测试结果证明，事实并非如此。为什么呢,原因其实也很简单。大家都知道单个磁盘的性能瓶颈，主要是盘体内的机械部分，而绝非端口部分。也就是说，对单个磁盘而言，无论是3Gb,,,,,SAS 都已经足够宽阔。磁盘端口协议的瓶颈效应，只有在磁盘数量足够多的时候还是4Gb,,,,,FC， 才会显现。而SAS技术的优势也正是在此体现。 对光纤通道技术的研究表明，当50,60颗磁盘连接在一个光纤环路上的时候，光纤通道基本达到性能上限。换句话讲，当一个光纤环路连接的磁盘数量少于50的时候，最大性能由盘体决定。而当磁盘数量超过60时，所有磁盘的总体性能就基本等于此光纤通道的最大性能。请记住:是一条光纤通道的最大性能～在SAS磁盘系统中，各个磁盘是以交换的方式连接，不存在共享的通道带宽，自然就不存在性能上限瓶颈。在达到前端控制器最大能力之前，总体性能基本完全由盘体决定。而SAS磁盘和光纤磁盘的盘体部分，包括NCQ(指令优化队列深度)都完全相同。自此不难得出结论:当磁盘数量较少时，SAS磁盘系统与光纤通道磁盘系统的性能基本相同;当磁盘数量超过60时，SAS磁盘系统性能更优。 环路连接方式不仅拖累了光纤通道磁盘系统的性能，也影响了系统扩展能力。光纤通道协议规定，每个环路最多可以连接126个设备。这其实也是一些中高端磁盘阵列厂商拼命增加环路数的原因之一，否则怎能推出那些动辄支持数百上千颗磁盘的系统呢。SAS技术在这一点上进步了不小，其协议机制可以支持到每交换域16384个节点，比光纤通道的扩展连接能力足足提高了一百多倍。 4Gb,,,,,FC-AL SAS 协议带宽 全双工,,,,,4Gb/s 全双工,,,,,3Gb/s 扩展能力 每环路126设备 每交换域16,384设备 连接机制 共享环路带宽 交换式结构 连接距离 10公里 8米 主机连接 每线缆,,,,,400MB/s 每线缆,,,,,1200MB/s 表1.,,,,,4Gb光纤环路与SAS比较 当然，光纤技术可以将其交换机制使用在这个阵地上，依此收复一些性能和连接性方面的失地。但那样做的结果只能是，性能方面勉强与SAS技术持平，价格方面却高出太多。要知道，脱胎于SCSI技术的SAS，其控制芯片成本比光纤环路控制芯片都要低很多，更不要说光纤交换芯片了。 与SAS技术相比，光纤通道技术唯一的优势就是连接距离。SAS可以支持8米的连接线缆，而光纤通道技术则是傲人的10公里之多。不过很遗憾，在磁盘端口这个阵地上，光纤通道的这个强项恐怕无用武之地了。谁会需要磁盘与背板之间的连接在数公里之遥, 磁盘端口这个阵地频频吃紧的同时，主机连接那个阵地上，光纤通道技术的日子也不好过。面临来自iSCSI和SAS的双重威胁，光纤通道技术已经难有腾挪的空间了。 SAS技术支持了交换式连接机制，也可以构建具有相当复杂结构的存储网络。而且SAS由传统SCSI脱胎而来，很快各个主流服务器厂商就会在其主板内附带SAS控制器。显然，届时基于SAS的SAN，将比基于光纤通道的SAN更具成本优势。 目前的SAS主机连接端口采用4条均衡负载的3Gb,,,,,SAS链路，这样不仅提高了连接可靠性和容错能力，更重要的是使每根实际物理连接承载的带宽达到了12Gb。这一性能是4Gb,,,,,FC的三倍之多。如此看来，以SAS实现DAS或SAN的连接，不仅成本非常低，而且性能也会比4Gb,,,,,FC高出很多。如此说来，为什么还需要4Gb,,,,,FC呢,答案是„„ 主机与磁盘阵列间 4,,,,,x,,,,,3Gb, ,,,,SAS 点 对主机端 点SAS适配器 交 换 每根线缆12Gb 每磁盘端口3Gb 图2.,,,,,3Gb,,,,,SAS实际提供12Gb主机连接带宽 其实，SAS的威胁还算小的。在这个阵地上，iSCSI对光纤通道的威胁才是最大的。 在iSCSI技术刚刚诞生之初，一些心存芥蒂的业者曾经贬其为低端技术，冠以“小型系统适用”的名分。而当时iSCSI性能的确乏善可陈，客观上纵容了这种言论流行坊间。然而，随着万兆以太网的降临，这种言论已经越来越站不住脚了。4Gb,,,,,FC与10Gb以太网哪个更快,这个问题小学生都可以回答。 笔者曾经遇到过一些对iSCSI性能表现的微词，其中最常见的就是以太网的性能保证问题。用术语讲，叫做QoS问题。可惜置疑这些问题的人们，大多引用的都是过时的老黄历。以今天以太网交换技术的发展，识别并保证数据库和媒体应用数据流的QoS都不在话下，iSCSI协议里面这点小问题早就不成问题了。 另外一个较新版本的微词是针对磁盘动作的，大意是讲iSCSI协议需要经过太多的拆包动作 才可以指挥磁盘。不像光纤通道，主机端与磁盘端口协议相同，根本无需拆包。这个说法看似有理，实则纯属无稽。除非我们讨论的是iSCSI接口的JBOD，否则主机端根本无需也无法直接与磁盘通讯。磁盘动作实际上是经由磁盘阵列控制器指挥完成的。而在这种情况下，主机与阵列控制器间无论采用iSCSI还是光纤通道连接，都要经过拆包，将数据还原为SCSI-3指令。两者的劳动量和复杂程度几乎是一样的。此前iSCSI设备性能较低，其实是因为这个拆包动作由主CPU完成，耗费过多系统资源，且效率不高。而光纤通道技术从诞生第一天，采用的就是专用芯片处理拆包。所幸现在各个主流适配器厂商都发布了基于硬件处理的iSCSI适配器。iSCSI的拆装包效率，已经完全不逊色于光纤通道技术了。 至于iSCSI技术的连接能力、扩展能力以及先天的成熟性等方面的优势，业内已经有太多的讨论，笔者就不再赘述了。这里只重复一点，在安全性方面，iSCSI完全是压倒式胜出。细数光纤通道技术中对安全性的设计，就会发现，这里简直就是光纤通道技术的不毛之地。仅有的分区(zoning)和卷隔离(LUN,,,,,Masking)概念，也完全是照搬以太网几辈子之前的老套路。如果哪天光纤通道技术从这个世界上消失了，罪魁祸首绝对是安全性方面的严重设计缺陷。以架设存储专用网络为初衷的技术，怎么对安全性的关注这么低,难到存储专用网络就不是网络，就不需要安全了吗, 在光纤通道与iSCSI的对抗中，笔者更看好iSCSI，不仅仅是出于技术层面的原因。“政治”因素才真正使iSCSI胜券在握。看看iSCSI阵营中的主力——IBM、英特尔、微软、思科„„当今IT世界中主掌生杀大权的角色悉数到齐。这场角逐实力对比之悬殊，不需多言。实际上，光纤通道阵营中已经有识时务者开始明里暗里的倒戈投降了，连一向立场极为坚定的EMC公司也发布了支持iSCSI的磁盘阵列产品。目前仍在真正奋力抗争的，只剩下McData和博科这样的公司。他们的业务几乎100%是来自光纤通道市场，如果让他们放弃光纤通道技术，基本等于自杀。不过，最近有消息说这些公司也在考虑以某种方式介入iSCSI市场。不禁让人想起了当年Novell公司那婉转的投降标语:“从今天起，不要讲‘Novell,,,,,or,,,,,NT’，而要说 ‘Novell,,,,,and,,,,,NT’就对了。”