【doc】提高服务器可靠性——服务器网卡组工作原理

【doc】提高服务器可靠性——服务器网卡组工作原理 提高服务器可靠性——服务器网卡组工作 原理 }cialFeature特另U企划]责任编辑:张碧薇联系电话:o1o一88559431 提高服务器可靠性 当今时代,网络已经融入 人们生活中方方面面.任何 网络都离不开两个重要的角 色:客户机和服务器.我们 在单位用来浏览网页,下载 资料的上网个人电脑,就是 客户机;而服务器则组成了 像新浪,搜狐等大大小小的 网站,为网民提供丰富的信 息资源.网站统计到的访问 量,实际上就是有多少台客 户机访问了他们的服务器. 很显然,这种通信模式决 定了服务器与客户机在网络中 的地位不是对等的,和客户机 比起来,服务器要重要得多, 同时要为客户机提供服务.因 此服务器除了硬件性能要足够 好以外,接入网络时还要有足 够的带宽和高可用性. 在千兆网卡出现以前,为 了解决服务器的带宽瓶颈, 出现了将两块或多块网卡绑 在一起,同时使用的技术,这 种技术,后来演变为网卡组 (Team)技术. 实施网卡组可以起到两个 重要作用:负载均衡和提高服 务器可用性. 1.负载均衡 可以根据每个物理网卡的 实际数据流量,调整单块网卡 上的服务器输入,输出两个方 向的流量,达到多块网卡同时 工作,增加带宽的效果. 2.提高可用性 服务器一旦宕机或接入网 络出现故障,将直接导致网络 瘫痪.网卡组技术可以消除因 服务器网卡,网线,交换机端 口硬件故障,甚至是单台交换 机崩溃而带来的服务器网络接 入故障. 近年来,随着千兆级服务 器网卡的出现,服务器带宽瓶 颈得以缓解.因而,现在实施 服务器网卡组,主要是为服务 器网络接入提供冗余,提高服 务器可用性. 目前,市场上流行的可以 实施网卡组技术的网卡有Intel 和Bmadcom服务器网卡.本文 将重点介绍Intel和Broadcom]][t 务器网卡组技术. 服务器网卡组工作原理 服务器网卡组主要实现两 个功能:服务器接入的带宽扩 展(负载均衡)和网络接入冗 余,因此,它只涉及服务器接 入的本地局域网.由于服务器 一 般只是直接接入交换机,因 此涉及到的设备往往也只有服 务器和交换机. 网卡组的实现可以只在 服务器一端实现,也可以 在服务器,交换机两端都 实现.前者的实现方式称为 交换机无关方式(Switch Independent),后者称为 交换机相关方式(switch Dependent). 网卡组是在局域网上实现 的,其中涉及到的网络概念有 物理地址,网络地址和ARP .要想深入了解网卡组技 术,首先要学习熟悉这些相关 知识. 物理地址 我们知道,和广域网不 同,局域网的网络传输介质, 一 般都是共享的.依据工作站 使用网络传输介质的控制方式 不同,局域网分为以太网,令 牌环和FDDI等.任何一种局 域网,都要使用自己的编址方 式,对网络节点分配一个惟一 的地址,用以标识网络节点, 这个地址就是物理地址.对应 地,物理地址有以太网物理地 址,令牌环网物理地址和FDDI 网等物理地址.就以太网来 说,网络节点的物理地址是全 球惟一的. 不同技术的局域网,由不 同的网卡实现.例如,平时我 们使用的大多是以太网卡.如 果要组建FDDI网,则要使用 FDDI网卡.适用不同网络类型 的网卡上,已经固化了它的物 理地址.同样,不同技术的局 域网,也必须由不同的网络交 换机组成. 数据在以太网上传输,必 须遵循以太网协议,即要使用 以太网的数据帧.发送一 帧数据前,网卡驱动首先构造 一 个合法的以太网数据帧,这 个帧中包含自身的物理地址和 目标节点的物理地址.因此, 任何通信行为发生前,必须知 道目标节点的物理地址. 网络地址 如果通信仅仅发生在局域 网内,那么,使用物理地址就 已经足够.当出现网络互联 时,即不同的局域网之间要进 行通信,特别是,令牌环网与 以太网之间要进行通信,该使 用谁的地址呢? IP协议~IIIPX协议是一种网 络互联协议,它的主要作用就 是屏蔽下层不同的网络技术细 节.例如对于地址,不管具体 的局域网是采用何种地址,网 络互联协议都会使用自己定义 的地址进行通信,这种地址称 为网络地址.多个局域网(可 以是以太网或FDDI或其他)可 以使用网络互联协议(IP或IPX 或其他)互联为一个更大的网 络,这个网络也称为网间网. 投稿信箱:zhbw@365master,com[特另U企划S 网络地址是对整个网间网有效 的,应用程序传输数据时使用网 络地址.网络层协议根据目标网 络地址,决定数据包是否需要转 发给三层设备. 无论使用何种网络互联协 议,数据包最终的传输还是要 交给底层的物理网络来完成. 而底层的物理网络传输数据 必须使用自己的数据帧格式, 因此,要想完成数据的实际传 输,需要将网络地址转换为具 体的物理地址. ARP ARP协议的作用,就是 在知道网络节点IP地址的情况 下,得到节点的物理地址.平 时,每个节点维护称为ARP缓 存的表,表中有具体的IP地址 与其物理地址的对应关系. 1.ARP解析过程 (1)当一个节点需要知 道某个已知IP地址的节点物理 地址时,首先查询本地ARP缓 存,如有则直接使用;如无, 则发送一个网内广播包,称为 ARP请求包,其中包含目标节 点的IP地址. (2)网内所有节点都收 到了该广播包.所有接收到该 请求包的节点,都会查找本地 ARP缓存是否有发送节点的 ARP条目,如无则根据该请 求包的源物理地址,构造一个 ARP条目保存,以避免将来需 要和该节点通信时,再做额外 的ARP解析.因为ARP请求包 中包含有目标节点的IP地址, 因此接收节点还要判断对方是 不是解析本节点的物理地址. 如果是,则向发送节点发送一 个称为ARP应答的数据包(非 广播包),告知本节点的物理 pecial 地址. ARP缓存条目如果 的时间没有使用,则会 中清除,以节省存贮空间 2.特殊ARP(GratuitousAI 有翻译为免费ARP) 一 般地,节点在需罩 个节点通信时,需要知 的物理地址,而本地AR 中又没有对应的ARP条I 才广播一个ARP请求包, 目标节点的物理地址. 特殊ARP也是一个 求包,但它解析的是自 理地址,即目标节点的I 是自身的IP地址.而且 定时间发出的,比如某1 网卡刚接入网络时. 难道节点不知道自 理地址吗?原来,特殊A 不是用来解析某个节点白 址,它有两个作用: (1)自己是新来的, 向网内广播自己的IP地妇 应的MAC地址,以避免i ARP请求包. (2)网内是 他节点使用和自己一样自 址.如果收到了一个A 答,则说明网内已有节 用和自己相同的IP地址. 读到这里,希望读 )ecialFeature特另IJ企划j责任编辑:张碧薇联系电话 白一点,在以太网内,某台主 机要发送一个数据包,这个 数据包实际上发送给了哪台主 机(或网卡)和目标IP地址无 关,而是和ARP缓存内的IP地 址对应的物理地址有关.当前 ARP病毒大行其道,实际上就 是通过在网络内发送一些欺骗 性的ARP包,欺骗主机达到目 的的. Hub和交换机 Hub~I]交换机都属于局域 网设备,从OSI七层互联模型上 看,Hub是物理层设备,交换 援嘲I网络揍入性舞 机是数据链路层设备. Hub可以等效为一段物理 网线,例如,用Hub连接的两 台主机,和用一根交叉双绞 线直接连接的两台主机,没 任何区别. 交换机相对复杂一些, 它的工作原理是,在内存中 维护一张表,表中记录的交 换机每个端口按了哪些主 机,即端口与主机物理地址 的映射表. 一 个交换机端口可以通 过Hub或其他交换机接多台 主机,因此端口和主机物理 地址的映射是一对多的关 系.这个表称为地址转发 表,转发数据帧时,根据目的 地址,查转发表后,决定将数 据帧发送到哪个交换机端口. 如表中未查到,则将数据帧发 送到所有交换机端口. 这个表是如何形成的呢? 在交换机刚初始化时,这张表 是空的,进入交换机的数据 帧,被发送到所有端口.但只 要有数据帧进入交换机,则根 据数据帧的源地址和进入的交 换机端口,得到主机物理地址 和交换机端口之间的关系,即 交换机通过检查进入数据帧的 源物理地址,逐步构造地址转 发表,根据数据帧的目的物理 地址和转发表内容,决定将数 据帧发到哪个端口. 注意:交换机地址转发表 不是固定的,而是随时根据实 际情况动态修改的. 网卡组技术架构 网卡组技术的实质是对多 个物理网络接口进行统一管 理,将多个物理接口虚拟成一 个逻辑网络接口.具体到服务 器网卡上,可以看作将多块网 卡虚拟为一块逻辑网卡.从属 性上看,虚拟逻辑网卡和物理 网卡无任何不同,也有自己的 物理地址和网络地址. 服务器使用逻辑网卡与外 部的主机通信.外部主机只能 看到服务器的逻辑网卡,至于 服务器具体的物理网卡个数, 物理地址等细节,外部主机是 不清楚的.网卡组逻辑结构如 图1所示. 无论是Intel还是Broadcom, 一 般都是在原有网卡驱动程序 基础上增加一个网卡组驱动程 序,由该驱动程序完成网长组 功能. 网络协议直接访问网卡组 驱动程序,网卡组驱动程序负 责完成负载均衡等功能.一般 地,网卡组驱动负责对组成 网卡组的各个物理网卡进行管 理,例如,活动探测,流量探 测等,并根据实际情况,实现 负载均衡和网卡容错功能. 图1逻辑结构图 交换机无关方式 交换机无关方式网卡组技 术,功能在服务器端实现,而对 于交换机端是完全透明的,即交 换机按正常的转发功能转发数据 包,无需做其他特殊配置. BroadCOm的Smart LoadBalancing(SLB, 智能负载均衡),Intel的 AdapterFaultTolerance (AFT,网容错), SwitchFaultTolerance (SFT,交换机容错)和 AdaptiveLoadBalancing (ALB,自适应负载均 衡),这几种网卡组技术, 都是交换机无关的. 1.SLB SLB是Braodcom网卡实 现的是一种网卡组方式,其 1.穗鎏|蠢j?|l一|鼍毫1.玺l|jj氇曩. 投稿信箱:zhbw@365master,com[特另U企划SpecialFeature 表1ARP缓存表 服务器s1客户端c1客户端C2 10.1.1.20022 10.1.1.1O0AA10.1.1.100BB lO.1.1.30033 中又有负载均衡+容错和容错两 种方式.后者只有容错方式而不 具备负载均衡功能,配置时可以 根据需要选择需要的组模式. 负载均衡分为发送数据均 衡和接收数据均衡技术.对于 发送数据负载均衡,是由服务 器网卡组驱动程序完成的.负 载均衡不是基于单个数据包 的,而是基于"应用流"的, 目的IP地址,目的端口号等信 息定义了一个"应用流".基 于"应用流"的负载均衡可以 避免同,应用的数据包通过不 同物理网卡传输时出现的乱序 问题. 服务器维护一张和负载均 衡信息有关的"哈希表".表 中记录了每个"流"应该从哪 个物理网卡发送出去. 注意:如果您不清楚什么 是哈希表,只需知道它是一种 保存数据的数据结构,数据 在其中的存贮位置,是通过 一 个被称为"哈希函数"的 公式计算出来的.这种数据 结构的最大优点就是查找数 据效率十分高. 网卡组形成的逻辑网卡 物理地址,是组中所有物理 网卡中的某一个的物理地 址.每块物理网卡发送数据 时,都必须使用自己的物理 地址.这样,交换机看到的 是不同的交换机端口,连接 了不同的主机(网卡).当 服务器接收到一个解析自己 il| 物理地址的ARP请求包时,回 应的物理地址是逻辑网卡的物 理地址,也就是组中某块网卡 的物理地址. 接收数据均衡是通过ARP 应答实现的.刚开始时,服务 器以逻辑网卡的物理地址应答 ARP请求,这样,所有的接收 数据均从组中的某一块网卡中 流入.当需要做负载均衡时, 服务器会根据来自不同客户端 的ARP请求,回应以组中不 同网卡的物理地址,以此实现 流人数据在不同网卡上的均衡 分布.和发送数据负载均衡一 样,系统同样建立,维护一个 接收数据均衡信息哈希表. 一 个特殊的情况是,当服 务器发送一个ARP请求时, 所有客户端据此请求包更新自 己的ARP缓存.这样会影响 到接收数据的均衡,因此,在 服务器均衡接收流量过程中, 客户端C1:客户端C2: P地址:10112lP地址:10113 网卡MAC:0022网卡MAC:0033 图2智能负载均衡模式 不仅仅是回答ARP请求时调 整应答的网卡物理地址,还要 根据不同的流量分布,根据系 统维护的哈希表信息,针对不 同的客户湍,发送特殊ARP (GratuitousARP),主动进 行调整. 在图2结构中,假定服务器 s1有两块网卡做了网卡组,如 何实现对网络内的两台客户端 Cl,C2做到发送和接收负载均 衡呢?例如,对客户端c1的收 发数据均通过网卡1,而对客户 端C2的收发数据,均通过网卡2 进行. 对于发送数据,服务器根 据不同的"应用流",将它 们分布到组中的不同网卡上 传输.而对于输入数据,则 通过控制ARP应答,最后 在三台主机上形成的ARP 缓存,如表1所示,简单起 见,用四位十六进制数字表 示物理地址. 注意,客户端C1,C2 解析到的服务器10.1.1. 1的物理地址分别是OOAA 和OOBB,是服务器网卡1 和网卡2的地址,这样,就 实现了服务器接收不同客户 端的数据负载均衡. 甏|鬈誊囊j|i誊|鼍 z|;鬻|j0 ?l0_?t_t镬薯曩||穗基臻蕾e ;cialFeature特另U企划]责任编辑:张碧薇联系电话:01o一88559431 Z.AFI AFT(AdapterFault Tolerance,网卡容错)是 Intel网卡实现的一种网卡组 方式,一个组中最多可以有 八块网卡. 组中的网卡有三种状态: Active(活动),Standby(备 份);~[1Disable(不可用).初 始化时,网卡组驱动程序根据 网卡性能(例如速度,支持的 双工模式等),择优挑选一块 网卡作为"活动"网卡,其余 网卡被置为"备份"状态.如 果某块网卡出现故障,则其状 船网络接入性麓 态被设置为"不可用". 正常情况下,组中"活 动"网卡负责数据的收发工 作,"活动"网卡的MAC地址 作为服务器的对外物理地址. 一 旦检测到"活动"网卡出现 故障,则"备份"网卡开始作 为"活动"网卡使用. 性能高的"活动"网卡可 以设置为"优先级"高的网 卡."优先级"高的网卡往发 生故障被替换后,一旦故障恢 复,可以重新切换为"活动" 网卡. 为减少应用中断时间, "备份"网卡变为"活动" 后,仍然使用原来的MAC地 图3以太网通道通常用于 增加交换机之间的带宽 址.切换发生后,客户端无需 做任何动作.对交换机来说, 相当于服务器从一个交换机端 口换接到了另外一个端口. 3.SFT SFT(SwitchFault Tolerant,交换机容错)是 Intel网卡实现的另一种网卡组 方式.这种模式只能支持两块 网卡,分别接不同的交换机, 主要实现交换机容错功能. 交换机容错是指当交换机 出现断电,宕机等故障时,保 证服务器网络接入不间断的容 错技术.和AFT类似,两块网 卡一块工作在"活动"状态, 一 块工作在"备份"状态. 因为要实现服务器接入交 换机冗余,因此服务器必须要 连接两台不同的交换机,且两 台交换机之间要互联.一般 地,局域网交换机之间都采用 冗余连接,为避免交换机环 路,需要启用sTP协议.但服 务器网卡连接的交换机端口不 要启用STP.因为STP协议会 延迟交换机端口工作状态转换 时间,在组中网卡切换时延时 过大,而导致网络应用中断 (技术资料如此介绍,与实际 应用测试时有出入,后文会有 交代). "备份"网卡变为"活 动"后,仍然使用原来的MAC 地址.切换发生后,客户端无 需做任何动作.对交换机来 说,相当于服务器从一个交换 机换接到了另外一个交换机. 4.ALB ALB(AdaptiveLoad Balancing,自适应负载均 衡)是Intel网卡提供的一种 网卡组方式,其实现原理和 Braodcom网卡的SLB模式 大同小异,这里不再赘述. 交换机相关模式 顾名思义,交换机相关 模式就是交换机端与服务器 端一起参与网卡组操作.此 种模式BraodCO1TI的有静态 中继(GenericTrunking) 和LinkAggregation(动 态链路聚合).Intel有静 态链路聚合(StaticLink Aggregation,SLA)和动态 链路聚合(DYnamiCLink Aggregation,DLA). 名字尽管不一样,其实也 就两类:静态和动态.它们之 间惟一的区别就是组中的交换 机端口(或网卡)是手工配置 的还是自动配置.这些技术最 早应用与交换机之间的链路聚 合,例如,为扩展交换机之间 的带宽,常见的Cisco快速以 太网通道(FEC),千兆以太 网通道(GEc)等技术(如 图3).这些都需要在链路连 接的两端交换机上配置,后来 Cisco开发了一种用于交换机 端口自动聚合的协议PAgP, 启用了PAgP的端口可以与对 端自行协商,自动聚合端口, 动态管理参与聚合的端口. PAgP是Cisco私有协议,而 LACP则是实现类似功能的标 准协议,也就是IEEE802.3ad . 这类模式的网卡组技术实 际上是用软件将服务器端多块 网卡,模拟为一【下转第39页】 辅疆曙釜州州a毽艘Imll|-蘸t*il1蘩?|鼍薯: 投稿信箱:zhbw@365master.corn _|l—___l [特别企划SpecialFeature 网卡组配置实例 wlz~d ,@' 图4安装网卡驱动 图5配置网卡组 下面,我们将以Intel的 IntelPro1000PT服务器 网卡为例,配置服务器网 卡组. 首先安装随卡提供的 网卡驱动程序,如果没有 驱动,可以到Intel的网站 下载网卡的驱动程序.目 前,该网卡最新的驱动程 序为PRO2KXP—vl3—1—2. exe. 安装网卡驱动 1.直接双击驱动程序, 执行解压缩后,出现如图4 的画面. 2.点击"下一步" 后,出现程序维护界面, 在这里可以进行修改,修 复或删除程序操作.再 【上接第38页】 台交换机的多个端口.在交换 机看来,服务器就是一台支持 链路聚合协议的交换机. 1.静态链路聚合 静态链路聚合是将交换机 上的端口手工配置为一个聚合 链路,例如FEC或GEC.这 种模式即可实现出,入负载均 衡,又可以实现网卡容错.在 交换机端,所有聚合端口被视 为一个逻辑端口,出流量可以 按预先配置的模式,均匀地分 布到各实际物理端口上.因 此,交换机端负责服务器人流 所有网卡使用一个MAc 地址,任何一块物理网卡的损 坏,除了分布在该网卡上的网 络连接会出现短暂中断外,无 其他影响. 2.动态链路聚合 除了生成链路聚合的方式 是自动进行外,其他同静态 链路聚合.另外,动态链路 聚合是依靠协议进行链路聚 合管理,因此和静态链路聚 合比较,会产生一定的资源 开销. 无论动态还是静态链路聚 合,交换机端所有参与聚合 量的负载均衡,服务器端仍然的端口,必须在同一交换机 Se WWW.securecomputing.com.cn (800)8197287(SCUR) 应用曩I膏火? S?eIrmwail (Sidewinder) Web2.0嘲关 SecureWeb (Webwasher) ?件两关 SecureMall (IronMail) ?髑队证 SecureSafeword www.securecomputing.com.on J800)8197287《SCUR)