凌华科技aTCA-6200服务器刀片完美搭配Intel DPDK技术 显著提升包转发服务性能

凌华科技aTCA-6200服务器刀片完美搭配Intel DPDK技术 显著提升包转发服务性能 前言 近年～着市场和技场的场展～越越多的场基场架场始向基于通用场算平台或模场化场算平台的架方 向融合～用以支持和提供多场的场场来随来网构构网 元和富的功能～如场用场理、控制场理、包场理、信场理等。除了场场成本和场短场品上市场场之外～在机架式系场和不 同尺寸的场场场上～此架丰号网构 场可以提供模场化架的活性以及需而定的系场场件立升场能力。在场场的场架中～交场模场场理构灵随独网构 场～场理器模场提供场用场和控制场功能～包场理模场用于据平面～数DSP模场提供定制化的信场功能。通场使用号Development Kit～Intel ?数据平面场场套件,,基于Intel x86?架的场理器模场不场可以场场场场的场理场用和控制功能～场可以场场智能和高效的包场理构 场白皮场以IP场场作场包场理的一典型示例～场明了如何凌场科技个将aTCA-6200刀片式服场器与Intel DPDK?能～场场包场理服场性能的提升。首先～我场比场在有使用并来没Intel DPDK?做任何场化场～采用原生 的第三场场场性能。然后～我场再采用Intel DPDK?技场之后所场得的IP场场性能提升的原因。最后～我场介场凌场科技基于将自己的场场工具包～场工具包可以场助用场场松地场场自己的基于Intel DPDK?的场用程序。 凌场科技aTCA-6200 凌场科技aTCA-6200是一款高集成度的AdvancedTCA场理器刀片～支持2个Intel Xeon E5-2648L??一场理器可以最多提供个8核20MB的共享场存。通场使用Intel?超场程技场;Intel HT?技场,～每场理器可以最多支持个aTCA-6200场支持8通道的DDR3-1600 VLP RDIMM存～每场理器可以支持最大内个64GB的系场存。内口～包含2兼容个PICMG 3.1 option 1/9的10GbE口;XAUI～10GBase-KX4,～以及最多6个10/100/1000BASE-T 场场接至前面板～AdvancedTCA Base接口通道和后走场千兆以太口。网 凌场科技aTCA-6200场理器刀片主要场场场商场场的安全和场信场用～同场在场基场场施中也可作场运网IMS服场器、媒场、包场场服场器、流量管理服场器体网和WLAN接入点控制器等。 下场1的功能示意场展示了凌场科技aTCA-6200的场场架。构 场1,aTCA-6200功能示意场 Intel DPDK Intel DPDK?;Intel Data Plane Development Kit?～Intel ?数个据平面场场套件,是一场场Intel?架场理器提供的场量场行场境。提供了低功耗构运它和Run-to-Completion(RTC～行到完成运)模式～以此最大限度的提升据包的场理性能。而且数Intel DPDK?用场提供富的场场～例如我场熟知的场境抽象场;丰EAL～Environment Abstraction Layer,,场场初始化和分配低场场源～同场场藏自场用和函场的场它来数境特性～且场取低场场源～如存空场～并内PCI场场～定场器和控制台。 场境抽象场;EAL,提供场化的场场模式场场(PMD～Poll Mode Driver)～存和场存管理～定场器～场场和包场理内 作系场提供。场使场用场场的相互场作更加便利～场境抽象场;EAL,场准的与GNU C Library(GLIBC)一起～提供集成了更高场场场用的完整 下场2场场件场场场场。构 场 2:在Linux场用场境中的EAL和GLIBC 场场拓扑构场场 场了场量aTCA-6200在第三场场行场理和场场IP包的速度～我场使用场3中所示的场境场行场场。 场3, IP场场场场场境 如场3所示～片凌场科技两aTCA-3400交场刀片～通场使用FASTPATH场场件～场安在凌场科技网装aTCA-850510GbE Fabric和1GbE Base接口通道提供了无阻碍的互场交场～支持全;并网Full-Mesh,拓扑构场。因此～每场个供至少一个Fabric和Base接口～用以场接到每场理器刀片～例如安在第个装5槽的aTCA-6200刀片 Lxia XM12场场系场～兼容RFC 2544场吐量基准～通常被用作场包据的模场器～用以场来数送不同场大小的秒场和场数吐量。 根据上场所示的场场场境拓扑构场场～aTCA-6200作场场理器刀片～包含了四个网两个来千兆以太口,自前面板; 通场aTCA-3400 Base交场场场的Base接口;Flow 3和Flow 4,。除了场4个1GbE的接口之外～aTCA-62003400交场板场至lxia XM12;Flow 5和Flow 6,。 在场场场配个置中～aTCA-6200作场被场场场;DUT,～场场接收来自lxia场场系场的IPv4据包～在第三场场理场数并数数装些据包;例如据包解封～场场校场和场场～路由场和据包找数装找将数封,～然后根据路由表场场果据包返回至lxia XM12。所有的六个双流向都是向的,例如～XM12通场1/2/3/4/5/6接口场送场据场数aTCA-6200～分场通场并1/2/3/4/5/6接口接收场据。数 场场方法 场了场估Intel DPDK如何在凌场科技aTCA-6200上场场包场场服场的提升～在下面的场场两个案例中我场使用了基于 在Native Linux下的性能 在场场场场境中～个aTCA-6200安了装64位Ubuntu Server 11.10。同目前Linux其他版本一场～IP场场功能默场是禁用的～需用启使用以下命令禁用ufw服场。 # sudo ufw disable # sysctl net.ipv4.ip_forward net.ipv4.ip_forward = 0 同上～将net.ipv4.ip_forward场置场0～前核配当内置下的IP场场功能将即启被禁用。但是通场以下命令可以立用, # sysctl -w net.ipv4.ip_forward = 1 or # echo 1 > /proc/sys/net/ipv4/ip_forward 如果在/etc/sysctl.conf中将net.ipv4.ip_forward场置场1～并启网重场服场～IP场场功能将启默场用～如下所示, #echo "net.ipv4.ip_forward = 1">/etc/sysctl.conf # /etc/init.d/network restart 使用Intel DPDK后的性能 Intel DPDK可以在不同的模式下行～如运裸机;Bare Metal,～场裸机场场;Bare Metal Run-Time,的Space,。在最初的场场场段～Linux用场空场;User Space,模式是最容易使用的～场参看Intel Data Plane Development Kit - Getting Started 中的相场描述。下场4描述了Intel DPDK在Linux用场空场;User Space,模式下的场场功能。 Guide for Linux。 场4,Intel DPDK 行在运Linux User Space模式下 如需在aTCA-6200场理器刀片中建立Intel DPDK～场在场核中场内参数置如下, •GLIBC >=2.7 启用HPET和HPET MMAP配置场场 # grep HPET /boot/config-`uname -r` CONFIG_HPET_TIMER=y CONFIG_HPET_EMULATE_RTC=y CONFIG_HPET=y CONFIG_HPET_MMAP=y •HUGETLBFS enabled: # mkdir /mnt/huge # mount -t hugetlbfs nodev /mnt/huge # echo 1024 > /sys/kernel/mm/hugepages/hugepages-\ 2048kB/nr_hugepages •内核场场程序加场(UIO), # sudo /sbin/modprobe uio # needed if uio is built as a module# sudo insmod <$RTE_HOME>/x86_64-default-linuxapp-\ gcc/kmod/igb_uio.ko 在场行Intel DPDK?目场场境后～IP场场场用就能场作场Linux用场空场;User Space,的场用被运参行。场场场考Getting Started Guide for Linux。 # ./build/l3fwd -c 0x1 -- -p=0xF --config="(0,0,0)" Notes: •"-c=0x1" means the CPU mask is 0x1, i.e. only the first CPU thread is used for this Layer 3 forwarding application •"-p=0xF" means the port mask is 0xF, i.e. only the first four Gigabit ports are initialized and used for this Layer 3 forwarding application •--config="(portid, queueid, coreid)" 场果 在原生 Linux;Native Linux,和Intel DPDK场不同的场境下场场了两aTCA-6200刀片之后～我场比场了来自Base接口,和2个10GbE Fabric端口在场场不同配两置下的IP场场性能。除此之外～我场场场场了同场使用当1GbE和2个10GbE,场～aTCA-6200的合并IPv4场场性能。 使用4个1GbE端口场的性能比场 场5, 使用4x 1GbE场IP场场能比场原生 Linux;Native Linux,用启IP场场功能～在并aTCA-6200的4个1GbE接口上行运IPv4场场～ 被场场。场大当小增加到1024字场场～原生 Linux;Native Linux,的IP场场可以到达100%的场率。但是在场场场境中～场大小通常小于此100%的场率是无法场场的。但是～在同场的 Linux操作系场下使用Intel DPDK?并运两个行在场有的场场场据～且数并没无场场大小如何场置～都有任何的场场场象场生～如上 面场5所示。 相比Native Linux的IP场场性能～使用了Intel DPDK之后的aTCA-6200可以场场性能提升将6倍。使用2个10GbE接口场的性能比场 场6,使用2x 10GbE场IP场场能比场 在2个10GbE Fabric接口上场行IP场场场场场～无场是在原生 Linux;Native Linux,下场是基于Intel DPDK?口场都有大的提升。如上场很6所示～相比原生 Linux;Native Linux,使用所有的CPU场程～采用了程就可以场得10倍性能的提升。 aTCA-6200全部的IPv4场场性能 场7: 使用2x 10GbE + 4x 1GbE场IP场场能比场 使用aTCA-6200全部的接口;2个10GbE Fabric接口～2个1GbE前置面板接口和2个1GbE BaseDPDK后的aTCA-6200每秒可以场场2700万个64字场的据场。场言之～理场上数24Gbps的据场数吐量有外～据场分场场当数128字场和256字场场～场吐量的场率可以提升到92.3%～甚至高达99%。 场言之～理场上24 Gbps的场吐量高达18 Gbps的可场场;场即率 75.3,,。此外～场即率的场吐量提高到置场128字场～256字场。 分析 相比原生 Linux;Native Linux,～采用Intel DPDK技场后能场大幅提升IP场性能的主要原因在于Intel DPDK 场场模式取代中 断 通常当数据包场入的场候～Native Linux场接口控制器;会从网NIC～Network Interface Controller,接收到中～然后场度场中～场所得的中断断断场行上下文切场～场并醒系场场用～如read;,和write;,。 相比之下～Intel DPDK采用了场化的场场模式场场;PMD～Poll Mode Driver,代替默场的以太场场程序～而可以不地接网从断数收据包～避免场件中～上下断从文切场和场醒系场场用～而大大的场省重要的CPU场源～且并降低了延场。 HugePage取代场场场 相比Native Linux的4kB 场～采用更大的场尺寸意味着可以场省场的场场场场～并减找少场场场场存;TLB～ Intel DPDK作场用场空场;User-space,场用行场～在自己的存空场中分配运内HugePage至存场场场～场冲区冲区冲区形和其他相场场～场些场是 由其他场用程序控制～甚至是Linux核。本白皮场内描述的场场中～场场1024@2MB的HugePage被保留用于行运 零拷场场冲区 在场场的据包场理场程中～原生 数Linux;Native Linux,解封包的场场～然后根据Socket ID据场制到用场空场;将数 空场;User Space,场用程序完成了据的场理～一数个write;,系场场用将并数内将数从被场醒把据送至核～场场据用场空场;核场～冲区装将数封包的场场～最后借助相场的物理端口据场出去。场然～原生 Linux;Native Linux,在核场和用场空场;内冲区 区很之场场行拷场场作～场牲了多的场场和场源。 相比之下～Intel DPDK?在自己保留的存内区数个区域接收据包～场域位于用场空场;User Space,场～之后冲区将数根据配置场场场些据包分场到每一个Flow中。在场理完解封包之后～在相同的用场空场;User Space,场中使用冲区确装数正的场场场行包封～最后通场相场的物理端口场送场些据Run-to-Completion(RTC～行到完成运)和Core Affinity 在场行场用之前～Intel DPDK?会内场行初始化～分配所有的低场场源～如存空场～PCI场场～定场器～控制台～场些场源将被保留且场用于那些基于Intel DPDK?的场用。初始化完成之后～每一核;或场程～个当BIOS场置中用了启Intel?超场程技场场,将启来个并被用场场每一场行场元～根据场场场用的 需求～行相同的或不同的工作场场。运 此外～Intel DPDK?场提供了一场方法～可以场即个运个置每场行场元行在每一核心上～以场持更多的Core Affinity场描述的场场中～aTCA-6200场理器刀片的物理端口根据Affinity被场定在不同的两个CPU场 程上。 无场场行和场存校准 Intel DPDK提供的场和API～被场化成无场～以防止多场程场用程序死场场象的场生。场于场、场冲区数构形和其他据场～ 行了场存校准～以到场存行;达Cache-Line,的效率最大化～同场最大限度减少场存行;Cache-Line,的冲突。 场场 通场场在凌场科技aTCA-6200的4个1GbE和2 个10GbE Fabric端口使用和不使用Intel DPDK?;场 在相同的硬件平台下～使用Intel DPDK?后的Linux场用两个CPU场程场行IP场场的性能～原生 与Linux 行IP场场的性能相比～前者是后者的10倍。 从场7中我场可以容很易的了解到～aTCA-6200采用Intel DPDK技场后的IPv4场场性能～可以场用场在迁从移包场理场用场;基于基于Intel x86的平台上,～场得更好的成本和性能场场。同场可以采用场一的平台部署不同的服场～如场用场理～控制场理和包场理服场。 但是～场得注意的是～Intel DPDK是一据场的场场工具包～在用场空场行～不是一用场可以个数并运它个直接建立场用程序的完整场品。需要特场指出的是～Intel DPDK?不包含需要控制场;包与内括核和场场堆场,场行交互的工具。 场8,凌场科技场场工具包控制场和据场场同工作的原理场与数 如场8所示～凌场科技已场场场出基于Intel DPDK的场场工具包～用以管理控制场和据场～如同控制场的数虚网卡克隆场一场场行任场～可以在场据场同数 步物理端口。使用场场场工具包～用场可以场松地场 场基于Intel DPDK?的场用～控制场和据场场行交互～不场可以有效提升包场理性能～场能场场场并与数 更场场～场短场品上市场场。 如需了解更多～场场场凌场科技market@adlinktech.com。 参考场料 •Intel Data Plane Development Kit So?ftware - Architecture Specification (Ref. No. 450255, Dec. 2010) •Intel Data Plane Development Kit - Gettin?g Started Guide for Linux (Ref. No. 450248, Dec. 2010) •Wind River White Paper: High-Performance Multi-Core Networking Software Design Options (Dec. 2011) 平台集成&场场部 嵌入式场算场品事场场 凌场科技 Jack Lin,平台集成&场场部 场理 Yunxia Guo, 场件系场工程场 Xiang Li, 场件系场工程场 相场文章场场推荐, 网场机场盒什场牌子好