Aspera 速铂高性能海量数据传输技术
www.tao8go.com
Aspera 速铂高性能海量数据传输解决
概述
TMAspera速铂的核心技术fasp是一种全新的
软件技术。它彻底克服了传统数据传输软件
例如FTP, HTTP以及Windows CIFS中的固
有瓶颈,实现了在各种共享和私有网络环境
中传输速度的最大化。这种技术可以获得完
美的传输效率,不为网络延迟和丢包所限
制。并且,用户享有对传输速度以及不同传
输流之间带宽共享的无以伦比的控制。不管
网络距离和动态性能如何,即便是在最困难
的网络条件下(例如卫星,无线和洲际远程
图1:图示为在OC-3(155Mbps)链接上用TCP传输链接),文件传输时间仍然可以得到保障。单个大文件的性能。显而易见,TCP传输吞吐量随传输FASP具有内置的,完整的安全性,包括连接延时和网络丢包率的增加而迅速减小。 节点安全验证,传输中数据加密以及数据完 整性验证。 应用而言,它们无一不受以下几个方面的限 制: 高速文件传输的挑战
, 速率缓慢以及带宽利用率低下 和传统的基于磁带的邮件递送相比,通过数
字化网络传输来实现海量数据的递送具有经基于TCP的文件传输带宽利用率极低。在济高效的特点。在理想情况下,数据文件可局域和校园网这些延迟和丢包率都较小的以通过现有应用程序例如FTP文件传输,环境中(10微秒/0.1%),TCP在千兆网上HTTP网上递送以及Windows CIFS拷贝实现的最大吞吐率仅为50Mbps。当在广域网上在全世界范围内IP网络间快速,经济的传传输时,这个问题变得更加突出。在典型输。但是,在实际网络中,传统的手段无一的洲际网络或卫星链接上,传输吞吐率可不陷入传输速度的瓶颈中,以至于甚至无法能仅为已有带宽的百分之0.1到1。 利用已有网络带宽的一小部分。这是由于这
些应用都基于同一种传输
--TCP。 有时网络工程师试图通过调整TCP协议栈
参数,部署TCP加速装置或采用并行TCP传输控制协议(TCP)有一个根本的速度瓶颈;的方法以求获得更高带宽利用率。但是这这个瓶颈随着传输延迟和网络丢包率的增加些方法仅仅在网路本身条件较好的情况下而变得愈发明显。速度瓶颈的形成和TCP控有效。当网络信道本身的丢包率较大时,制数据流量速率的机制密切相关。TCP发送由于TCP无法有效区分拥塞引起的和信道端需要得到数据接收端收到每个数据包的确本身差错引起的丢包,其吞吐量仍然将会认消息才向网络中注入新的数据。但是由此很低。例如在卫星和无线网中,传输速率产生的传输速率的增加却随传输延迟的增加往往极低以至于文件根本无法传完。 而减小。当遇到丢包时,TCP简单的认为所
有丢包都是因为网络拥塞造成的,而无法区, 传输速率不稳定
分拥塞造成的丢包和信道本身差错造成的丢
如前所述,TCP采用一种基于丢包的速率包。在这种情况下,TCP就会迅速的减低自
控制机制。其依赖于丢包来实现减速而在身的传输速率。简而言之,TCP的传输速率
其他时候线性加速。当信道本身没有丢包在丢包时下降过多,而在正常情况时增加又
是,TCP只有短暂超出网络已有带宽以至太过缓慢,以至在高速广域网上无法充分利
产生丢包的情况下才能减速。这样的设计用已有带宽。对于所有基于TCP之上的传输
决定了即使在最理想的情况下,TCP也只
能在最优速率上下震荡。当网络加载负荷
变化时,TCP的传输速率也随之剧烈震
荡。某些TCP加速器可以使其速率在无错
的环境中更平滑,但是在有丢包的环境中
仍然无法避免震荡。
, 缺少安全性和可监控性
除了被TCP缓慢和不稳定的传输速率所限
制以外,传统的文件传输应用往往不具备
现代商业所必需的安全性和可管理性。例
TM如FTP没有内置的安全机制,往往需要额图2:图示为在OC-3(155Mbps)链接上用fasp传
外的机制来确保内容窃取和篡改。而且有输单个大文件的性能。相对于TCP而言,fasp的传输
吞吐量不受传输延时的影响,而只随网络丢包率的增关性能和传输的统计数据也常常无法得加而缓慢减小。 到。这对管理传输进程极为不利。 在传输大量小文件时速率也不稳定,而且速铂FASP解决方案 需要耗费大量系统资源。 速铂的文件传输产品线完全基于fasp高速传作为一种数据传输协议,fasp具有应用层传输协议。fasp是一种全新的应用层协议,特输的完全可靠性。fasp的可靠性设计是基于别为企业关键型文件传输所设计,可以满足一种负反馈的机制:接收端检测到丢包并其所需的高速度,可预测性和百分之百的安把需要重传的包信息反馈给发送端。通过全可靠性。fasp出众的性能对所有的网络传理论优化,fasp的重传机制只针对真正的丢输媒体皆适用。 包,没有冗余传输和带宽浪费。其重传效 率接近百分之一百。 , 高速可靠 正因为可以提供极高的下载速度,而且其和TCP吞吐率的特性相比,fasp的传输速速率稳定不随动态网络条件变化,fasp可以率完全不受网络延迟的影响,并且也对网很好的支持渐进式传输,例如在媒体播放络丢包有很好的鲁棒性。如图2所示,在器中播放一个远程媒体流。而对于其他基OC-3(155Mbps)网络链接上,fasp实现了于TCP的应用例如HTTP下载来说,如用传输速率的最大化,在某些情况下可以比于远程播放则通常起始缓慢,并且在播放TCP快千倍。其速率具有可预测性。例如过程中经常由于网络拥塞而造成图像抖动在10%的丢包情况下,fasp的吞吐率可以甚至是播放中断。 达到网络链接带宽的90%。在极端情况 下,fasp的吞吐率仅为终端系统的吞吐能力
(通常是磁盘读写吞吐率)所限制。
fasp是在用户数据报协议(UDP)之上开发的
应用层协议。和那些基于并行TCP的应用
不同,fasp在单个数据流上实现了速度最大
化。借助于革新性的文件流线化技术,fasp的传输速率在分发大批小文件时同样可以
得到保障。例如,在从美国到新西兰的 图3:fasp的文件流线化技术使高速传输大批量小文件OC-3链接上传输一千个2兆字节的小文成为可能。这幅图展示了洲际传输1000个未经归档的2件,传输速率同样可以接近155Mbps。所兆字节小文件的性能。传输速率完全平稳,在文件间没以fasp实现了在高速广域网上传输海量数有中断。 据(和文件大小无关)的传输速率最大 化。相反,并行TCP技术往往在有丢包的, 自适应速率控制
高速广域网上无法实现速率最大化,
如前所述,在超高速网络环境例如千兆网
中,速度瓶颈往往不在网络链路本身,而
在终端系统,尤其是存储设备的吞吐能
力。fasp自适应速率控制不仅可以自动发现
现有的网络带宽,而且也能对存储设备动
态吞吐率的作出理想的响应。当存储设备
设备成为瓶颈是,fasp可以自动减速以避免
其超速运转所造成的丢包以及其他负面影
响。当检测到存储设备不再繁忙时,fasp自
动提速以充分利用其数据吞吐能力。
可灵活设置的带宽策略 图4:一个fasp数据流和一个TCP数据流共享带宽。用户可以对每个fasp数据流获取带宽的能Fasp可以有效利用TCP所不能利用的带宽。 力进行设置。除了和其他数据流对等共享
带宽(如图4所示)外,fasp还支持其他带
宽共享机制。比如用户可以选定用固定速
率传输,从而使传输速率不受网络负荷的
变化而变化。这种策略通常在私有网络环
境中适用。此外,用户还可以选定后台传
输模式,从而在检测到TCP数据流后减到
最低速以便将所有带宽留给TCP数据流。
最后,用户还可以将某一些fasp数据流设
定成为高优先级的数据流;这些数据流在
和其他普通优先级的fasp数据流共享带宽
是会获得更高的传输速率。 图5:两个fasp数据流和两个TCP数据流共享带宽。 fasp可以实现和TCP之间的带宽公平共享 , 完整的安全机制 在理论上fasp没有速率上限,可以完全利fasp提供了完整的内置安全机制。fasp的安用任意速度网络的带宽。fasp采用和TCP全模式完全基于开放标准的密码体系,包完全不同的速率控制机制,从而实现带宽括了:1)通过标准安全外壳(SSH)对传利用的最大化以及和已有TCP数据流公平输终端进行验证;2)对传输中数据加以分享带宽。 128位强密码(AES-128)加密;3)对每
个数据块进行完整性验证以抵御象中间人有效而公平的自动速率控制 以及匿名UDP之类的恶意攻击。另外,在和TCP不同,fasp的速率控制是基于网络不同系统间进行fasp传输不会改变文件本中的排队延迟。和丢包相比,排队延迟是身的安全属性。引进以上安全机制对传输预测网络拥塞更快更有效的信号。当网络速率并没有削弱。在加密模式下,fasp可以没有负荷(检测不到排队延迟或排队延迟在个人笔记本上实现40-80Mbps的广域网很小)时,fasp可以迅速提速以充分利用带传输,在P4或单处理器上实现100-宽。当网络拥塞时,fasp可以迅速减速以获150Mbps的传输,在双核或双处理器工作得应有的带宽。fasp的这套速率控制机制还站上实现200-400Mbps的高速传输。 具有带宽共享的公平性。如图4所示,当
已有TCP数据流不能充分利用链路带宽FASP和FTP性能比较 时,fasp可以自动提速占据余下的带宽。当 链路因为有多个数据流存在而变得拥挤以下几幅图比较了fasp文件传输和FTP文件时,fasp数据流可以实现和TCP数据流等传输在典型网络条件下的吞吐率和所需时量公平共享链路带宽。 间。所有的fasp和TCP测试都是在Aspera的 实验室完成的。在每一个测试中,一个1GB响应终端速度瓶颈
1的文件在两台预装有fasp和FTP的测试机之
间互传。测试机的芯片为奔腾4,操作系统是
Debian Linux。在测试机之间,一台装有
NIST NET的工作站被用来模拟不同网络环
境,提供应有的传输延迟和丢包率。
, 千兆城域网和广域网 , 洲际网络传输 传统的基于TCP的文件传输技术譬如FTPfasp相对于FTP的速度优势在洲际远程网在遇到丢包的时候迅速减速,所以无法在络链接上也非常明显。在延迟150微秒丢高速网路链接上长期保持平稳的传输速包率2%的环境下,FTP的平均传输速度低度。例如,在城域网条件下,基于TCP的于700Kbps。而fasp始终保持着稳定的传文件传输的理论最大吞吐量大约是输速率。通过fasp,一个1千兆字节的大文50Mbps,无论链接带宽是多少。如图所件可以在10 Mbps的链接上用少于15分钟示,实际的FTP吞吐量更少只有22 的时间传完,实现9.9 Mbps的平均速度,Mbps。相比而言,单个fasp数据流在相同无论网络延迟有多大。如下图所示,在一的条件下可以获得100%的带宽利用率。在个45 Mbps的链接上,fasp的传输速率可以本图中,fasp数据流的吞吐率为509 达到44.3 Mbps,用3分多钟完成一个1GBMbps,接近了磁盘读写速度的极限。也许文件的传输。 更加重要的是,fasp在延迟和丢包率增加的
情况下仍然可以保持几乎相同的速度(在
200微秒2%丢包率下达到505 Mbps)。与
此同时FTP的吞吐率则减低到了
550Kbps。两者的传输速率差距达到了近千
倍。
, 高延迟卫星链路
卫星链路特有的高延迟和高丢包率对FTP
的传输性能有极大的影响,甚至使通过卫
星传输大量数据变得不切实际。而fasp的
传输速率则不为单个或一连串卫星链接所
带来的延迟和丢包而受影响。如下图所
, 跨洲网络传输 示,单个fasp数据流可以在45 Mbps的卫
星链路上实现接近百分百的带宽利用。即一个从洛杉矶至纽约(90微秒延迟)的使在超常的丢包率(20%)的条件下,其吞FTP文件传输在网路丢包较低(0.1%)的吐率仍可以接近40 Mbps.而FTP的传输吞时候可以实现5-6 Mbps的速率。但当丢包吐率一直在100 Kbps以下。 率增加到1%的时候,FTP的文件传输速率
减低到了1.4 Mbps。而Aspera速铂的fasp
的吞吐率在远程跨洲链路上也可以实现最
高的文件传输速率。在一个有90微秒延
迟,丢包率为1%,带宽为155 Mbps的跨
洲网络链接上,fasp的传输速率可以达到 154 Mbps,比FTP快100倍。在更典型的
45Mbps的跨洲链路上,fasp的传输速率仍
然比FTP快30倍左右。
1 在实际情况下,FTP的吞吐率在不同操作系统
不同版本的实现,以及不同丢包模式下略微有所不同。
但是它们的结果都比较相似。
fasp 高速传输协议
在不同网络距离种类和数据量下皆能实现速率的最大化
, 实现了在不同种类网络下端对端数据传输的速率最大化。传输速率不受传输距离和网络质量的影响。 , 传输大批小文件是的速率和传输单个大文件类似。
, 使用非常简便,无需专用设备或高性能硬件去保持很高的传输速率。
无以伦比的带宽控制
, 提供了精确的速率控制(预设或在运行中实时调整)以确保传输时间。
, 运用自适应带宽控制机制来充分利用空余带宽并且和其他数据流共享也有带宽。
, 提供快速的发掘机制可以测量任意发送接收端之间的瓶颈带宽。
, 可在运行中动态调整带宽共享的策略。用户可以根据自身所需预设或改变个体的传输速率和完成时间。 , 支持完美的渐进式传输,譬如网络媒体播放。传输速度不会因为拥塞和距离锐减,从而确保了对输入数据的迅捷而
平滑的处理。
完整的安全性
, 包括了完整的,内置的安全机制。开放标准的密码体系进行用户验证,数据加密和数据完整性检验。
100%软件产品
, 基于标准的IP网络协议开放的应用层协议和传输软件。不需要对传输端已有操作系统和驱动做任何改动。不需要额
外的设备,无需改变现有网络设置。
鲁棒性和可管理性
, 自动的断点续传和失败重传机制。
, 提供了端对端传输进程的
和详细的性能统计数据以便于监控和计费。同时提供了可定制的传输前和传输后事件
处理。
灵捷开放的架构
, 支持在所有主要操作系统之间的跨平台文件目录传输。提供可扩展的软件开放包(SDK),便于用户开发自有程序。