上海电信宽带CDN总体建议方案上海方案网络上海电信CDN宽带网络网络方案电信CDNCDN建议CDN方案

上海电信宽带CDN总体建议上海方案网络上海电信CDN宽带网络网络方案电信CDNCDN建议CDN方案 CDN 上海电信宽带网络流媒体应用平台方案 目 录 1 概况.......................................................................................................................... 1 1.1 CDN概念 .......................................................................................................... 1 1.2 NETAPP公司介绍 ............................................................................................... 2 1.3 方案特点简介..................................................................................................... 4 2 系统需求................................................................................................................... 8 2.1 最终目标............................................................................................................ 8 2.2 CDN要素要求 ................................................................................................... 8 2.3 工程目的............................................................................................................ 9 3 原理................................................................................................................. 10 3.1 CACHE技术和流的处理 .................................................................................... 10 3.2 CACHE LOAD BALANCE技术 ...............................................................................11 3.3 CACHE FAIL OVER.............................................................................................. 12 3.4 分层的NETCACHE结构 .................................................................................... 13 3.5 CDN结构 ........................................................................................................ 14 3.6 强大的内容过滤和用户访问控制....................................................................... 16 4 解决方案................................................................................................................. 17 4.1 NETCACHE产品选型 ......................................................................................... 17 4.2 CDN产品配臵 ................................................................................................. 18 19 4.3 全网方案设计...................................................................................................4.4 系统配臵组成................................................................................................... 21 4.5 内容报告机制和LOG文件的处理及控制 ........................................................... 22 4.6 NETCACHE刷新机制 ......................................................................................... 24 4.7 内容和网络管理 ............................................................................................... 25 4.8 流媒体发布平台的价值..................................................................................... 28 5 方案特点................................................................................................................. 32 5.1 智能化多级分布式结构..................................................................................... 32 5.2 超大容量.......................................................................................................... 32 5.3 高吞吐量.......................................................................................................... 32 5.4 高命中率.......................................................................................................... 32 5.5 高效性 ............................................................................................................. 33 5.6 多内容 ............................................................................................................. 33 5.7 增值服务.......................................................................................................... 33 5.8 高安全性.......................................................................................................... 33 5.9 简单管理.......................................................................................................... 33 5.10 丰富的管理特性............................................................................................ 33 5.11 CDN平台集成方案 .......................................................................................... 34 6 客户名单..................................................................................... 错误～未定义书签。 1 上海电信宽带网络流媒体应用平台方案 1 概况 1.1 CDN概念 大量的网络内容～ 在现有的网络环境下如何才能到达内容消费者～ 形成广大的接受面, 增加服务的总容量～提高网络应用的容灾和可靠性～减少带宽、服务器的开销～更重要的是可以对内容的部署和利用提供了手段～为以后各种增值业务建立开放的平台～ 是多媒体内容发布面临的挑战。 NetApp的CDN方案就是针对这种情况～其中CACHE应用已经不再简单地为了解决带宽问题～ CDN是一个有机结合的软硬件系统～ 解决内容存储～移动～消费过程中的一系列问题～ 同时为用户提供一种开放的增值业务平台.。包括内容的存储管理平台～内容发布的控制软件～增值服务的开放体系结构～各种系统的管理和报告工具～全系列的Cache 平台。 Cache技术是基于这样一个事实:用户访问Internet的数据中～ 有很大一部分是重复的～ 包括访问同样的网站、下载相同的软件。通过使用Cache技术～ 可以在本地保存、缓存用户访问过的Web页面和对象～这样对相同对象的访问就无需再占用主干的出口带宽。同时～由于用户对远端服务器的请求可以由本地的Cache立即响应～因此可以极大的提高用户访问的响应速度。 但是～ 这种用户拉的方式～ 缺乏对内容的有效控制～ 基于每台Cache的预取策略～ 无法对全网内容进行管理～ 资源投入盲目～ Cache无法单独有效地解决在内容发布中的许多问题～ NetApp提供了一整套完整的内容存储、管理、移动、统计、部署的CDN业务的极为重要的功能～例如丰富的媒体类型、内容的控制和完备的网络管理和内容报告。使用户更有效地利用网络带宽～开展增值业务。 1 上海电信宽带网络流媒体应用平台方案 Network Appliance公司在Internet领域占有主导地位～致力于Internet内容发布的结构设计～与其他一些伙伴共同创立ICAP～提供将内容从核心发布到边缘的解决方案。该方案已经在众多电信和ISP公司CDN平台实施～例如BT、Cable&Wireless、France Telecom 、Deuch Telecom等。 我们推荐使用Network Appliance公司的旗舰产品NetCache来构筑多媒体通信网网络 内容发布系统。原因有: , Network Appliance 公司在行业的领导地位～以及完备的结构方案和经 验, , 丰富的功能和经过验证的性能, , CDN的成功案例 , 具有极佳性价比的产品。 1.2 NetApp公司介绍 Network Appliance是提供网络数据高端存储和高速缓存设备的专业公司～ 其业绩高速发展～是美国E百强里增长第4快的企业。公司是网络数据存储解决 2 上海电信宽带网络流媒体应用平台方案 方案的市场领导者～其网络文件服务器 ,FILER,及网络缓存解决方案,NetCache,提供高效、简捷、可靠的数据 存取 。 自1992年成立至今～全球已安装了超过20000台～连续8年以每年营业额和利润翻番的速度高速增长。其销售和 利润增长率均位居全美高科技企业前列; 为NASDAQ上市公司～ 其股票列为 NASDAQ 100和华尔街普尔500成分指标股(NTAP); 1999～2000连续两年被财富杂志评为全美最快成长公司第四位; 被商业周刊杂志评为99年全美最佳业绩公司第19位 ～1999～2000年连续两年名列高速增长公司前100位(20th/00) 其数据高端存储设备FILER占据NAS存储市场的61%～全球最大的10家ICP有9家用其存储管理内容～处于绝对优势地位, 其高速缓存设备NETCACHE占2000年CACHE市场的41%～全球最大的10家国家级电信～有九家用其加速用户访问～处于市场领先位臵, Network Appliance Inc公司 美国Santa Clara～ 加州 92年NASDAQ上市 年增长幅度100% 已代替ASCEND位臵成为SP500指标股 公司产品 网络数据存储设备 Filer 网络缓冲存储器 Net Cache 内容发布解决方案 特点 设备专门化以达到高性能、高效、易用、 可扩展、安全、利于业务增值 3 上海电信宽带网络流媒体应用平台方案 市场地位 NAS、WEB CACHE、CDN市场领导者 用户 AOL、Yahoo、Hong Kong Telecom、BT、 UUNET、Telstra Internet等 1.3 方案特点简介 , 方案成熟:NetApp的方案有许多的成功应用案例～如BT、Deutch Telecom、Cable and Wireless、HK Telecom等～他们都成功实施了在宽 带接入上的Real、MMS流～ 并且与各家的L4交换机配合。 , 方案完整:CDN的各个模块都已成功应用于众多大型用用户～所有产 品都已经经过考验。为目前的应用和今后的发展提供广阔的前景。 , 优秀的性价比:NetCache的Appliance架构使其具有的流处理能力远远 领先～C6100比与其性能最接近的其余厂商的产品性能高5倍～每兆流 所需要的投资最经济。 , 部署方便、扩展能力强:易于安装、设臵～统一网管～可以迅速实施～ 极大减低了网络的维护工作。 , 更安全:真正完全的Appliance架构～固化的TCP/IP堆栈～ 不受与操 作系统相关的安全漏洞的影响 1.4 建议可以开展的业务 通过流媒体发布平台～可以开展多种业务～我们建议以下一些业务～供上海电信结合自身情况开展: 内容的虚拟托管 面向对象:内容供应商、CDN伙伴、企业、IDC 4 上海电信宽带网络流媒体应用平台方案 业务模型:对方需要在上海发布内容～开发上海地区用户～将内容发布到CDN平台～按不同的服务级别进行收费。 服务级别:内容种类和数量 内容消费数量,存储容量、发布流量、突发带宽、注册用户数、总消费流量等, 按CDN提供的权限,可以自定义发布策略、使用指定的分级策略, 增值服务,内容报告、用户类型等报告, 为用户提供的价值:用户无需在本地和上海部署额外设备～无需固定的网络连接～可立刻开展上海的服务～无市场和投资风险,无人使用～则无需过高支出,～更高的伸缩性、可用性和服务质量。 开展服务的难易:NetApp提供完整方案～可以立刻开展业务 内容代理和辛迪加 面向对象:需要内容的各种机构～如城域网、小区、企业和需要特定内容的机构 业务模型:转卖内容～扩大CDN的外延～利用汇聚的内容开展业务。对于某些特定的具有用户的内容～取得上海地区的专营权～进行收费。 流媒体服务注册 面向对象:CDN覆盖范围的用户 业务模型:用户注册开通CDN的流媒体服务。注册费,根据服务级别,～内容费,按时间、站点类型、使用量、增值服务,～此业务不同于用户对特定内容或站点的注册。 服务级别:WEB～128K以下流免费 按速率、内容分级收费 按个性化程度收费 5 上海电信宽带网络流媒体应用平台方案 为用户提供价值:不通过CDN节点～用户无法得到服务质量保证～无法获得特定的内容 开展服务的难易:可立刻开展,NetCache提供基于协议、访问内容的认证～如～128k以下无需认证～用户通过CDN访问特定内容或使用特定协议必须先经过NetCache认证～NetCache的认证方式支持批发给企业等集团用户～ContentReporter可以提供各种所需报表～生成计费文件利用Potal计费～提供个性化所需的数据, 广告插入 面向对象:广告公司、中介、内容供应商 业务模式:利用CDN产生额外的广告位臵,新增窗口、水印、栏位、片段,～替换原来广告位臵,需取得内容供应商同意～或由广告公司统一安排～避免版权纠纷,～插入广告。 业务举例:CDN与DoubleClick签约～将广告位臵交给其经营～按点击数量分成～DoubleClick通过其广告服务器～根据访问者的特点,Profile,插入定向广告。同时CDN采用ZACK公司的软件～为当地ISP插入台标～同时根据用户访问内容和用户类型插入相应内容,用户访问www.netapp.com～打开窗口提供NetApp的股票价格～各大证券公司的分析报告等,。 业务开展难易:DoubleClick、Adforce等支持ICAP～技术实施较易～基本业务可较快实施～但个性化服务需要业务设计和软件支持。 内容过滤 面向对象:需要特别内容级别的用户。如学校、企业等 业务模式:为用户提供内容的深度过滤～防止有害的内容～黄色、反动、有安全问题的ActiveX～病毒等从CDN传入用户。收取附加费～可选。 业务开展难易:可迅速开展～WebWasher(西门子子公司～在法国电信与NetCache一起部署)提供有害内容的过滤～NetCache提供Smartfilter的过滤工具,各种有 6 上海电信宽带网络流媒体应用平台方案 害站点目录,～支持用户设定需阻挡的站点。Trend、NAI提供支持ICAP的反病毒工具。 内容适应 面向对象:各类特殊终端上网接入商。特殊语言支持,为无英文基础用户提供语言翻译, 业务模式:为无线接入商,手机、PDA,提供广泛的内容～按内容访问量收取费用。 业务开展难易:可以方便开展～NetApp在美国利用ICAP为Palm.Net～Motorala提供无线上网。 其他 ICAP为上海电信提供了强大的分布应用开发平台和控制点～上海电信可以根据需要设计各种应用。NetApp可以提供支持。 7 上海电信宽带网络流媒体应用平台方案 2 系统需求 2.1 最终目标 上海宽带信息源能力建设工程的主要内容是:建立1,核心节点,+7,区域节点,的宽带信息源服务架构,建立基于中、低速的流媒体平台～充分利用现有的高速流媒体平台,在流平台上开发基于多媒体的网上教育、网上游戏、网上证券、多媒体消息中心、视频商业应用和互动媒体点播等功能。建设1+8的宽带信息源节点目的是满足向18万宽带用户提供信息源服务的要求。 随着宽带用户数的增长～将按照2+9+N的方案进行扩容～确保支持50万宽带用户的需要。 2.2 CDN要素要求 , Scalability and Availability 系统的扩充性和可用性～内容容量的扩充～性能的扩充～覆盖地域的扩充～ 应用程序种类扩充～增值业务扩充～各个部件的可用性～系统的单点故障～ 故障的恢复速度 , Quality of service 高质量的边缘发布～减少流量突发 , Content type support 发布内容的种类～http～stream～any file～dynamic obj , Manageability Appliance结构～安全性～设备一致度～安装～变动～升级～监控工具～内 容感知～业务使能 , Easy of use 界面～工作流～系统集成度 , Cost 8 上海电信宽带网络流媒体应用平台方案 每兆流的价格 , Reporting 全网内容的统计报告～基于domain的分析～分布的结构～对计费的支持 , Viability 技术的创新能力～方案的生命力～业界的影响力 2.3 工程目的 建设的目标是配合L4交换机和路由器等宽带网络设备采用分布式的流平台服务结构～建立基于内容的CDN分发及管理系统～提供基于内容的智能CACHE服务～提供流媒体的CACHE及代理服务能力。 CDN控制中心 CDN 管理统计分析工作站内容分发管理控制器 中心区/内容源 CLIENTIP网络 内容服务器 CLIENTCACHE服务器Ethernet内容服务器 CACHE内容服务器 控制链路 内容服务器内容服务器 内容分发CACHE点 流媒体应用平台系统结构参考示意图 9 上海电信宽带网络流媒体应用平台方案 3 设计原理 3.1 Cache技术和流的处理 Cache的部署可以作加速部署～或者透明Cache方式。 作为一个采用Web Cache技术加速用户访问速度的系统～用户应当感觉不到NetCache设备的存在～应当不用对PC的软件及设臵作任何修改。 Acceleration Deployments ,NetCache will handle more connections and much higher throughput than a single general purpose web server. ,Multiple load-balanced web servers can be replaced by fewer NetCache machines. www.x.comwww-origin.x.com NetCacheOriginAcceleratorServer 加速模式的部署如上图所示～站点x的域名www.x.com设在加速器上～用户的访问被定向到了Cache上～Cache把相关服务器上的内容返还给用户。这种方式又称为反向Proxy。一台NetCache可以对多个站点进行加速～分布的Cache通过第四层集线器网络的配合～形成分布的站点加速。 Transparent Cache可以是基于第四层交换技术来实现的～与传统的第二、三层交换技术相比～第四层交换技术不但可以实现基于MAC地址和IP地址的交换～还可以实现基于第四层TCP/UDP Port的交换～也就是说～第四层交换机不但可以根据MAC地址和IP地址区分数据来源～还可以根据TCP/UDP Port区分数据类型,HTTP、NNTP～STREAM～FTP etc,。 10 上海电信宽带网络流媒体应用平台方案 例如～通常HTTP请求的TCP/UDP端口号为80～第四层交换机可据此区分HTTP和非HTTP数据,同样可以根据需要区分NNTP、Real、MMS的各种数据,～对于HTTP数据～第四层交换机将其转发到NetCache,对于非HTTP数据～第四层交换机可以象一个普通的路由器工作,或让非HTTP数据透明穿过交 Internet non web traffic Router non-cached web data L4 SwitchNetCacheHTTP web data HTTP 换机,。 采用Transparent Cache技术～NetCache被隐藏在第四层交换机之后～用户感觉不到NetCache的存在～也不用在浏览器上作任何设臵～使网络有了更好的安全性和易管理性,同时由于第四层交换机的存在～可以很容易的实现Fail Over、Cache Cluster等功能。 流媒体的播放是通过约定的第4层端口号～ 例如～ Real8利用RTSP～端口号是554. 可以利用第4层交换机透明转发用户的请求到Cache～ NetCache将流播放给用户～ 并对记费～认证等控制信息透明. NetCache一般利用TCP连接从服务器获得流数据～ 或者接受下推来的流文件～并按照合适的方式进行存储～ 以便存取～ 在网络中提供高质量的回放效果. 支持MMS～ REAL～QUICKTIME.。 3.2 Cache Load Balance技术 在单台NetCache不足以负担业务时～可以使用多台NetCache。多台NetCache间可以使用ICP协议协同工作,ICP效率较低不建议采用,～或使用第 11 上海电信宽带网络流媒体应用平台方案 四层交换技术实现多台Cache间的负载均衡。 第四层交换机可以将用户的请求按一定的,循环、比例、最小连接、Hash算法、源/目的地址等,分配给NetCache Server Farm中的NetCache。通过使用第四层交换机提供的Cache Load Balance技术～可以使多个NetCache协同工作～增加处理能力。多个NetCache对外只有一个虚拟的IP地址～当某调整内部NetCache的IP地址时不会对网络服务造成任何影响。 采用Cache Load Balance技术～可以使网络具有良好的可扩展性～在网络规模迅速扩大的今天～是服务供应商一个良好的选择。 SDSDSDNetApp F630NetApp F630NetApp F630RECEIVESTART UPPOWERRECEIVESTART UPPOWERRECEIVESTART UPPOWERBACK UPBACK UPBACK UPNetworkApplianceNetworkApplianceNetworkApplianceNetCache SDServer Load Balancer(SLB) HTTP 同时～第4层交换机具有广域负载均衡功能～在异地的CACHE可以由此形成广域的群集～进行负载均衡。 3.3 Cache Fail Over 利用第四层交换机的特性～可以实现NetCache的Fail Over。 , 当只有一台NetCache时 当NetCache停止服务时～第四层交换机将HTTP的请求直接发送给路由器。 , 当多台NetCache做Server Load Balance时 当部分NetCache停止服务时～第四层交换机将本应由其承担的负载分配到其他NetCache上～当所有NetCache停止服务时～第四层交换机将HTTP的请求 12 上海电信宽带网络流媒体应用平台方案 直接发送给路由器。 注意:通过在第四层交换机中设臵NetCache的最大连接数～可以防止NetCache过载～超出的请求将被直接送往路由器。 3.4 分层的NetCache结构 随着用户数量的增加～网络规模的扩大～可以在网络的不同层次部署NetCache。既可以部署在POP出口的路由器处～也可以部署在诸如RAS、Broadband RAS等处。对于主干的出口处～根据带宽流量的要求～可以部署Cache Cluster。 INTERNET SDSDNetApp F630NetApp F630RECEIVESTART UPPOWERRECEIVESTART UPPOWERBACK UPBACK UPNetworkApplianceNetworkAppliance SDRouter RouterRouterRouter SDSDSD SDSDSDNetApp F630NetApp F630NetApp F630RECEIVESTART UPPOWERRECEIVESTART UPPOWERRECEIVESTART UPPOWERBACK UPBACK UPBACK UPNetworkApplianceNetworkApplianceNetworkApplianceNetworkNetworkNetwork 各个NetCache间既可以独立工作～也可以根据网络实际结构确定不同的层次、级别～协同工作～可采用工作形式如下: , NetCache间相互独立工作～在NetCache上不用设定父子或主从关系, , 在子NetCache上设定其Parent NetCache的IP地址～有多个Parent NetCache时可以设定多个IP地址～子NetCache会自动的实现对Parent NetCache访问的负载均衡。,如果在多个Parent NetCache前使用了第四 层交换机～可以在子NetCache上设定一个IP地址对应多个Parent NetCache的虚拟IP地址～由第四层交换机实现Parent NetCache的负载 均衡, 13 上海电信宽带网络流媒体应用平台方案 3.5 CDN结构 CDN应用面临的挑战包括～QoS、多样的媒体类型支持、流量爆炸成长、增值服务、内容的管理和控制。NetApp提供端到端的解决方案～帮助用户面对这些挑战。 1. 高度可扩的多协议存储 2. 集成的智能内容管理 3. 高质量的多媒体边缘发布系统 4. 与优秀的业务伙伴一起提供增值服务 5. 集中的服务和系统管理 1. 从CDN的数据中心或者其他内容伙伴将内容传送至发布层Staging Server～内容的所有者利用NetApp的Content Director软件～以各种方 14 上海电信宽带网络流媒体应用平台方案 式,FTP等,～将需要发布的内容推到CDN的主要数据中心～除了内 容本身～Content Director还支持传送“Meta-Data”～例如～内容的生存 时间～具有锁定内容的能力～以及送出数据的时间和时段。 2. 从发布层将数据传送至边缘Cache上～利用Content Director自动发现 位于CDN自有网络以及合作伙伴网络上的进行发布的Cache～也可以 手工设臵。建立Cache的逻辑分组～提供不同的服务级别～并使各个内 容客户具有虚拟的自己的CDN。CDN利用Cache Director为位于发布 层的内容设定发布作业和策略～如时程、数量等。Content Director将内 容,流文件、WEB文件等,线速送至Cache～并在传送结束时进行验 证。Content Director通过email向管理员报告传送状态。CDN利用中 心的数据为内容客户提供灾难恢复服务～增加营收。 3. 建立一个能识别内容的网络～将数据流导向正确的Cache.。在Cache 外围部署GSLB网络～实现智能路由和透明访问。利用Content Director 与这些交换机交换数据～使其知道Cache中的内容～将无和约的,或无 关的,内容请求旁路到原始服务器。见下图。 4. 对传输的内容进行分析和服务。利用NetApp的Content Report软件～ 对从各个Cache中传来的LOG进行分析和服务。LOG可以进行取样或 进行完整的分析。Content Reporter可以配合第三方的服务软件定制 LOG。 5. 对部署的Cache进行统一管理～除了利用NetApp的多Cache管理工具～ 可以将Appliance Watch,基于SNMP MIB,集成进CDN的现有的网络 管理平台～例如Openview或Tivoli～对全网设备进行统一的监控和管 理。 6. 除了内容发布～还可从其他内容服务创造更多的营收。利用ICAP提供 本地广告插入、内容翻译等。 15 上海电信宽带网络流媒体应用平台方案 3.6 强大的内容过滤和用户访问控制 NetCache具有内在的过滤引擎～与一般Cache运行过滤软件工具相比～具有卓越的性能～ 用户可以自己定义需要过滤的站点。 NetCache5.0支持LDAP、Radius和NTLM的认证方式～NetCache也可以根据自身的用户数据库进行访问控制～支持强大的ACL功能～支持针对流的ACL～ 例如～可以控制用户只能访问某一速率以下的流服务～ 可以设定用户只能在某些时段进行访问。 16 上海电信宽带网络流媒体应用平台方案 4 解决方案 4.1 NetCache产品选型 解决方案由8个服务点部署的Cache C6100～以及核心站点的Content Reporter～Content Director组成。方案中也会涉及L4交换机的支持～我们支持主流的L4交换机。 容量估算: 假设18万用户10%的峰值并发量～每个用户平均访问流量512kbps,ADSL为1Mb以下～LAN等宽带用户带宽可能会较高,、 总服务容量=并发用户数X平均带宽=18000X512k=9Gb。 选型和配臵: 每台C6100支持1Gbps的实时流～600Mbps的VOD～,参考ZD的公开测试结果,。方案建议C6100的数量为8台。配合server～为全网提供相应的服务能力。每台C6100的配臵为: 一个Intel 733M Copper Mine CPU～可以扩充到2个。 3 GB ECC Memory、128M NVRAM 4个36GB FC_AL 10000RPM 磁盘～进行RAID～提供3X36GB=108GB的容量。 2块1000BASE-SX网络卡～支持TRUNK和JUMBO FRAME～最多可以支持5个千兆口或21个10/100兆以太网口。 NetCache 5.1版软件 RTSP LICENSE ～对RTSP支持的许可 MMS LICENSE～对微软支持的许可 用于ContentDirector和 ContentReporter 的许可～配臵了这些许可NetCache 17 上海电信宽带网络流媒体应用平台方案 可以成为CDN的有机组成部分。 Streaming Capacity of Cache Vender in HKT Bakeoff 2000/11/23 NC $121 / MbpsCF $589 / MbpsTCS $987 / Mbps 660 700 600 500 400Mbps120300 57200 100 0NetCache 6100Cacheflow 6285Inktomi Sun3500 4.2 CDN产品配臵 作为CDN中心控制的核心软件为ContentDirector～控制内容、发布方式、发布地点等。CD有三个组成部分～核心控制软件、Cache组领导,Group Leader,和控制界面。组领导是CD和NetCache之间的传令官～控制界面通过CD的JAVA虚拟机工作～可以安装在网络的任何地方。建议CD安装在一台Sun Ultra 5工作站～Solaris 2.7～256M RAM～18GB Disk。GroupLeader和控制界面建议也安装在该机。 与CD关系密切的是StagingServer～Staging Server实际上是一个存储池～内容供应者将其内容出版到这里～该存储可以是任何CD可以访问到的逻辑盘、网络文件系统等。CD需要的另一块存储为WorkSpace～保存CD内容发布过程数 18 上海电信宽带网络流媒体应用平台方案 据～如Shadow文件～CheckPoint等～WoekSpace应大于发布作业的内容的容量。 ContentReporter是内容报告工具～提供内容消费情况和网络使用情况～提供机费数据。CDN计费所基于的大量LOG信息都会传给CR～建议配臵与CD同样的机型。 ApplianceWatch是所有NetApp设备的基于OpenView的管理工具～可运行于现有的OpenView平台上。 4.3 全网方案设计 Data Center ContentPullMedia ServeSnap MirrorStorager Web Servewww.ICP1.comr Database ContentPushContentwww.ICP2.comPushStagingContentServerPushEdge Delivery ContentPush Enterprise Content DirectorLog RetrieveFrom Every Cache Content Reporter Appliance WatchStorage SecondaryData Center 流媒体平台全网工作拓扑图 Content Director的workspace可以是本地或者网络磁盘文件～ CD自动识别需要发布的内容～以及内容的变动情况～ Content Reporter所收集和处理后的数据也需要在集中存储中加以规划。 在8个节点～各配臵一台C6100～C6100配臵与主站点相同的域名～作加 19 上海电信宽带网络流媒体应用平台方案 速器部署,同时这些L4交换机与主站点的DNS服务器形成广域负载均衡网络～智能路由用户的请求～Cache与主站为接入用户提供服务～L4交换机通过千兆以太网TRUNK或者千兆网与Cache相连,NetCache可提供10/100/1000端口～与4层交换机相连～每台C6100提供622Mb的流媒体VOD能力和155Mb的HTTP能力。 L4交换机配臵Transparent Cache、Global Cache Load Balance及Cache Fail Over的功能。 NetCache具有强大的分层部署能力～ 利用NetCache的分层～ 可以方便地扩充服务范围和能力～ 今后在小区或学校～ 部署C1105～可以支持160Mbps流～存储72GB的流.由于其Appliance的结构特点～其低端产品也具有前大的流加速能力。 L4 Switch 除了实现上述功能外～ 还可以作为防火墙使用～ 设臵ACL～ 对用户进行2、3、4、7层 ,URL级,的访问控制,还可以在L4 Switch 上设臵 ACL～只将访问需要被Cache网站的数据转发到NetCache。如果L4集线器支持基于URL的交换～可以直接将无关内容旁路。 Content Reporter 和Content Director运行在中心的SUN工作站上～将内容发布到各个Cache上～报告内容使用情况。 各个需要进行发布的ICP将内容Publish到Staging Server～ Staging Server 是任何Content Director 可以访问到的本地或网络硬盘～CD将内容发布到有关的Cache上～CD根据内容的变化～将变化部分更新到Cache,NetCache具有RAID和热后备磁盘保护～确保内容的完整～任何一个硬盘故障都无需重新传送数据。Content Director保存内容的Shadow和各个作业的Checkpoint～以便迅速同步Cache上的内容组。 用户访问被定向到“邻近”的Cache～Cache代替服务器相应用户请求～如Cache中无用户访问的内容～Cache替用户到父一级Cache或服务器取得内容后相应用户。 Content Reporter 从Cache中取得LOG～基于域对全网进行内容和网络报告～结果可以直接输出到计费工具。 20 上海电信宽带网络流媒体应用平台方案 4.4 系统配臵组成 在数据中心的部署: 配臵8台Cache C6100。 核心节点流媒体平台拓扑图 在POP点的部署: 每个POP点配臵Cache C6100一台。 21 上海电信宽带网络流媒体应用平台方案 POP节点流媒体平台拓扑图 4.5 内容报告机制和Log文件的处理及控制 Content Reporter提供对全网的内容和运行状况的详细报告～收集数据～同时生成计费所需的数据～NetCache可以对流经的数据进行记录～生成log文件～包括: , Messages log , Cache access log , Referrer log , NNTP access log , NNTP trace log , Streaming access log , Streaming detailed log 例如～Cache access log中详细的记录了用户访问的数据～可以通过 第三方 22 上海电信宽带网络流媒体应用平台方案 提供的分析软件对其进行分析～生成相应的访问统计数据或图表。 , Current time (in seconds and milliseconds) , Elapsed time (in milliseconds) the transaction took to complete , Client (IP address or host name) , Transaction type (see "Transaction types") , Reply code , Object size (in bytes) , Method (GET～ PUT～ POST～ and so on) , URL , User name (uses "-" if the user name is unknown) , Hierarchy code , Server IP address～ if any～ from which the URL was fetched , Content type (from the MIME header) , Note Log文件的大小可以定义～但每个Log文件最大不超过2GB～当Log文件 达到设定尺寸时～会自动PUSH到指定的FTP服务器或在NetCache内部保存～ NetCache可以保存10个log文件～旧文件将会被新文件覆盖。Log文件还可以 stream到Content Report以支持实时统计。 利用Content Reporter软件～可以实时生成各种报表和直接用于计费的数据～ 提供丰富的内容报告和统计～具有强大的分析功能。提供全网基于域的分析统计。 23 上海电信宽带网络流媒体应用平台方案 4.6 NetCache刷新机制 Content Director使得CDN可以定义内容的有效期～ 控制内容在网络上的生存期. NetCache根据对象的属性进行操作～例如～No Cache～ Cache live time等～ 并可以对某些内容,Jpeg～ Gif等,进行强制Cache。 对于没有生存时间指示的目标～NetCache不进行CACHE工作～或为其设定动态自适应的生存时间TTL生存周期。对于有TTL生存周期的objects～NetCache根据其TTL生存周期决定objects是否expire,对于没有TTL生存周期的objects～NetCache根据算法决定objects是否expire。 对于expire的objects～NetCache并不对其进行立即删除或更新～当用户访问expire的objects时～NetCache向objects的originating Web server查询objects是否被修改～如被修改～NetCache将objects更新～如没有修改～NetCache只修改 24 上海电信宽带网络流媒体应用平台方案 objects的cache timestamp～ 无需重取。Content Director具有Cache内容的同步功能～自动将内容刷新。 NetCache的刷新可以最大地节省网络带宽～增加用户的服务质量。 4.7 内容和网络管理 Content Director和Content Reporter提供对内容的控制～ 管理和报告功能～并且和所有主要的内容管理软件进行合作。 CDN基于工作流的功能部件有: , WHO (Users)用户 首先在系统内定义用户。通过建立/更新 user profiles。 系统有 2类用户: Administrators & Users.。对 Content Director的访问通过user向 console的登录控制。 Administrators 可以访问修改所有已定义的 configuration. Users 可以访问修改他们建立的 configuration (jobs).user有自己的网络视图。如果我们为yahoo broadcast发布内容～我们可以设立user yahoo～yahoo可以自己进行发布工作～我们可以根据yahoo的使用量和服务级别进行收费。 , What～ Where～ & When (Jobs) 第二步定义发布什么内容～ 什么时候发布.。通过定义job进行。 job 是一个内容发布事件的完整描述。一个 job 可以部署一个文件到一台Cache～ 或几千个文件到几百台Cache。 job name首先被定义。如果已有其他的 jobs 被定义～～可以 import 它的定义 。job 里最重要的是它的 policy～它定义了何时何地等内容分发的高层参数。 要分发的内容在Content Tab 里定义～ 定义内容分发任务的内容源和目的地. 例如 ～ source 可以是一个 local staging directory～ destination可以是一个cache 或cache组 (又称为 Content Group)。 , filter 25 上海电信宽带网络流媒体应用平台方案 Filter可以帮助用户决定从内容发布作业里过滤掉某些类型数据。例如～ 用户可以决定不发布特定的数据文件～如avi文件. 最后在schedule里定义 where 和 when 发布内容。schedule 定义发布内容的频率。通过scheduler 可以定时自动发布～ 选择在在网络流量最少时预载内容以节省带宽。 , How (Policies) policy 是用户确定的一些原则～ 可以被一个或多个job使用. policy 定义 job如何被执行. 一些重要的项目有: , Contacts: Email job执行状态的联络人列表. 执行状态: 例如 job顺 利完成。 , Retries: 确定job失败前的 job 重试次数。 , Security: 定义job的安全级别～ encryption～ verification。 , Cache: 描述Cache对待该内容的方式。失效期～ Max Age～Min Age。 并且指定内容锁定在Cache里的时间长短。 , Where (Network) Network Area 提供了图形化的content distribution network拓扑。定义cache的逻辑组,content group,。 另外还有: , Network Segments::定义 caches 和 group leaders 所在的网络。 , Destination servers (caches):定义 caches 和响应的 group leader。 , Hosted sites:定义源和目的的路径。 NetApp提供基于WEB的对全网设备进行管理的工具和GUI管理工具。 NetApp还提供两种基于SNMP的网络管理方式～一种是独立的Cache Manager～一种是基于HP OpenView的Appliance Watch。由于网络规模较大～分布较广～一次建议采用基于HP OpenView的Appliance Watch对NetCache进行集中管理。 26 上海电信宽带网络流媒体应用平台方案 Appliance Watch for HP OpenView可以实现如下功能: , 自动发现NetApp系统 , 给出适当的图示 , 检测系统的健康程度 , 通过Cache Manager?基于web的管理工具管理NetApp Caches , 通过NetCache (监控、配臵和维护) 基于web的管理工具配臵NetCache NetCache MIB站针对流媒体的一些信息: , 同时连接到服务器的TCP/IP数量 , 同时连接到客户端的TCP/IP数量 , 针对流请求的带宽情况 27 上海电信宽带网络流媒体应用平台方案 , 针对流请求的包响应情况 , 针对流请求的最后点击情况 , 针对流请求的最后失败情况 , 发送到客户端的流字节总计情况 , 从客户端接收的流字节总计情况 , 发送到服务器的流字节总计情况 , 从服务器接收的流字节总计情况 , 发送到客户端的流代理字节总计情况 , 从客户端接收的流代理字节总计情况 , 发送到服务器的流代理字节总计情况 , 从服务器接收的流代理字节总计情况 4.8 流媒体发布平台的价值 流媒体发布平台的潜在用户包括: , 内容所有者 需要内容推广～按注册或者pay-per-view收费。希望提高QoS和受众。 , 内容门户 需要为内容供应商提供SLA～同时提高用户访问质量。 , 企业 通过快速获得内容提高生产效率和满意程度 , IDC等 提供HOST用户SLA～提高用户内容的发布～扩展营收 , 其他CDN 需要通过结盟最大化内容的发布～增加用户的覆盖 28 上海电信宽带网络流媒体应用平台方案 , 内容消费者 提供多媒体服务～提供快速、可靠的内容供应～分层的服务级别。 采用发布平台的方式～即通过CDN网络在靠近用户的地点～通过高性价比的NetCache,将内容供应给用户的方式～为ISP增加了边缘发布的质量～为内容供应者提供了发布～为企业提供特定的内容～为最终用户提供高质量的上网经验。总之～为CDN用户带来以下价值: , 提高用户的流媒体和其他内容的使用质量 , 通过边缘发布保证内容的可用性～从而保障服务级别,Service Level Agreement, , 企业用户通过流媒体提高培训、沟通的效率～降低成本 , web 内容个性化～提供增值服务 , 提高 ECommerce 能力 , 提供过载保护和伸缩性 , 为规划和推广业务提供报告和管理 营收项目与收费模式参考: 29 上海电信宽带网络流媒体应用平台方案 Payment MetricType(per month) Tiered Content Distribution/Management - basic HTTP cachingpeak $/Mbps delivered - Advanced distribution/management$/MB distributed + peak $/Mbps delivered Syndication and Distribution$/MB (Customer: access provider)(pay more for regional exclusivity)$ per viewer (Customer: access provider)Pure Streaming - Live (tiered pricing for # simultaneous streams and encoding$ per stream rates) - On-demand$ / MB - Storage$ / MB Payment Metric Type(per month) Enterprise Services: Internal Training & Communications$/Mbps + distribution services External CommunicationsBasic monthly fee or $ / Webhosting and Site replication - site distribution/replication service$/ MB stored Reporting & Analysis (Tiered) - Basic usage data (e.g., total pages/streams/Mbps)Free - Traffic patterns (e.g., bandwidth/times/domain)$/Report or Subscription fee - Customized profiling $$/Report or Subscription fee 30 上海电信宽带网络流媒体应用平台方案 TypePayment Metric (per month) Content Adaptation Services Ad insertion - personlization $ per 1,000 impressions + $ per click - banner adsthrough - streaming ads$ per stream Wireless Adaptation$ MB + adaptation services Security and Scanning$ MB scanned Language Translation$ MB translated 通过ICAP, 英特网内容适应协议～流媒体平台可以提供多种增值服务～其优点是开放性、扩充能力。当用户访问的内容到达NetCache, NetCache会将需要进行修改、定制的数据对象～通过ICAP转发到相应的应用服务器～服务器处理后交还NetCache～再返回给用户～以后的请求～NetCache将直接把处理过的内容交回用户～无需再次处理。利用这一技术～可以在通用平台上开发分布的增值业务～其实质相当于Internet的远程过程调用～将原来需要在Server上进行的处理工作转移到靠近用户的Cache上进行。NetApp和Akamai是这一协议的创始人～获得业界广泛的支持～如ADFORCE、DOUBLECLICK、ENGAGE等广告软件、服务公司～NAI、TREND公司的反病毒支持～Liobridge的语言翻译支持～SpyGlass的无线支持,Palm.net的移动上网,。 以ADFORCE的广告插入为例～NetCache将用户对象转到支持ICAP的广告服务器进行处理～如果～有广告其TAG的广告～ADFORCE将直接插入～如果页面上没有广告位臵～可以新开窗口进行插入。,对原页面的任何修改避免版权问题,。 ZACK的应用程序可以插入相应的“水印”～类似于电视台标。ENGAGE的应用可以提供类似于非线性编辑式的流媒体广告插入。 31 上海电信宽带网络流媒体应用平台方案 5 方案特点 5.1 智能化多级分布式结构 Group Leader管理Cache组～分层控制和处理～Cache逻辑分组～Cache的自动发现～Multi-Cache管理～统一的网络管理～可以大规模部署。 5.2 超大容量 宽带服务流媒体内容是主导～ 流媒体对象比较大～ 所以NetCache提供2TB的存储容量～ 用户可以用文件方式将流文件Push到Netcache～进一步节省广域带宽并且提高边缘播放质量. 具有完整的内容发布工具和内容报告工具～ 使发布工作自动化～ 提供各种内容合作和批发业务模式。 5.3 高吞吐量 NetCache 6100可以达到155Mbps的HTTP处理能力～655Mbps的流处理能力。 NetCache3100 可以达到 90Mbps的HTTP 处理能力～330Mbps的流处理能力。 以上HTTP指标基于PolyGragh3标准～流处理能力之VOD能力～用户可以进行相应比较。 5.4 高命中率 NetCache具有极大的存储扩充能力～C6100可以扩充到2TB。 NetCache具有完备、灵活的Cache规则～可以对许多动态对象Cache。 NetCache可以进行内容的锁定、根据各种规则预取各种内容。 NetCache可以支持通过各种策略进行内容的部署。 32 上海电信宽带网络流媒体应用平台方案 5.5 高效性 流数据在分发时采用Multicast方式～从服务器或Cache到另一个代理Cache之间～同样的流数据只会传递一次～代理Cache再把该流数据复制到它的多个下级Cache。这样可以节约主干网络的带宽资源。 NetCache是Appliance结构～可以提供卓越的性价比。 5.6 多内容 与存储结合发布广泛的内容～文件、数据库等～可以以FTP～HTTP形式发布内容～在最低端的产品上具有完整的功能,流、FTP的透明发布,～可对内容的控制信息进行调整。 5.7 增值服务 是ICAP的创始者～提供开放的增值架构～业务类型有大量的实施案例～如:Palm上网～反病毒～广告插入等。 5.8 高安全性 具有ACL～SSL远程控制～内容过滤引擎等安全机制。支持iCAP过滤和病毒检测。支持NTLM～LDAP～RADIUS认证体系。 5.9 简单管理 整个体系结构提供简单的管理模式～降低管理成本。Content Director控制什么内容、什么时候、什么方式传送到哪里～给谁使用,Content Reporter提供综合的监控和记费手段～多个Cache的统计分析～报表生成。 5.10 丰富的管理特性 NetCache处理相对底层的数据发送～ 其协议相对较稳定～ 认证信息等由服 33 上海电信宽带网络流媒体应用平台方案 务器操作～形成开放的认证记费结构～例如～Real7升级到Real8～ 采用Real Proxy方式时～需要同时升级Proxy～而NetCache则无需任何变动.。 NetCache支持ICAP(Internet内容适应协议)～ 用户可以在标准平台上开发出各种增值业务. 其结构开放～ 升级能力强。 Content Reporter提供基于整个域的强大的LOG统计分析和报告～ 其结果可以直接输出到Potal等计费工具～ 或者输出到ODBC。 5.11 CDN平台集成方案 NetApp不仅提供强大的智能Cache系统～还提供强劲的存储系统系列产品。两者结合可以发挥NetApp的CDN解决方案的优势。利用该架构～可以随时将服务外延到全国各地～可以与各内容制作者开展多种业务合作。 34 上海电信宽带网络流媒体应用平台方案 35