某市云计算视频云平台技术解决方案

XX市云计算中心视频云支撑平台 新媒体运营平台技术解决 2013年11月 目录 一、    项目概述    2 二、    项目背景及    3 三、    项目总体规划    4 (一)    技术平台方案    4 1    功能概要    4 2    总体拓扑    4 3    功能设计    6 3.1.内容采集及收录系统    6 3.2.在线视音频处理及管理系统    7 3.3.内容集成运营及管理系统    10 3.4.搜索引擎系统    13 3.5.用户管理及统一认证系统    14 3.6.技术运行及监控管理系统    15 3.7.基础运行及接入访问支撑系统    15 3.8.第三方系统对接系统    17 3.9.机柜及IDC相关资源    18 (二)    技术运行服务    19 一、 项目概述 本项目旨在通过一整套完备的视频云业务支撑平台的支撑，实现XX市云计算中心视频云支撑平台基于PC互联网及移动互联网业务产品的运行支撑，同时具备向更多终端和服务平台扩展的能力。传统媒体内容通过新媒体平台进行更加广泛和有效的传播，同时实现新媒体平台对传统媒体平台在内容、技术等全方面的反向辅助支撑，项目业务运行、运营具备通用的服务能力，具备面向基于视频业务的跨行业支撑服务能力。 XX市云计算中心视频云支撑平台新媒体业务方案项目主要包含了业务运营及技术支撑平台两大部分内容，业务运营主要是指产品策划设计、产品业务运行、技术运行支撑及业务运营等内容，技术支撑平台主要包括项目建设及日常运行所需的带宽、服务器等技术资源以及全面的平台系统，在完备的技术平台和技术资源的基础上，通过系统化的人员及等运营能力建设配备，实现从内容源采集、化处理、存储、产品化运营、多渠道发布的内容全流程运营，支撑起互联网、移动互联网、智能电视、以及传统媒体的全媒体形态覆盖。 项目建设分为技术系统建设和业务体系建设两大部分，由于项目涉及的相关资源及规划与业务的发展规模紧密相关，故项目在规划设计时充分考虑弹性可扩展，本次方案设计在支撑能力上的相关指标包括： 技术系统方面： （1） 具备最高10000人直播视频并发支撑能力（需对接CDN） （2） 具备每天10万视频浏览量（VV）的业务支撑能力 （3） 具备每天20万页面浏览量（PV）的业务支撑能力 （4） 具备20TB在线视频存储发布能力 （5） 具备同时20路文件视频并发转码能力； （6） 技术平台实现对网站及移动APP的全面支撑 二、 项目背景及分析 （一） 新媒体形态的快速发展 2013年1月15日，中国互联网络信息中心（CNNIC）在京发布了第31次《中国互联网络发展状况统计报告》，报告显示，截至2012年12月底，我国网民规模达到5.64亿，互联网普及率为42.1%；2012年我国手机网民数量为4.2亿，年增长率达18.1%；网民中使用手机上网的比例也继续提升，由69.3%上升至74.5%；家庭接入网络比例超九成；截至2012年12月底，我国微博用户规模为3.09亿，较2011年底增长了5873万，网民中的微博用户比例达到54.7%。 手机微博用户规模2.02亿，占所有微博用户的65.6%； 数据表明，手机、互联网已覆盖庞大的用户人群，已经成为广大用户获取信息和生活娱乐的重要平台，尤其在资讯等方面具备了比传统媒体更快更便捷更灵活等特点，成为获取资讯的主要途径。 （二） 传统媒体面临的挑战 随着以互联网为主要代表的新兴媒体的不断涌现和快速发展，内容的来源、形式、生产及传播也发生了翻天覆地的变化，用户获取内容的要求也不断提高，在广度上用户需要更加全面的内容，在精度上用户需要的是自己感兴趣的内容，在深度上用户需要更加有价值的内容，在速度上用户需要最快最及时的内容，在形式上内容已不仅仅是单条的文字、图文或者视频的资讯，而是更广泛意义上的内容，内容传播的途径、形态也成为内容的组成部分，用户获取内容渠道也从原先的报纸、杂志、广播、电视为主的传统媒体扩展到互联网、智能电视、智能手机等形式的新媒体形态，传统媒体与新媒体的并存融合形成了全媒体的全新格局。 三、 项目总体规划设计 (一) 技术平台方案 1 功能概要 新媒体运营支撑平台主要包括了以下内容： （1） 在线视音频处理及管理系统 （2） 视音频直播发布系统 （3） 内容集成运营及管理系统 （4） 搜索引擎系统 （5） 用户管理及统一认证系统 （6） 技术运行及监控管理系统 （7） 第三方系统集成对接系统 （8） 底层技术支撑平台 （9） IDC机房资源 通过以上技术及功能模块的无缝整合，实现从内容采集、标准化处理、存储、产品化运营、多渠道发布的内容全流程运营，平台同时支撑网站及APP产品，平台统一化。 2 总体拓扑 备注：绿色标注部分为需求方系统，非本项目内容 图：系统模块拓扑图 系统资源拓扑图（部分模块为选择性模块） 系统总体架构拓扑分为聚合云、存储云、集成云和分发云四大云服务逻辑系统组合，聚合云主要负责实现内容源的采集汇聚和标准化工作，存储云主要负责经过采集云标准化后的内容的存储及日常管理，集成云主要是用于对已位于存储云中的内容资源进行编辑、编排、组合处理，形成内容产品，内容产品的生产过程需要使用集成云中的数据分析系统进行决策，成品的内容产品及内容业务通过分发云到达涵盖电视、电脑、移动终端在内的全平台全终端。 3 功能设计 1. 3.1.内容采集及收录系统 内容采集系统： 作为一个需要为用户提供大量鲜活资讯信息的新媒体服务平台，内容来源不能完全依靠自身产出，那么一个能快速准确自动跟踪、采集数千家网络媒体信息，扩大新闻线索的采集组件就成为整个平台的不可或缺的组成部分。一个高效、稳定的采集系统应该具备如下功能： 1. 支持多种采集源头 a) 支持常规首页、栏目页、内容三页模式网站作为采集源 b) 支持单页模式的网站采集源头 c) 支持RSS、XML等形式的采集源头 d) 支持多级转向，多次跳转才能访问内容的网站作为采集源 e) 支持如新浪微博、腾讯微博等主流社区媒体的互动信息采集源 f) 支持需要代理穿越才能访问的采集源 2. 支持采集内容的过滤和替换 a) 支持常规的关键字过滤和替换 b) 支持中英文采集内容自动翻译 3. 支持采集图片及音视频属性的资源 a) 支持具备图片及音视频属性的地址识别及下载 b) 支持迅雷、快车、QQ旋风等专用格式的多媒体地址识别及下载 4. 支持面向接口的内容发布方式 a) 支持面向主流内容管理系统、论坛的内容发布 b) 支持扩展面向第三方自有系统的内容发布 5. 支持多种类型的采集模式 a) 支持用户手工控制的采集制式 b) 支持无人工干预的定时自动采集模式 硬件清单： 序号 所属系统 设备分类 设备名称 性能要求 数量 单位 1 内容采集及收录系统 服务器 互联网内容采集服务器 双路4核CPU/16G ECC内存/300G SAS*2/1TB SATA*2/ RAID卡支持/raid0,1,5,1+0,512Mcache/双电源/双千兆网口 2 台 2 服务器 收录管理服务器 双路4核CPU/16G ECC内存/300G SAS*2/1TB SATA*2/ RAID卡支持/raid0,1,5,1+0,512Mcache/双电源/双千兆网口 3 服务器 视频编码服务器 双路8核CPU/16G ECC内存/300G SAS*2/1TB SATA*2/ RAID卡支持/raid0,1,5,1+0,512Mcache/双电源/双千兆网口 4 台 4 服务器 采集及收录数据库服务器 双路4核CPU/32G ECC内存/300G SAS*2/1TB SATA*2/ RAID卡支持/raid0,1,5,1+0,512Mcache/双电源/双千兆网口 2 台 5 存储 收录视频存储 20TB可用容量，双控制器双活，双电源，24槽位 1 台 6 工作站 程序开发工作站 CPU: i7-4770 内存: 16 GB 1600 MHz DDR3 硬盘:128G SSD 3T SATA 显示器:24寸 LED 16:10 显卡:GTX680 2 GB GDDR5显存 2 台 7 工作站 视频编辑工作站 CPU:E5-1620 内存:16G 硬盘:128G SSD 2T SATA 显示器:24寸 LED 16:10 显卡:GTX760 2G显存 2 台                     3.2.在线视音频处理及管理系统 系统基于B/S架构的交互式设计，支持分布式管理方案及服务器集群，通过视频管理中心统一管理节目资源索引和用户数据，实现节目资源各服务器的共享和用户信息统一的管理。系统支持PC、手机、机顶盒等不同终端的发布，不同客户界面，统一后台管理。 系统设计遵循以下特性进行设计开发： 开放性：系统可通过横向增加转码机器 ，部署完成转码服务器相关配置后。该转码服务器可直接融入之前转码服务器集群以并行方式执行指令。 扩展性：系统转码集群部分服务器支持灵活增减，以满足变化的业务需求； 集群化：系统支持集群计算模式对于高密度的转码业务，用户可建立转码服务器集群来实现转码，系统支持自动为用户实现任务的调度和监控。 自动化：数字内容转码实现自动化，设置多监控文件夹进行不间断扫描，当出现新文件时，系统可根据相应设置的转码格式进行自动转码。自动转码生成的文件可与中央存储或FTP服务器对接实现自动提交。 多种预设格式：系统具备常用的多种预先转码设置，可根据需求调用，可使非转码专业人员无需复杂的转码参数设置即可使用。同时支持自定义设置，丰富的转码参数可调，以满足特定需求。 安全性：系统满足7x24小时不间断运行的能力，在主管理服务器或某节点故障时自动备援。转码信息生成详细记录，有迹可循。 监控和日志：可通过管理节点进行状态监控，提供监控日志以进行任务统计分析。 （1） 硬件方面 从配套硬件的选用到整个软件平台的搭建，流媒体系统均遵循保障安全性的设计原则。在硬件允许的情况下，支持关键机器、关键部件冗余，从故障板卡到备份板卡会自动切换；支持不同业务转发板的端口备份；从主用电源到备用电源自动切换，不会引起业务的中断；满配的设备冷启动后应该在30分钟内完全正常运作；在有冗余配置的情况下，从机箱中抽走控制板卡时及重新插入控制板卡时，设备能够继续转发流量，核心设备主要包括： l 转码服务器 用途：负责执行转码任务，每台转码服务器支持10路并发转码任务，负责按照转码配置将源视频转码成不同码流不同格式的视频文件。