多媒体视频信息处理

null第7章 多媒体视频信息处理 第7章 多媒体视频信息处理 7.1 视频基础知识 7.2 广播电视信号及其 7.3 数字电视 7.4 视频的数字化过程 7.5 数字视频处理系统 7.6 视频文件的类型7.1 视频基础知识7.1 视频基础知识7.1.1 视频的定义 视频（video）就其本质而言，实际上就是其内容随时间变化的一组动态图像，所以视频又叫作运动图像或活动图像。 从物理上来讲，视频信号是从动态的三维景物投影到视频摄像机图像平面上的一个二维图像序列，一个视频帧中任何—点的彩色位记录了在所观察的景物中一个特定的二维点所发出或反射的光。 从观察者的角度来讲，视频记录了从一个观测系统(人眼或摄像机)所观测的场景中的物体发射或反射的光的强度，一般地说，该强度在时间和空间上都有变化。 从数学角度描述，视频指随时间变化的图像，或称为时变图像。 null如图7-1所示,视频由一幅幅连续的图像帧序列构成，沿时间轴若一帧图像保持一个时间段t,利用人眼的视觉暂留作用，可形成连续运动图像（即视频）的感觉。图7-1 视频由连续的图像帧序列构成null7.1.2 视频的分类 1. 模拟视频 模拟视频的特点: 以模拟电信号的形式来记录 依靠模拟调幅的手段在空间传播 使用盒式磁带录像机将视频作为模拟信号存放在磁带上 2. 数字视频（Digital Video）null7.1.3 数字化视频的优点 1.适合于网络应用 2.再现性好 3.便于计算机编辑处理 7.1.4 视频信号与图像信号的差异 视频信号不同于图像信号，最重要的区别是视频信号有一个每秒数帧（从15帧／秒到60帧／秒之间）的帧速率指标，它提供了显示的信号中运动的影像。 第二个不同之处是帧的尺寸。 图像和视频之间的第三个不同之处在于，图像在压缩时主要考虑了帧内像素之间的相关性，而为视频设计压缩方法时利用了时域掩蔽，同时也利用了音频掩蔽的功能，并考虑了帧间画面的相关性。即在视频序列里更倾向于以一种可预测的模式运动。 7.2 广播电视信号及其标准7.2 广播电视信号及其标准7.2.1 电视信号的产生、传输和接收的过程图7-3 模拟彩色电视系统：视频产生、传输和接收的过程null7.2.2 广播电视信号制式 1.NTSC制：(频道带宽4MHz) 美国和日本、水平扫描线525行、30帧/秒、隔行扫描。 2.PAL制：(频道带宽8MHz) 中国和欧洲、水平扫描线625行、25帧/秒、隔行扫描。 3.SECAM： 法国、俄罗斯及几个东欧国家。 null7.2.3 电视视频信号的扫描方式 奇数场 偶数场 一帧 图7-4 隔行扫描方式中一帧由两个场组成null7.2.4 YUV与RGB彩色模型 1．YUV模型 图7-5 PAL彩色电视制式中 采用YUV模型来示彩色图像 亮度信号和色度信号相互独立，Y信号分量构成的黑白灰度图与用U、V信号构成的另外两幅 单色图是相互独立的，所以对这些单色图分别进行编码，容易使彩色电视系统与只对亮度敏感的黑白电视机亮度信号兼容。亮度信号色度信号null2．显示器产生颜色的原理 3．YUV与RGB彩色空间变换图7-6 CRT显示器采用RGB彩色模型 CRT（阴极射线管），CRT使用3个电子枪分别产生红、绿、蓝三种波长的光，并以相对强度轰击CRT的荧光屏涂层产生颜色。显示器采用RGB值来驱动，在显示前，把YUV彩色分量值转换成RGB。色彩变换空音有3种即YUV（PAL和SECAM）、YCrCb（计算机系统、DVD摄像机、数字电视等视频产品）、YIQ（NTSC）。null7.2.5 彩色电视的信号类型 1.高频或射频信号 2.复合视频信号图7-7 复合视频线及接口电视频道传送的电视信号主要包括亮度信号、色度信号、复步信号和伴音信号。信号通过 频域或时域分离，电视接收机接收高频电视信号还原成视频信号和低频伴音信号，在荧光屏重 现图像，在扬声器上重现伴音。右声道 左声道视频信号复合AV线采用与间响当当相同的 梅花形RCA端子null3.S－Video视频信号（二分量视频信号）图7-8 S-VIDEO视频线及接口在AV接口的基础上将亮度信号和色度信号分离开，再以不同的通道进行传输。但仍要将两路色差 信号（Cr、Cb）混合为一路色度信号C进行传输，在显示设备内解，会带来失真。null4.分量视频信号 a)色差分量视频线 b)分量视频信号接口 图7-9 分量视频信号线与接口近距离采用分量视频信号传输，分量信号指每个基色分量(YUV或RGB)独立的电视信号传输。 将S-Video传输的色度信号C分解为色差Cr和Cb，避免了两路色差信号混合解码并再次分离， 显示时经过解码电路就可以还原为RGC三原色信号并成像。忽略绿色差Cg，保留Y、Cr、Cb7.3 数字电视7.3 数字电视7.3.1 数字电视的特点及提供的服务 数字电视与原有的模拟电视相比，有如下主要优点： 1.电视画面质量得到大幅度提升图7-10 数字电视（左图）和 模拟电视（右图）的画面质量比较传输过程产生积累噪 音图像质量受到损伤。null2.更多的节目 3.更好的视听效果 4.交互性 5.数字化融合提供新增的服务 除数字化的音视频节目外，数字电视系统还可以广播其他任意数据，如与节目内容有关的附带信息、本地气象与交通信息等。各种各样的数据业务将大幅度扩展电视的信息服务能力。在数字化融合的时代，将会出现新的灵活的功能多样化的消费产品平台，它将优质的声音、视像体验与交互式的信息服务集于一身，使得数字电视成为人们从事娱乐、信息和通信活动的平台。 7.3.2 数字电视标准 基础、专项、扩展标准。7.4 视频的数字化过程7.4 视频的数字化过程7.4.1 视频信号的采样 1.对视频采样的基本要求 ①要满足采样定理 ②采样频率必须是行频的整数倍 ③要满足两种扫描制式 2.数字视频的采样格式 根据电视信号的特征，亮度信号的带宽是色度信号带宽的两倍。因此其数字化时对信号的色差分量的采样率低于对亮度分量的采样率。如果用Y：U：V来表示YUV三分量的采样比例，则数字视频的采样格式分别有4:1:1、4:2:2和4:4:4三种。空间连续坐标（x，y）的离散化叫作采样；f(x,y)颜色的离散化称为量化；两种离散化结合在一起叫做数字化； 离散化的结果称为数字视频。null3.采样格式图7-13 4:2:2采样格式示意人眼对颜色的敏感程度远不如对亮度信号那么灵敏，因此色度信号的采样频率可以比亮度 信号的采样频率低，建议采用4:2:2。色度信号取亮度信号采样频率的一半，减少数据量。null7.4.2 量化 7.4.3 视频压缩与编码技术标准 视频编码（视频压缩）是把数字视频流序列用更少的数据位进行存放的方法。大多数视频编码方法寻找空间和时间上的冗余来达到压缩的效果。从信息论的角度讲，信息压缩就是从时间域、空间域两方面去除冗余信息，将可推知的确定信息去掉。在时间域中，连续几帧的视频通常有很强的相关性，特别是当时域采样率是非常高的时候尤其如此；在空间域中，通常像素采样点之间是相互关联的（相邻象素之间的值很相近）。事实上，视频编码技术正是基于这个理论，将视频分成帧内编码和帧间编码，前者用于去掉图像的空间冗余信息，后者用于去除图像的时间冗余信息。7.5 数字视频处理系统7.5 数字视频处理系统7.5.1 数字视频处理系统的组成图7-14 数字视频处理系统的组成null7.5.2 视频采集卡的工作原理图7-15 视频卡的工作原理图7.6 视频文件的类型7.6 视频文件的类型图7-16 常用的视频文件格式类型null7.6.1 本地视频格式 1.AVI格式 AVI（Audio Video Interleave）是一种音频视像交插记录的数字视频文件格式。 2.DV-AVI格式 DV的英文全称是Digital Video Format，是由索尼、松下、JVC等多家厂商联合提出的一种家用数字视频格式。目前非常流行的数码摄像机就是使用这种格式记录视频数据的。 null3.QuickTime的MOV格式 自从国际标准化组织(ISO)选择QuickTime文件格式作为开发MPEG-4的统一数字媒体存储格式，MOV文件就以mpg或mp4为其扩展名，并且采用了MPEG4压缩算法。 4.MEPG格式 将MPEG(Motion Picture Experts Group)算法用于压缩全运动视频图像，就可以生成全屏幕活动视频标准文件。 5.DivX格式 DivX是根据Microsoft mpeg4 v3修改而来的一种数字视频编码技术，是目前使用最广泛的一种MPEG-4的兼容技术。null7.6.2 基于网络传输的流媒体视频格式 1.RM（Real Media）格式 2. Quick Time格式（MOV） 3.ASF（Advanced Streaming Forma）格式 4.WMV格式 5.RMVB格式