基于离散余弦变换域处理的快速台标插入法

第32 卷第5 期 红外与激光工程 2003 年10 月 Vol .32 No .5 I nf rared and Laser Engi neeri ng Oct .2003 基于离散余弦变换域处理的快速台标插入法 陈 亮9孙 军9罗 宁 (上海交通大学 图像通信与信息处理研究所9上海 200030) 摘要!针对在 MPEG-2 视频中插入台标9提出了一种基于离散余弦变换域处理的快速台标插 入法O与解码-相加-再编码的方法相比9该方法省去了离散余弦变换\反离散余弦变换和重新做 运动估计等环节9大大节省了运算量9适合于硬件实时系统的实现O实验表明和解码-相加-再编 码的方法相比9以图像质量的轻微下降9换取了较快的处理速度O 关 键 词! MPEG-2 9 台标9 离散余弦变换域9 像元空间9 运动估计 中图分类号!TP391 .4 文献标识码!A 文章编号!1007-2276(2003)-05-0547-04 Fast l OgO i nserti On met hOd based On DCT dOmai n CHEN Li ang9SUN Jun9LUO Ni ng (Instit ut e of I mage Communi cati on and Inf or mati on Processi ng9Shanghai Ji aot ong Uni versit y 9Shanghai 9200030 9Chi na) Abstract CA novel met hod of l ogo i nserti on i n MPEG-2 vi deo i s pr oposed . Compared t o t he met hod of Deco mpressi on- Additi on- reco mpressi on9i t needs neit her DCT and i nverse DCTtrans- f or mati on nor moti on esti mati on . Theref ore9co mputati onal co mpl exit y i s reduced and it i s Cuit e suit abl e f or real-ti me pr ocessi on . The experi mental result shows t hat t he pr oposed met hod has al- most t he sa me ef f ect as pi xel do mai n pr ocessi ng met hod . KeyWOrdsC MPEG-2 9 Logo9 DCT domai n9 Pi xel do mai n9 Moti on esti mati on l 引 言 台标广泛应用于电视广播中9它是电视台的标志 和形象9也是节目知识产权的体现O现在电视台大量 应用的台标机是由专用硬件构成的一个通道9当非压 缩视频的每一帧通过通道时9与存储在存贮器中的台 标完成像素域的叠加9然后再从通道输出 1 O但是在 很多情况下9播放源通常是用 MPEG-2 压缩好 的节目9如果要插入台标9一种对应于像素域的做法 是先将码流解压缩9然后在解出来的每一帧上加上台 标9最后再压缩回 MPEG 视频(简称解码-相加-再 编码)9其框图如图1 所示O 收稿日期!2002-09-01 ; 修订日期!2002-12-20 基金项目!上海市青年科技启明星(01 GD14030) 作者简介!陈亮(1976-)9男9浙江绍兴人9硕士研究生9主要从事视频处理\图像通信和数字电视的研究O 图1 像素域台标插入 Fi g .1 Logo i nserti on i n pi xel domai n 二次编码方法的最大缺点是运算量太大9因为在 此过程中要经过完整的解码 \ 再编码两个环节9尤其 是后者 再编码的过程中9必须重新做运动估计9而运 动估计的计算量相当大9占编码计算总量的 60 % 70 % 9不利于实时的实现 O 在参考文献[2 93 ]中9虽然 提出了一些简化方法9但是由于仍然是在像素域进 行9还是离不开做像素域和离散余弦变换 DCT 域 之间的正反变换 O 为了减少计算量9提出直接在离散余弦变换域中 进行处理的方法[4 95 ] O 这种直接在离散余弦变换域 上的处理9省去了离散余弦变换和反离散余弦变换的 环节 O 但是 MPEG -2 采用了帧间预测的压缩方 法[6 ] 9同 Moti on JPEG 等只有帧内编码的方式相比9 虽然进一步加大了压缩比9但对其处理带来了困难 O 2 离散余弦变换域的处理 在 MPEG-2 编码过程中9宏块的匹配是通过在 搜索窗中寻找最佳匹配块得到的[6 ] 9这种匹配方式的 非线性导致了在离散余弦变换域中处理的复杂性 O 如图2 所示9当前帧中的宏块 MB curr 对应参考帧中 MB 1 的位置 9 通过运动矢量指向了参考宏块 MB ref 9而该参考块没有落在对齐的边界上9它同 MB 1 MB 4 四个宏块都有重叠 O 对于这种情况下宏 块离散余弦变换系数的恢复9Chang 的文章给出了计 算方法[7 ] O 由于离散余弦变换对于矩阵的乘法符合 分配律9即对于同阶矩阵A \B 有 DCT AB = DCT A DCT B 1 而参考宏块的像素值可以由矩阵运算得到 MB ref = Z 4 i =1 P iMB iGi 式中 P i \Gi 为前置和后置矩阵[7 ] 9由 1 可得 DCT MB ref = Z 4 i =1 DCT P i DCT MBi DCT Gi 2 图2 块匹配示意图 图3 区域示意图 Fi g .2 Bl ock matchi ng ill ustrati on Fi g .3 Area ill ustrati on 由公式 2 可以恢复参考宏块的离散余弦变换系 数9利用这些系数对当前宏块做运动补偿9就可恢复 出编码块的离散余弦变换系数 O 用公式表示为 DCT MB curr = DCT MB ref +DCT MB dif f 3 式中 DCT MB dif f 是从解码中得到的残差离散余 弦变换系数 O 3 离散余弦变换域中的台标插入 在离散余弦变换域处理方法的基础上9再对台标 特点进行分析9提出了一种新的台标插入 O 目的 是尽量减少计算量9又要一定程度地保证质量 O 为了便于讨论9做如下假设 O 如图3 所示9假设 A 是台标区域 刚好由对齐的宏块组成 9B 是在A 区域内宏块最大运动矢量所能达到的宏块9对于 P 帧和B 帧9A 内处于边缘的块可能会参考到前一帧 或/ 和后一帧在该范围内的宏块 O C 是B 以外的其 他区域9由于既不用叠加台标9又没有受到影响9可以 不对其进行处理 O 3 .l I 帧 由于I 帧是帧内编码9受影响的只有A 区域9插 入相对简单 O A 区域内宏块新的离散余弦变换系数 等于原来宏块的离散余弦变换系数9加上台标宏块的 离散余弦变换系数9即 DCTInew MBi = DCTIorg MBi + 1 DCTIl ogo MBi 4 式中 上标I 表示帧类型;DCT new表示处理后宏块 的离散余弦变换系数;DCTorg表示原先帧内编码块的 s45 红外与激光工程 第32 卷 离散余弦变换系数9DCTl ogo 表示相应台标宏块的离 散余弦变换系数9 表示台标的透明度9当 为0 时9 台标区为完全不透明9即台标完全覆盖了背景图像O 3 .2 P 帧 对于区域A 内的宏块9先由公式 3 恢复出当前 宏块的离散余弦变换系数9然后再去做适当的运动补 偿O为了节省运动估计的计算量9做以下简化处理 台标区域的图案由背景和台标两部分构成9如果背景 占主要因素9即 接近1 9仍然保留原来的运动矢量O 如果台标占主要因素9即 接近0 9将宏块的运动矢 量改为0 9这样残差会小一些O具体操作时可以设置 一个阈值9对不同的 进行判断O对于前种情况其新 的残差的离散余弦变换系数为 DCT Pnew MB dif f = DCT P MB dif f + 1 > DCT Pl ogo MB curr 1 DCTIl ogo MB ref 5 对于后一种情况9以 MB curr 在参考帧中对应为 MB 1 为例9其新的残差的离散余弦变换系数为 DCT Pnew MB dif f = DCT P MB curr + 1 DCT Pl ogo MB curr DCTIorg MB 1 + 1 DCTIl ogo MB 1 = DCT P MB curr DCTIorg MB 1 = DCT P MB dif f + DCTI MB ref DCTIorg MB 1 6 此结果中没有台标的离散余弦变换值9可以很方便地 从解码数据中得到新残差的离散余弦变换系数O 对于在B 范围内的宏块9如果根据其运动矢量 的判断发现其参考块不在A 的范围内9那么仍然用 原先的方式对宏块编码O如果其运动量指向的参考 块同A 范围有交叉9由于A 区域的值有了很大的改 变9这种宏块匹配肯定增加了误差9将其编码为帧内 编码块9这样计算方便9其值由公式 3 得到O 3 .3 B 帧 对于A 范围内的块9为了减少计算量通过对 的判断来决定是采用原先的运动矢量还是将其置为 0 9处理方法类似于 P 帧9但是其宏块类型却可以为 前向 后向 或者内插9将其保持不变O原因是认为误 差大小具有连续性9方向具有一致性9可由类似公式 5 或 6 得到新残差的离散余弦变换系数O 对于B 范围内的块9只有一个运动矢量的情况 与P 帧处理方法相同O在两个运动矢量的情况下9 如果它们都没有参考A 范围内的宏块9那么不需要 对其做变化9如果只有一个运动矢量指向了A 范围 内9那么可以用另一个未指向A 的矢量作其唯一的 运动矢量9将内插的宏块类型改作前向或者后向即 可9其残差做相应调整O若两个矢量都落在了 A 的 区域范围内9则仍然采用帧内编码O 3 .4 码率控制的考虑 为了保持输入输出码字相等9采用了简单的码率 控制O在插入台标后9编码字节数有可能增加9也可 能减少9视台标内容和透明度而定9由于台标区域只 占一小部分9所以变化不会很大O当码字下降时9可 以用填0 法保持码字不变[4 ]9而当码字上升时9码率 控制只对A 区域进行9即将台标区域的量化步长适 当加大9过度量化得到稍微低于输入码字后9然后再 填0 O从图像质量上讲9虽然对台标区的过度量化会 带来降质9但是因为台标区域并不是人眼的注视中 心9适当降质是允许的O 3 .5 实现框架 图4 为离散余弦变换域中插入台标的示意图O 图4 离散余弦变换域中的台标插入 Fi g .4 Logo i nserti on i n DCT domai n 首先根据输入码流宏块位置对其进行过滤9取出 需要处理的宏块9而其他的宏块可以直通到输出缓冲 器O过滤出来的宏块通过 VLD 解码和反量化后9一 部分用帧内编码9其他块连同另一路台标图案的离散 余弦变换数据做离散余弦变换域上的处理O获得的 新的离散余弦变换系数再经过量化 VLC 编码9通过 缓冲器输出9而缓冲器有一个反馈9根据其漫溢程度9 对量化进行控制9以保持码率不变O 同图1 的方法相比9该方法省去了整个帧的完全 解码和再编码的过程9即使对A B 区域9也不需要再 做运动估计9不需要空域和离散余弦变换域之间的转 换O另外针对各种帧和宏块的特点9采用了不同的处 945第5 期 陈 亮等!基于离散余弦变换域处理的快速台标插入法 理方法~加快了处理速度~ 4 实验结果 采用文中方法用f l ower gar den 序列检验该编码 方式的性能并与解码-相加-编码插入台标法比较~ 试验时编码用的是N I12 ~MI3 的GOP 结构~图5 是用该方法在离散余弦变换域加入台标后解码得到 的一帧的亮度分量~图6 是两种方法获得的 亮度分 图5 加入台标后的一帧 Fig .5 Aframe with logo i nserti on 图6 PSNR 比较 Fi g .6 Compari son of PSNR 量在一个 GOP 中的比较~所用的指标是 PSNR 值~ 计算时是用原始序列在像素域相加作为参考基准~ 计算两种方法的 PSNR 平均值~用解码-相加 -再编码方法得到的值为32 .44 dB~而用文中方法 得到的值为31 .92 dB~相差0 .52 dB~可见图像质量 下降很小~而且由于控制码率是在台标区的降质大~ 所以眼睛对整个图像的感觉下降不多~ 5 结 论 采用直接在离散余弦变换域中插入台标的方法~ 避免了在像素域中处理需要解码再编码的环节~在 计算上节省了运动估计和空频域变换的环节~还结合 帧和宏块的特点做了很多简化~同传统的解压缩-处 理-再压缩相比~大大减少了处理量~适合于实时的 实现~实验结果还表明虽然图像质量有所下降~但对 视觉效果的影响不大~ 参考文献! [1] 司伯均~刘建信. 台标机的功能与基本原理[J ]. 广播与电视技 术~1999 ~7 .9s-100 . [2 ] Krit Panusopone~Xue mi n Chen . Logo i nserti on i n MPEG transcoder [A]. I EEE Inter nati onal Conf erence on Acousti cs~ Speech~and Si gnal Processi ng[C]. 2001 ~2 .9s1-9s4 . [3] 潘健.数字视频编辑及网络传输中若干问题研究[D]. 上海=上 海交通大学~1999 . [4] Fer nando W A C. Vi deo speci al ef f ects editi ng i n mpeg-2 com- pressed vi deo [A]. I EEE Inter nati onal Sy mposi u m on Circuits and Syst e ms[C]. 2000 ~2 . 2s1-2s4 . [5] ren Ega wa . Compressed domai n mpeg-2 editi ng wit h VBV re- Cui re ment [A]~I EEE Inter nati onal Conf erence on I mage Pro- cessi ng[C]. 2000 ~1 .1016-1019 . [6] ISO/I EC13s1s-2 ~Generi c codi ng of movi ng pi ct ures and associ- at ed audi o i nf or mati on=vi deo[S]. Int er nati onal Organi Zati on f or Standar di sati on~1994 . [7] Chang S F~Messersch mitt D G . Mani pul ati on and compositi ng of MC-DCT compressed vi deo[J ]. I EEE Jour nal of Sel ect ed Ar- eas i n Communi cati ons~1995 ~3<1>= 櫒櫒櫒櫒櫒櫒櫒櫒櫒櫒櫒櫒櫒櫒櫒櫒櫒櫒櫒櫒櫒櫒櫒櫒櫒櫒櫒櫒櫒櫒櫒櫒櫒櫒櫒櫒櫒櫒櫒櫒櫒櫒櫒櫒櫒櫒櫒櫒櫒櫒 1-11 . <上接第522 页> 参考文献! [1] 汤海缨~庄天戈~刘上乾~等. 实时的微弱目标增强与分割技术 [J ]. 红外与毫米波学报~1997 ~16<5>=3s9-395 . [2] 郭桂荣 .信息处理中的模糊技术[M].长沙=国防科技大学出版 社~1993 . [3] Zadeh L A~Fu K S. FuZZy Sets and Thei r Appli cati on t o Cogni- ti on and Deci si on Processes[M]. London=Acade mic ~1975 . [4] Pal S K~Ki ng r A . I mage enhance ment usi ng s moot hi ng wit h f uZZy sets [J ]~I EEE Trans Syat Man Cyber n~19s1 ~SMC-11 <7>=494-501 . [5] Li J ~Shen Z~Lan T. Detecti on of spot t ar get i n i nf rared cl utt er wit h mor phol ogi cal filt er [A].I EEE Proceedi ngs of t he Nati onal Aerospace and El ectr oni cs Conf erence[C]. 1996 .16s-172 . 055 红外与激光工程 第32 卷 基于离散余弦变换域处理的快速台标插入法 作者： 陈亮， 孙军， 罗宁 作者单位： 上海交通大学,图像通信与信息处理研究所,上海,200030 刊名： 红外与激光工程 英文刊名： INFRARED AND LASER ENGINEERING 年，卷(期)： 2003,32(5) 被引用次数： 1次 参考文献(7条) 1.CHANG S F;Messerschmitt D G Manipulation and compositing of MC-DCT compressed video[外文期刊] 1995(01) 2.ISO/IEC13818-2,Generic coding of moving pictures and associated audio information:video 1994 3.Ren Egawa Compressed domain mpeg-2 editing with VBV requirement 2000 4.Fernando W A C Video special effects editing in mpeg-2 compressed video[外文会议] 2000 5.潘健 数字视频编辑及网络传输中若干问题研究[学位论文] 1999 6.Krit Panusopone;Xuemin Chen Logo insertion in MPEG transcoder[外文会议] 2001 7.司伯均;刘建信 台标机的功能与基本原理 1999(07) 本文读者也读过(5条) 1. 林江.周源华.孙军 一种基于DCT域的字幕插入法[期刊论文]-计算机工程2004,30(21) 2. 北京算通科技发展有限公司 台标字幕系统产品技术解析[期刊论文]-广播电视信息2009(11) 3. 林江 MPEG-2视频流压缩域的字幕迭加及其算法研究[学位论文]2004 4. 徐砚劼.王兴东.廖锐.XU Yan-jie.WANG Xing-dong.LIAO Rui 基于压缩域的快速台标插入算法[期刊论文]-电视技 术2009,33(4) 5. 张奡 .赵勇.王宏远 DVB数字广播台标/字幕插入机[期刊论文]-计算机与数字工程2007,35(3) 引证文献(1条) 1.刘昱 数字视频转换编码研究[学位论文]博士 2005 本文链接：http://d.g.wanfangdata.com.cn/Periodical_hwyjggc200305028.aspx