多视点视频视点合成方法

多视点视频视点合成 多视点视频视点合成方法 ? 18?《测控技术))2011年第3O卷第5期 一 种基于深度图的三维/多视点视频视点合成方法 周真理,卓力,李晓光 (北京工业大学信号与信息处理研究室,北京100124) 摘要:基于深度图的视点合成技术已成为国际视频技术研究的热点之一.本文实现的基于深度图的三 维/多视点视频视点合成算法,在点对点的三维变换的基础上增加了深度图预处理,去像素重叠,基于空 此外试图针对不同的应用场合,对变换图像进行不同的空洞间对象的插值等优化, 填补方法.实验结果 表明,本方法最后合成的视点图像具有良好的视觉效果. 关键词:视点合成;三维变换;空洞填补 中图分类号:TP391文献标识码:A文章编号:1000—8829(2011)05—0018—04 A3D/MultiviewVideoViewSynthesisMethodBasedonDIBR ZHOUZhen-li,ZHUOLi,LIXiao—guang (Signal&InformationProcessingLaboratory,BeijingUniversityofTechnology,Beiji ng100124,China) Abstract:Viewsynthesishasbecomeoneofthehotspotsofinternationalvideotechnology.Th erealizationofa 3D/muhiviewvideoviewsynthesismethodbasedonDIBRisdiscussed.Thedepthmapprepr ocessing,elimina- ringpixeloverlapandspatialobject—basedinterpolationbasedonthepixel—to—pixel3Dwarpingareincreased. Besides,differentwaysofhole— filingfordifferentapplicationaretryingtoutilize.Theexperimentresultsshow thatthemethodofviewsynthesiscanobtainasatisfactoryvisualeffect. Keywords:viewsynthesis;3Dwarping;hole—filing 视点合成技术是各种三维/多视点视频应用,如 3D电影,3D电视,3D视频会议,自由视点电视(Frv) 等领域的关键技术之一.目前视点的合成主要有基于 三维模型绘制(MBR,3Dmodel-basedrendering)和基 于图像绘制(IBR,image—basedrendering)这两种方法. 基于深度图像的绘制是近年来才新兴的一门学科,其 核心思想是利用参考图像及其对应的深度图像通过 3D变换合成新的视点图像.和传统的视点合成方法 相比,基于深度图的视点合成方法将场景深度信息引 入图像绘制中,避免了三维模型的重建过程,能够简单 快速地合成视图?,因此具有广泛的应用前景. 收稿日期:201(I—l2一I5 基金项目:国家自然科学基金资助项目(60772069,61003289); 863资助项目(2009AA12Z111);北京市自然科学基金资助 项目(4102008);人力资源与社会保障部留学归国人员科技活 动优秀类资助和教育部留学归国人员科研启动基金项目 作者简介:周真理(1986一),男,在读硕士研究生,主要研究方 向为智能化信息处理;卓力(1971--),女,教授,博士生导师,主 要研究方向为图像/视频信号处理,编码与传输,网络多媒体处 理,无线视频传感器网络等;李晓光(1980一),男,博士,讲师, 硕士生导师,主要研究方向为图像/视频信号与信息处理等. 基于深度图的视点合成主用应用于立体/多视点 视频编码和立体重构这两方面.具体来说在立体/多 视点编码器端,可以利用已编码视点的视频图像及其 深度图来合成目标视点图像,以用作当前编码图像的 一 个预测参考图像.图1所示为将基于深度图的视点 合成技术应用于立体/多视点视频预测编码中,其中虚 线框内为两路视频时的立体视频编码情形.通过视点 的合成增加了当前编码图像的一个预测参考源,以提 高预测编码视频的性能. 时问 l匿,…0躺 嚣冒,,'譬 :囹,罐:…一一-一一=:一…=_.一 '. ,视点合成图像融合 / 图1基于深度图视点合成的多视点视频编码预测结构 另一方面,在解码器端可以利用基于深度图的合 一 种基于深度图的三维/多视点视频视点合成方法?19? 即利用已知的一路二维视频 成技术实现立体的重构. 及其相应的深度图信息,通过基于深度图的视点合成 方法合成另一路视频以恢复三维场景;抑或是已知多 路的视频及深度图合成任意的中间路虚拟视点视频, 这在Frv应用中可以为观看者提供更多的观看视角. 一 个典型的基于深度图的合成算法包括深度图的 预处理,3D变换及空洞的填补3个.为得到高质 量的视点合成图像,需要结合数字图像处理等技术对 这3个流程进行不同程度的优化.本文将致力于对这 3个流程相关问题进行深入分析和研究,以期实现一 种较优的三维视频视点合成方法.另外通过前面的阐 述可以看出,基于深度图的视点合成在不同应用场合 具有不同的特点,比如在一般的3D电影或电视应用 中,只需得到单一视点的视频及其深度图像序列信息 就可以合成另一视点视频序列;而在多视点视频编码 或V应用中,对目标或中间视点视频序列的合成需 得到其左右相邻视点的视频序列及深度信息(如图1 所示).因此针对不同的应用场合,宜采用不同的空 洞填补方法,以得到更好的合成效果. 1深度图的获取及预处理 基于深度图视点合成的一个必要前提就是要得到 参考图像的深度信息,即深度图的获取.目前,深度图 的获取主要有两种途径:?通过深度相机获取;?通 过视差估计得到视差图,进而转换得到深度图.其中, 文献[3]提出在三维视频系统中采用Zcam来捕获深 度图.而深度相机存在价格昂贵等诸多因素,因此并 没有得到大规模应用.当前,如何快速,有效地从2D 视频中获取深度图逐渐成为一个研究热点.本文采用 的是微软研究院(MSR,microsoftresearch)交互视觉媒 体组提供的"Breakdancer"和"Ballet"多视点视频序 列.实验用的测试序列包括由8个摄像机捕获的100 幅图像序列及其相应的深度图,同时还用到了MSR所 提供的摄像机标定参数.图2为MSR提供的多视点 采集装置及数据(Breakdancers序列),其中每幅深度 图都是由8位的灰度值组成的,灰度值0表示离相机 最远的像素,255表示的是离相机最近的像素. 前面提到,一个典型的视点合成流程应当包括深 度图的预处理.这是因为一般在深度图对象的边缘区 域,深度值有较大变化,在3D变换之后容易产生较大 的空洞,通过一系列的深度图像预处理可以在一定程 度上避免出现较大的空洞,或者说深度图的预处理能 使空洞变小.深度图的预处理主要是为了保证深度信 息的连续性,如物体边界的深度信息.对此,一般 利用滤波的方法对物体边界处的深度值进行融合,从 而显着提高合成图像的质量. 视频图像深度图像 lI图2MSR提供的多视点(8个视点)采集装置及 数据(Breakdancers序列) 目前对深度图进行预处理比较典型的方法是对图 像进行高斯滤波.本文采用针对性较强的基于边界的 高斯滤波对深度图像进行预处理,其实验验证结果如 图3所示.从图中可以看出,滤波后合成图像的空洞 数目有一定程度的减少,部分空洞滤波后有一定程度 的缩小,但整体效果改善并不显着,大的空洞依然没有 消除,需要在后续流程进行进一步的处理. (a)滤波前(b)滤波后 图3深度图滤波前后合成图像(局部)对比 23D变换 2.13D映射公式 3D映射是基于深度图视点合成的核心步骤.一 般来说,3D映射是一个基于点对点的映射过程,即将 参考图像某点的像素值赋值给合成图像对应的映射像 素点.具体来说,首先将二维参考图像某个像素点坐 标映射到一个三维空间坐标点,然后再将该三维空间 坐标点反映射为目标图像一个图像坐标,最后将参考 图像坐标像素值赋给目标图像映射坐标,这样就得到 了合成图像的一个像素点,如图4所示.反复进行该 过程,直到将参考图像各个点都映射到合成图像,由此 就得到了一幅新的合成视点图像.该点对点的映射过 程可以用如下几个步骤描述: ?将参考图像某坐标点(Y)用式(1)映射到 三维空间坐标(M,,W). [M,?,r=(c)A(cr.i)[r,ly,1r ? D(f,,re,)+(Cref)(1) ?将三维空间坐标(u,,W)用式(2)映射成C视 点的坐标(;,y,.;). [:,:,:r=A(c.)R(c){[,W—(c)}(2) ? 20?《测控技术))2011年第30卷第5期 ?将得到的坐标转化为(xl/z:,Y:/z,1)得到目 标视点i的一个坐标,即 ? 式中,A(c)代表摄像机C的固有矩阵参数;R(c)代表 摄像机C的旋转矩阵参数;T(c)表示摄像机C的一个 线性偏移矢量,而D(t,,Y)表示参考图像对应深度图 在t时刻点(,Y)处的深度值;[?]表示取整运算. 三维空间场景 参考图像合成图像 图43D映射过程 上述映射过程反映了这样一个事实:参考图像中 的每一个像素点对应着合成视点图像中的某一个像 素;但反过来又无法保证合成视点图像中每一个像素 点都会有参考图像中的像素点与之相对应,因为上述 映射过程是单向的.这样一种差别势必会引起合成图 像中某些像素点的合成失败.此外,上述映射过程没 有考虑摄像机摄像角度的变化引起的场景遮挡问题, 因此也很容易造成视点合成的错误.另一方面,经过 这样一个简单的2D-3D-2D的变换过程,有可能会有 多个三维空间点投影到合成视点的同一个像素位置, 即会发生像素的重叠.因此,可将简单3D映射过程 中产生的合成问题归结为以下3种形式: ?合成错误,即遮挡的点被投影到目标视点图像 中,如图5所示,参考图像中连续的3个像素点被映射 到三维场景中的A,B,C三点,从目标视点角度来看,A 点应当是被遮挡的,但使用上述简单映射之后,A点会 被投射在目标视点中; ?空洞效应,如图5中的B点,没有参考图像中 的像素点与之相对应,上述3D映射公式在此像素点 处无法生成像素信息,造成目标图像中像素点之间的 不连续; ?像素重叠,由于映射公式的计算或者像素点的 取整使得参考图像中多个点被重复映射到目标图像中 的同一像素点. 2.2去像素重叠 像素重叠使映射点无法真实地反映其像素信息, 使合成图像出现严重的失真.因此必须在重叠的多个 点中去除伪映射值.通常情况下像素重叠多是离摄像 头较远的点被离摄像头距离近的点覆盖,因此这个问 题可以很容易地通过一个深度判决来解决,即只需要 在3D-2D式(2)前增加一个映射点的深度判断,对重 叠的点选择深度值最小的点作为最终的投影点.图6 所示为去除像素重叠前后合成图像质量对比. 图5简单3D映射合成错误示意图 (a)去除像素重叠前(b)去除像素重叠后 图6去除像素重叠前后对比 2.3基于空间对象的插值方法 前面提到的合成错误和空洞问题,可以通过像素 域的插值来解决,但像素域的插值无法纠正错误的合 成,并且随着插值的进行,误差还会扩散.因此考虑用 基于对象的插值方法.基于对象的插值主要是围绕三 维空间的点来进行的,首先判断相邻2点/3点之间的 深度差是否小于一个预定的阈值,如果深度差小于阈 值则认为该2点/3个点属于同一个对象,因而可以在 属于同对象的点之间通过线性插值来构建一条空间 线/面 []=k[",,Wir+f[,,,wjr, (0?k?1,0?1?1,k+l=1)(5) ,[,,wl:(,Y)+z(,), (0?k?1,0?f?I,k+l=1)(6) J[n,,]=pJ(,儿)+9(,儿)+rJ(,), (0?P?1,0?q?1,0?r?1,P+q+r=1)(7) 式中,[//,,,W表示三维空间点的像素;,[",, ]表示线/面的像素值;(,Y)对应于空间坐标为[, 而(,Y)表示参考图像位置 ,W]的二维图像坐标, (,Y)点处的像素值.如图7所示,经过插值之后, 在原来的3点之间形成了一条空间线/面,消除了原来 误投射的A点,并且原来的空洞点B也得到填补. 经过上述基于对象的插值之后,然后再进行3D 一 种基于深度图的三维/多视点视频视点合成方法?2l? 映射过程?和?步.这样经3D变换合成的视点图像 质量明显改善,如图8所示. 参考视点目标视点 图7插值之后的3D映射合成示意图 (a)插值前(b)插值后 图8插值前后图像效果对比 3空洞填补 经过前面的深度图预处理,去像素重叠,插值等一 系列优化,3D变换合成的视点图像质量已经明显得到 改善,但仍然有空洞点存在.一般来说这些空洞是由 遮挡或者错误的深度值所引起的.此外,由于摄像机 参数不够精确或者纹理图和深度图在边界处匹配得不 够精确,在对象边界处也会产生较大的空洞.这部分 空洞无法用前面的一系列优化有效地消除掉,只能通 过空洞的填补来解决. 对左右通道两路视频采用基于空洞邻域的三阶填 充法对空洞进行填补.这种方法的基本步骤为: ?根据视角关系确定填充方向.利用参考视点 的摄像机位置坐标减去目标视点的摄像机位置坐标得 到差向量,该向量即为合成图像空洞填充方向.这样 可以在不需进行深度判断下尽可能地避免前景像素点 填充背景的情况. ?探测空洞点.该算法只针对空洞点操作,避免 无效运算. ?依填充方向逐个填充空洞点.以该点为中心 统计周围8个像素点中非空洞点的个数及相应像素 值,将空洞点像素值刷新为非空洞点像素平均值并带 入下面的运算.图9(a)所示为对图8(b)进行空洞填 补后的结果. (a)视点真实图像(b)合成视点图像 图9空洞填补后效果 对于多视点场合,可以在上述空洞填补步骤之前 先进行视点的融合,然后在融合图像基础上再进行空 洞的填补,这样做可以得到两方面的好处,其一,视点 融合在一定程度上矫正了合成像素位置的偏移,使合 成视点更加逼近真实场景;其二,可以为某些多视点的 应用,如不,视频会议等合成虚拟视点视频.其中视 点融合过程采用如下方法:先分别对目标视点左右相 邻视点及其深度图进行3D变换,得到两幅合成视点 图像,然后对两幅合成图像以式(8)的形式进行融合, 得到新的合成图像. ,(,)=otlt~(,)+(1一Ot),R(M,)(8) 式中,t和,分别为目标视点的左右相邻视点经3D 变换后得到的合成图像;Ot为融合权重值,其值可由式 (9)计算得到 tttf一,f+i—f 式中,t为各个视点的线性偏移矢量. 上述的融合过程其实也是为了填补剩余的空洞, 由于其融合了左右两个视点的场景信息,生成的目标 图像质量更好,真实感更强.况且融合过程消除了绝 大多数剩余的空洞,最后只需用空洞填充方法填补少 量的前景空洞就能得到较好的视觉质量.图l0所示 为视点融合以后再进行空洞填补的过程. (a)O视点一l视点 (C)视点融合结果(d)空洞填充后最终结果 图10多视点视点融合在空洞填补后结果 (下转第39页) 基于FPGA的无人机图像去噪与压缩算法及仿真?39? 制乘法表示为ar:(a《l1)+(a<<10)+(a《9)+ (a《5). 表1小波提升系数的CSD编码 2.4图像处理模块 阈值去噪模块首先根据原始图像的大小和小波变 换的级数,判断出第?级LL分量的大小,然后 SDRAM控制器将小波域数据读入阈值去噪模块,LL 块中的数据保持不变,对剩余的小波域数据进行阈值 判别,利用VerilogHDL中的if…else…语句完成式 (1)描述的逻辑,实现图像的去噪功能,最后将处理后 的小波域数据存储到SDRAM,覆盖原始小波域数据存 储空间,实现原位存储,节省了存储空间. 本文选用一种适合硬件实现的快速无链表SPIHT 算法实现对图像的压缩编码,该算法的具体实现步骤 及FPGA结构设计详见文献[1]. 3实验仿真及结果分析 为了验证本设计中小波图像去噪与压缩算法的有 效性,在图像中添加仿真实验时常采用的高斯白噪声, 其中噪声的方差可以自行设定,进行算法的实验 验证分析.为了检验仿真结果的正确性,采用Model— Sire+Matlab联合仿真验证,即用Matlab和Verilog HDL分别编程实现文中的算法,仿真实验结果利用 Matlab软件进行对比,具体仿真流程见图5,步骤如 下: ?编写TestBench程序,将测试图像转换为二进 制码,作为仿真的激励信号;利用ModelSim软件进行 仿真,定义txt文档仿真输出的二进制码结果. ?通过Matlab工具读取原始图像二进制码和txt 文档中的二进制码结果,进行算法性能分析. ?将文中算法通过Matlab实现,得出仿真结果, 并利用Matlab工具同txt记录的二进制结果进行对比 分析. ?利用Matlab将txt中记录的二进制数据转换为 图像信息,从视觉上对仿真结果进行判定. 为了验证FPGA设计的有效性,选择了6幅图像 添加高斯白噪声后进行仿真实验,ModelSim仿真数据 同Matlab计算结果之间最大误差为3,误差为0的像 素平均占到了92%,表明了FPGA实现了该算法的图 像去噪与压缩功能. 二进制 图像数据 Matlab程序卜'I测试结果 VerilogHDLModelsim-.1仿真结果 图5ModelSim+Matlab联合仿真流程 表2算法性能数据 Matlab 结果比较 (上接第21页) 4结束语 以上讨论了一种基于深度图的三维/多视点视频 视点合成方法.通过在传统3D变换基础上增加一系 列的深度图预处理,去像素重叠,基于空间对象的插值 以及空洞填补处理之后,最终合成了视觉效果较好的 视点图像.但要得到高质量的合成视点图像,还有赖 于对上述几个步骤进行进一步的优化,以得到更加精 确,更符合真实场景的合成效果. 参考文献: [1]BuehlerC,BosseM,McMillanL,eta1.Unstructuredlumi- graphrendering[A].ProceedingsofSiggraph[C].2001:425 — 432. [2]MartinianE,BehrensA,JunX,eta1.ExtensionsofH.264/ AVCformuhiviewvideocompression[A].IEEEInternation— alConferenceonImageProcessing[C].Atlanta,GA,2006: 298l一2984. [3]IddanGJ,YahavG.3Dimaginginthestudio(andelse— where…)[A].ProceedingsofSPIE:VideometricsandOpti- calMethodsfor3DShapeMeasurements[C].2001:48— 55. [4]VazquezC,TamWJ,SperanzaF.Stereoscopicimaging:fill— ingdisoccludedareasindepthimage—basedrendering[A]. ProceedingsofSPIE:theInternationalSocietyforOpticalEn- gineering[C].2006. 口