计算机视觉

null计算机视觉计算机视觉孙明竹 sunmz@robot.nankai.edu.cn课程信息课程信息主讲人：孙明竹 联系电话：23505706-211 Email：sunmz@robot.nankai.edu.cn 实验室：伯苓楼机器人所 602室 课程成绩：平时作业(10％)＋期末考试(40％) 答疑：当面、电话、邮件主要参考书主要参考书马颂德，张正友《计算机视觉——一种理论与算法基础》，科学出版社，1998 David Forsyth，Jean Ponce 《计算机视觉——一种现代的》，清华大学出版社，2004 Rafael Gonzales et al《数字图像处理(MATLAB版)》，电子工业出版社，2005 Milan Sonka et al《图像处理、与机器视觉》，人民邮电出版社，2002 期刊、会议论文…… 善于使用网络：官网、论坛、主页、博客、Wikipedia、google、百度……绪论 Introduction绪论 Introduction主要内容主要内容第1章 绪论 1.1. 计算机视觉（Computer Vision）的概念 1.2. 计算机视觉的发展 1.3. Marr的计算视觉理论框架 1.4. 课程主要内容 补充：matlab程序设计1.1. 计算机视觉的概念1.1. 计算机视觉的概念Why Vision？ 视觉是人类最重要的感觉，人类认识外界信息80%来自视觉 计算机视觉的概念 利用各种成像系统代替人类的视觉器官作为输入手段，由计算机来代替大脑完成处理和解释 计算机视觉的最终目标 使计算机像人那样，通过视觉观察和理解世界，具有自主适应环境的能力1.1. 计算机视觉的概念1.1. 计算机视觉的概念计算机视觉当前的研究目标 使计算机具有通过二维图像认知三维环境的能力： 感知三维环境中物体的几何信息，包括形状、位置、姿态、运动等 对它们进行描述、存储、识别与理解计算机视觉与相关学科的关系 计算机视觉与相关学科的关系 图像处理(Image Processing) 图像处理，人是最终的解释者 计算机视觉，计算机是图像的解释者 模式识别(Pattern Recognition) 根据从图像中抽取的统计特性或结构信息，把图像分成设定的类别计算机视觉、图像处理与模式识别计算机视觉与相关学科的关系计算机视觉与相关学科的关系计算机图形学（Computer Graphics） 计算机图形学是一种使用数学算法将二维或三维图形转化为计算机显示器的栅格形式的科学 计算机图形学：从三维描述到二维图像显示 计算机视觉：从二维图像数据到三维描述 计算机视觉与机器视觉（Machine vision） 基本理论框架、底层理论、算法相似 研究的最终目不同 1.2. 计算机视觉的发展1.2. 计算机视觉的发展发展概况 20世纪50年代：统计模式识别 二维图像分析和识别，如光学字符识别、工件表面、显微图片和航空图片的分析和解释等 20世纪60年代：Roberts的三维积木世界 通过计算机程序从数字图像中提取出诸如立方体、楔形体、棱柱体等多面体的三维结构，并对物体形状及物体的空间关系进行描述 开创了以理解三维场景为目的的三维视觉研究 后人解决了由线段解释景物和处理阴影等问 1.2. 计算机视觉的发展1.2. 计算机视觉的发展三维积木世界 1.2. 计算机视觉的发展1.2. 计算机视觉的发展发展概况（续） 20世纪70年代：Marr为代表的计算理论 核心是从图像恢复物体的三维形状 提出要从不同层次去研究信息处理的问题 对计算理论和算法实现，特别强调计算理论的重要性 20世纪80年代：主动视觉(Active Vision) 主动视觉的四个特征：主动性(Active) 、选择性(Selective) 、目的性(Purposive) 、定性性(Qualitative) 对计算机视觉新的理解：根据任务，调整成像参数，选择感兴趣的区域，获取相关的图像信息计算机视觉的困难与问题 计算机视觉的困难与问题 计算机视觉是一个逆问题 输入：二维灰度图像 输出：三维物体的几何特征、位置 视觉信息多种多样，视觉知识的表达很困难 图像数据量巨大，信息存储与检索困难 对生理学、神经生物学等的研究有待深入 计算机视觉的应用 计算机视觉的应用 自主车导航 目标跟踪 工业应用：产品检验、柔性装配、海洋石油开采、海底勘察 医疗和军事应用：医疗外科手术 ……计算机视觉的应用计算机视觉的应用Video from ICRA/IROS 自主车导航 高速动态场景中的运动障碍物检测 显著区域检测 外科手术机器人 其他视频 1 2 1.3 Marr的计算视觉理论框架 1.3 Marr的计算视觉理论框架 视觉系统研究的三个层次 计算理论层次：回答系统各个部分的计算目的与计算策略（各部分的输入输出，之间的关系变换，之间的约束） 表达与算法层次：视觉系统的研究应给出各部分(各模块)的输入、输出和内部的信息表达，以及实现计算理论所规定的目标的算法 硬件实现层次：如何用硬件实现以上算法1.3 Marr的计算视觉理论框架1.3 Marr的计算视觉理论框架视觉信息处理的三个阶段 1）低层视觉（Low-level vision） 构成要素图（primal sketch），要素图由二维图像中的边缘点、直线段、曲线、顶点、纹理等基本几何元素或特征组成 2）中层视觉（Intermediate-level vision） 构成对环境的2.5维描述，在以观察者为中心的坐标系中描述部分的、不完整的三维信息 3）高层视觉（High-level vision） 从2.5维描述得到物体的完整三维描述，三维结构在以物体为中心的坐标系中表示1.4 课程内容1.4 课程内容绪论——计算机视觉的概念 数字图像处理 数字图像及其性质 图像预处理 摄像机标定 立体视觉补充：matlab程序设计补充：matlab程序设计Matlab中的矩阵运算 zeros/ones 利用冒号表达式：x=x0:step:xn 区分“*”和“.*” 善于使用help/edit 对照程序功能，阅读源程序数字图像处理 Digital Image Processing数字图像处理 Digital Image Processing图像分析系统图像分析系统 知识库主要内容主要内容第2章 数字图像及其性质 2.1 补充：卷积与傅立叶变换 2.2 数字图像的形成 2.3 数字图像性质 第3章 图像预处理 3.1 像素亮度变换 3.2 图像平滑 3.3 边缘检测 3.4 其他图像处理2.1.1 卷积(Convolution)2.1.1 卷积(Convolution)二维函数f和h的卷积g记为f*h，由积分定义 二维离散卷积 (matlab:conv2)2.1.1 卷积2.1.1 卷积原始图像与Prewitt算子h1做卷积136 133 134 135 130 132 132 130 133 131 131 132 125 131 131 …… 131 130 130 132 129 130 131 129 130 130 ……136 269 403 402 399 132 264 394 395 394 -5 -6 -15 -14 -12 …… -1 -3 -3 -3 -3 -1 -2 2 2 2 ……2.1.2 傅立叶变换(Fourier Transform)2.1.2 傅立叶变换(Fourier Transform)二维连续傅立叶变换及其逆变换 二维离散傅立叶变换(DFT)及其逆变换 2.1.2 傅立叶变换2.1.2 傅立叶变换傅立叶变换的结果F(u,v)通常为复数，令R(u,v)和I(u,v)分别表示F(u,v)的实部和虚部 傅立叶频谱： 相位角： 若f(m,n)是实数，F(u,v)关于原点共轭对称，也关于原点对称2.1.2 傅立叶变换2.1.2 傅立叶变换DFT和逆DFT都是周期无穷的，周期由M和N 二维DFT (matlab:fft2) 二维逆DFT (matlab:ifft2) 重排数据 (matlab:fftshift) i = imread(‘miss.bmp’); imshow(i,[]); F=fft2(i); imshow(abs(F),[]); Fs=fftshift(F); imshow(abs(Fs),[]); Fl=log(1+abs(Fs)); imshow(abs(Fl),[]);DFT变换结果原始图像对数显示fftshift结果2.2 数字图像的形成2.2 数字图像的形成图像数字化图像数字化传感器获取的图像是平面上的连续函数 图像数字化 将连续函数采样(sampled)为M行N列的矩阵 将每个连续样本量化(quantization)为一个整数值，即图像函数的连续范围被分成了K个区间 采样和量化的越精细，即增大M,N,K，连续图像函数的近似性越好 2.2.1 采样2.2.1 采样连续图像函数f(x,y)可通过平面上离散的栅格点来采样 图像采样点： 两个相邻采样点间，在x轴和y轴上的距离分别是Δx和Δy，称距离Δx和Δy为采样间隔，采样后得到的矩阵fs(mΔx,nΔy)构成了离散图像 采样图像是连续图像函数f(x,y)与采样函数s(x,y)的乘积2.2.1 采样2.2.1 采样傅立叶变换 采样后图像的傅立叶变换是周期性重复的连续图像傅立叶变换F(u,v)之和 2.2.1 采样2.2.1 采样在一定条件下，当数字化分量F(u,v)发生重叠时，F(u,v)的周期性重复可能引起图像失真，这种现象称为混迭(aliasing) 当图像函数f(x,y)是有限带宽(band-limited)的频谱，即其傅立叶变换F(u,v)在一定频率区间：|u|>U，|v|>V之外为0，可有效避免混迭 根据Shannon采样定理，为防止有限带宽频谱图像的变换结果发生混迭，可选择采样间隔： 在图像分析中的物理解释：采样间隔应小于或等于图像中感兴趣的最小细节尺寸的一半2.2.1 采样2.2.1 采样实际采样过程中，采样函数不是 ，而是有限冲击函数（幅度有限的窄信号） 在实际数字化过程中，采样间隔通常选取理论值的十分之一或更小,因为在将数字化图像函数在显示器上重构为连续图像时,算法仅使用了阶跃函数 原始分辨率一半原始图像原始分辨率1/8原始分辨率1/4i = imread('miss.bmp'); i = double(i(:,:,1)); imshow(i,[]); figure; i2=i(1:2:192,1:2:192); imshow(i2,[]); figure; i3=i(1:4:192,1:4:192); imshow(i3,[]); figure; i4=i(1:8:192,1:8:192); imshow(i4,[]);2.2.2 量化2.2.2 量化将采样后的图像 fs(mΔx,nΔy)的像素值用一个整数来表示,为了是人能够觉察出图像的细微变化,量化的级别要足够高 大部分的图像处理仪器都采用k个等间隔的量化方式,如果用b位来表示像素亮度的数值，那么亮度阶就是k=2b 通常使用每个像素8 个比特，特殊的测量设备每个像素使用12个或更多的比特 6位8位2位4位i = imread('miss.bmp'); i = double(i(:,:,1)); imshow(uint8(i)); figure; i2 = floor(i/4)*4; imshow(uint8(i2)); figure; i3 = floor(i/16)*16; imshow(uint8(i3)); figure; i4 = floor(i/128)*128; imshow(uint8(i4));2.3 数字图像性质(I)2.3 数字图像性质(I)距离(distance) 坐标为(m,n)和(h,k)两点之间的距离: 欧氏距离： 城区距离： 棋盘距离：2.3 数字图像性质(II)2.3 数字图像性质(II)像素邻接性(adjacency) 4－邻接：任意两像素之间的距离为D4＝1 8－邻接：任意两像素之间的距离为D8＝1 区域(region):由一些彼此邻接的像素组成的集合 连通性(contiguous) 连通：一幅图像的两个像素之间存在一条路径 连通关系具有自反性、对称性和传递性 区域中没有孔，称为简单连通，有孔的区域称为复连通2.3 数字图像性质(III)2.3 数字图像性质(III)边界(border) 区域R的边界是其自身的像素集合，其中的每个点具有一个或多个R外的邻接点 边缘(edge) 边缘是图像上灰度的不连续点，或者灰度变化剧烈的地方，它是一个有大小和方向的矢量 边界和边缘不同，边界是与区域有关的全局概念，而边缘表示图像函数的局部性质；边界与边缘也相互关联，一种寻找边界的方法是连接显著的边缘2.3.1 直方图(brightness histogram)2.3.1 直方图(brightness histogram)直方图给出了图像中亮度值z出现的概率，一幅有L阶的图像直方图由具有L个元素的一维数组表示算法：计算亮度直方图 创建大小为L的一维数组H 数组H的所有元素初始化为0 对于图像f的所有元素，做如下处理：2.3.1 直方图2.3.1 直方图(matlab:imhist) 2.3.2 图像中的噪声2.3.2 图像中的噪声实际图像常受一些随机误差的影响而退化，这些退化称为噪声(noise) 在图像捕获、传输或处理中都可能出现噪声 白噪声(white noise)：具有常量的功率谱，强度不随着频率的增加而衰减。 高斯噪声(Gaussian noise)是服从正态分布的随机变量，一维情况下的概率密度函数为： 2.3.2 图像中的噪声2.3.2 图像中的噪声噪声有可能依赖于图像内容，也可能与之无关 加性噪声(additive noise)：噪声与出现的图像信号无关 乘性噪声(multiplicative noise)：噪声的幅值与信号本身的幅值相关 用信噪比SNR度量图像的品质，值越大越好 计算噪声贡献的平方和： 信号的所有平方和： 信噪比：2.3.2 图像中的噪声2.3.2 图像中的噪声在图像中加入均值为0，方差为0.001的高斯白噪声 (matlab:imnoise) imnoise(i, 'gaussian', 0, 0.001)第3章 图像预处理第3章 图像预处理图像预处理的目的是改善图像数据，抑制不需要的变形或者增强某些对于后续处理重要的图像特征 图像中存在相当多的冗余信息，实际图像中属于一个目标的相邻像素基本上具有相同的或类似的亮度值 主要内容 3.1 像素亮度变换 3.2 图像平滑 3.3 边缘检测 3.4 其他图像处理3.1 像素亮度变换3.1 像素亮度变换像素亮度变换修改像素的亮度值，变换只取决于像素自身的性质 亮度校正 与像素位置相关，在改变像素的亮度时要考虑该像素原来的亮度及其在图像中的位置 灰度级变换 与像素位置无关，在改变像素的亮度时无需考虑其在图像中的位置灰度级变换灰度级变换变换T，将原来在范围[p0,pk]内的亮度p变换为一个新范围[q0,qk]内的亮度 灰度级变换通常可以使用查表的方法实现a:底片变换 b:通过分段函数增强了图像在亮度p1到p2间的对比度 c:图像二值化 直方图均衡化(histogram equalization)直方图均衡化(histogram equalization)直方图均衡化的目标是创建一幅在整个亮度范围内具有相同亮度分布的图像 直方图均衡化增强了靠近直方图极大值附近的亮度的对比度，减小了极小值附近的对比度直方图均衡化直方图均衡化输入直方图H(p)，输入灰度级范围为[p0,pk]，直方图均衡化的目标：找到一个单调的像素亮度变换q=T(p)，使输出直方图G(q)在整个输出亮度范围[q0,qk]内是均匀的 直方图可看作离散的概率密度函数，变换T是单调的 若图像有M行N列，均衡化后的直方图G(q)对应着均衡的概率密度函数，其函数值为一个常数直方图均衡化直方图均衡化公式代入：当考虑“理想的”连续概率密度时，可以得到精确的均衡化直方图 得到像素亮度变换T 积分称为累计直方图，在数字图像中用求和近似，结果直方图并不是理想均衡的直方图均衡化直方图均衡化算法：直方图均衡化 对于L(256)个灰度级、大小为M×N的图像，创建长为L的数组H，初始化为0 形成图像直方图H 形成累计直方图Hc 设置 重新扫描图像，根据变换T获得变换结果 matlab：histeqimshow(i); figure imhist(i); figure g = histeq(i,256); imshow(g); figure; imhist(g);3.2 图像平滑3.2 图像平滑图像平滑(Smoothing)属于局部图像预处理 局部预处理使用输入图像中像素的一个小邻域内的像素信息，产生输出图像中新的对应像素的亮度值。这种预处理技术在使用信号处理的术语时被称为滤波(filtering) 线性空间滤波 (matlab:imfilter) ：输出图像像素g(m,n)的计算结果是输入图像像素f(m,n)一个局部邻域Ω的亮度线性组合。邻域Ω中的像素贡献通过系数h进行加权： h：滤波器、卷积掩膜、核、窗口 非线性滤波：基于邻域进行非线性操作，如中值滤波图像平滑图像平滑图像平滑主要用来抑制噪声，等价于抑制频域中的高频成分 边缘也属于频域中的高频，平滑同时会模糊承载图像中重要信息的边缘，需要集中考虑具有边缘保持功能的平滑方法 此类方法的基本思路：仅使用邻域中与被处理像素有类似性质的点进行平均 图像平滑 平均(averaging) 限制数据有效性下的平均(averaging with limited data validity) 反梯度平均(averaging according to inverse gradient) 旋转掩膜平均(averaging using a rotating mask) 中值滤波(median filtering)3.2.1 平均3.2.1 平均假设每个像素上的噪声是一个均值为0，差为σ的独立随机变量，则可通过多次采集相同的静态景物来获得一幅平均图像： 平均图像中的噪声仍是随机变量，均值为0，标准差为 若只能获得一幅带有噪声的图像，则通过图像的局部邻域实现平均 如果噪声大小小于图像中感兴趣的最小尺寸，处理结果是可以接受的，但仍存在边缘模糊的问题 在单幅图像中做平滑，需要假设图像数据中的灰度级没有变化，这种假设在图像边缘处显然是不成立的3.2.1 平均3.2.1 平均平均是离散卷积的一个特例，对于3×3的邻域，卷积掩膜h为： 其他形式的卷积掩膜： 加噪声结果原始图像7×7掩膜3×3掩膜i = imread('miss.bmp'); i =i(:,:,1); imshow(i); figure; in = imnoise(i, 'gaussian', 0, 0.001); imshow(in); figure; if1 = imfilter(in,ones(3,3)/9, 'conv','replicate'); imshow(if1); figure; if2 = imfilter(in,ones(7,7)/49, 'conv','replicate'); imshow(if2);3.2.2 限制数据有效性下的平均3.2.2 限制数据有效性下的平均试图仅使用满足某种标准的像素做平均来避免模糊 一个简单的准则：设定非法数据范围[min,max]，只有具有非法灰度级别的像素值才被其邻域的平均所取代；只有有效的数据才对邻域的平均有贡献 3.2.3 反梯度平均3.2.3 反梯度平均在每个像素上，根据反梯度计算卷积掩膜 其基本思想是：区域内部的亮度变化一般小于相邻区域间的亮度变化 设像素(m,n)是卷积掩膜的中心像素，像素点(i,j)相对于(m,n)的反梯度为 当 时， 卷积掩膜： 中心像素上 3.2.4 旋转掩膜平均3.2.4 旋转掩膜平均通过搜索当前像素邻域的一致性部分来避免边缘模糊，像素的平均操作只在具有一致性的区域内进行 设区域R的像素数目是n，且输入图像是f，用亮度散布σ2度量区域的一致性:3.2.5 中值滤波3.2.5 中值滤波基本思想：用邻域中亮度的中值代替图像当前的点 中值滤波是一种非线性平滑方法，可以减少边缘的模糊算法：高效的中值滤波 设窗口长宽为M×N 设置th＝MN/2 将窗口移至一个新行的开始，建立窗口像素的直方图H，确定其中值med，记录亮度小于等于med的像素数lt_med 对于最左列亮度为p的像素，做： 如果pth，转7 重复 直到lt_med≥th，转8 重复 直到lt_med≤th 如果窗口的右侧列不是图像的右边界，转4 如果窗口的底行不是图像的下边界，转3 加噪声结果原始图像3×3窗口2×2窗口i = imread('miss.bmp'); i =i(:,:,1); imshow(i); figure in = imnoise(i, 'salt & pepper', 0.1); imshow(in); figure; if1 = medfilt2(in,[2 2], 'symmetric'); imshow(if1); figure; if2 = medfilt2(in,[3 3], 'symmetric'); imshow(if2); 3.3 边缘检测3.3 边缘检测边缘的重要性：边缘点包含了图像中的大多数信息边缘点的物理意义 空间曲面的不连续点 不同材料或不同颜色产生的边缘点 物体与背景的分界线——外轮廓线 阴影引起的边缘 边缘是图像上灰度的不连续点，或者是灰度变化剧烈的地方3.3 边缘检测3.3 边缘检测在边缘点附近信号具有频域的高频分量，所有边缘检测方法在本质上都是检测信号的高频 边缘检测的难点：区分信号的高频和噪声 边缘检测 边缘检测与滤波器 多尺度滤波器与过零点定理 最优边缘检测滤波器 补充：病态问题与正则化方法3.3.1 边缘检测与滤波器3.3.1 边缘检测与滤波器边缘是图像上灰度的不连续点，或者是灰度变化剧烈处 边缘的数学表达：信号一阶微分最大值/两阶微分过零点a：原始信号 b：一阶微分 c：二阶微分3.3.1 边缘检测与滤波器3.3.1 边缘检测与滤波器使用梯度(gradient)描述图像函数的变化，梯度方向是图像函数增长最大的方向 对于二维图像f (x, y)，梯度定义为： 一阶微分是梯度的模： 二阶微分应理解为沿梯度方向的二阶方向导数，计算比较复杂，一般采用两阶微分算子（拉普拉斯算子）表示，拉普拉斯算子具有各向同性 连续情况：微分滤波器连续情况：微分滤波器噪声对边缘检测的影响 实际信号都是有噪声的，按照一阶微分最大值或二阶微分过零点的方法检测边缘，可能检测出噪声引起的假边缘 解决方法 先对原始图像f(x,y) 进行平滑滤波： 再对滤波后的信号g(x,y)求一阶或两阶微分连续情况：微分滤波器连续情况：微分滤波器微分滤波器 滤波运算与卷积运算次序可以互换 可将先平滑、后微分的两步运算合并，直接求 或 称为一阶微分滤波器， 称为两阶微分滤波器 边缘检测的基本方法 设计平滑滤波器h 检测 的局部最大值或的 的过零点连续情况：微分滤波器连续情况：微分滤波器平滑滤波器h(x)应满足以下条件： 当|x|→∞，h(x) →0, h(x)为偶函数 h(x)一阶及二阶可微 常用的平滑滤波器：高斯函数（一维）连续情况：微分滤波器连续情况：微分滤波器二维高斯平滑滤波器 一阶微分滤波器 二阶微分滤波器（高斯-拉普拉斯算子）离散情况：差分滤波器离散情况：差分滤波器连续到离散 离散信号的平滑滤波用离散卷积表示离散情况：差分滤波器离散情况：差分滤波器离散信号的一阶差分运算 前向差分: h(1)(n)=h(n+1)-h(n) 后向差分: h(1)(n)=h(n)-h(n-1) 前后向平均差分: h(1)(n)=(h(n+1)-h(n-1))/2 离散信号的二阶差分运算 二阶差分是一阶差分的差分，使用前后向平均差分 h(2)(n)= (h(n+2)+h(n-2)-2h(n))/4 离散卷积与差分同样可以交换运算顺序离散情况：差分滤波器离散情况：差分滤波器常用的平滑滤波器：高斯函数（一维） c称为归一化常数，与连续高斯函数不同 与连续平滑滤波器一样，为了使 ，以保证滤波后不改变原信号的均值 连续的高斯函数h(x)，当lxl＞3时，h(x) ≈0；离散情况下，h(n)在一3σ≤n≤3 σ内取样 若整数n的取值范围为一N ≤ n ≤ N，则h(n)可用一个长度为2N十1的窗口表示 一阶/二阶差分滤波器：对高斯平滑滤波器求差分差分滤波器差分滤波器Robert算子 Sobel算子 Prewitt算子 差分滤波器差分滤波器拉普拉斯算子差分滤波器差分滤波器高斯-拉普拉斯算子 Prewitt算子Roberts算子Log算子Soble算子i = imread('miss.bmp'); i =i(:,:,1); figure; ro = edge(i,'roberts'); imshow(1-ro); figure; pre= edge(i,'prewitt'); imshow(1-pre); figure; so = edge(i,'sobel'); imshow(1-so); figure; log = edge(i,'log'); imshow(1-log);matlab：edge3.3.2 多尺度滤波器与过零点定理3.3.2 多尺度滤波器与过零点定理滤波器的尺度：滤波器的方差 例：用不同方差的高斯滤波器检测边缘，方差越大，检测到的边缘点越少，分辨率越低过零点指纹图过零点指纹图将某一维信号用不同方差的两阶微分滤波器进行滤波，并标出过零点的位置，则以下点的集合称为过零点指纹图或零交叉图 零交叉图给出了 在不同尺度滤波器平滑后的过零点位置，即不同尺度滤波器下的边缘位置过零点指纹图过零点指纹图过零点定理 给定过零点指纹图Z(f(x,), σ)，f(x)可在相差一个常数因子的意义下唯一确定 用高斯二阶微分滤波器得到的过零点指纹图具有单调性：当σ增大时，成对的零交 叉点交汇在一起消失 在一定条件下，高斯二阶微分滤波器是唯一具有单调零交叉点性质的线性二阶微分滤波器 多尺度滤波器与边缘检测多尺度滤波器与边缘检测问题：检测到的边缘会发生偏移 边缘偏移的原因 相邻的边缘点会互相影响 存在噪声 为理想信号： 为观察信号： 通过二阶微分滤波器对观察信号进行滤波 多尺度滤波器与边缘检测多尺度滤波器与边缘检测检测g(x)的过零点，设过零点为x’0 将fh(x)在x=x0处用泰勒级数展开： f(x)为理想阶跃信号，有: 代入，得到： 零交叉点偏移量： 过零点偏移量是均值为零的随机变量，其方差与噪声信号的方差成正比，与二阶微分滤波器 的均方差也成正比多尺度滤波器与边缘检测多尺度滤波器与边缘检测一种基于零交叉图求边缘的方法 用多尺度滤波得到零交叉图，在较大方差处检测所有过零点，由此得到不包括噪声引起的过零点，但定位精度差 将这些过零点在指纹图上用它们所在的曲线向下追索它们在较小方差下的位置3.3.3 最优边缘检测滤波器3.3.3 最优边缘检测滤波器边缘检测：用一阶或二阶微分/差分滤波器对信号滤波并检测局部最大值或过零点 不少研究者由一定的边缘模型及噪声模型出发，提出了最优的边缘检测滤波器，他们都采用了最简单的阶跃边缘与可加性的白噪声模型。 均值为零、方差为 的白噪声边缘检测的Canny准则边缘检测的Canny准则假设 信号：受白噪声影响的阶跃边缘 滤波器：有限脉冲响应滤波器 Canny最优化准则 检测标准（最大信噪比准则）：要有好的检测结果，不丢失重要的边缘，不应有虚假的边缘 定位标准（最优过零点准则）：实际边缘位置与检测到的边缘位置间的偏差最小 单响应标准（多峰值响应准则）：对实际上的同一边缘要有低的响应次数 Canny以一维形式为例，给出了三条准则的数学表达式，将寻找最优滤波器的问题转换为泛函的约束优化问题Canny准则下的最优边缘检测滤波器Canny准则下的最优边缘检测滤波器针对一维信号和前两个最优化准则，可用变分法求得滤波器的完整解 加入第三个最优化准则，则需要通过数值优化方法得到最优解 最优的滤波器可有效近似为标准差为σ的高斯一阶微分滤波器，误差小于20％对于二维情况，阶跃边缘由位置、方向、幅度确定，可以证明，将图像与一对称的二维高斯函数做卷积再沿梯度方向微分，就构成了一个简单而有效的滤波器Canny边缘检测(I)Canny边缘检测(I)双阈值技术 边缘检测通过阈值化确定突出的边缘，对噪声引起的单边缘虚假响应会造成边缘不连续，这是由于滤波结果超出或低于阈值所致，这种问题可通过滞后阈值化处理解决 图像信号的响应大于高阈值，它一定是边缘 图像信号的响应小于低阈值，它一定不是边缘 图像信号的响应在高低阈值之间，如果它与大于高阈值的像素相连，它也可能是边缘 高、低阈值可根据对信噪比的估计确定Canny边缘检测(II)Canny边缘检测(II)多尺度技术 滤波器的尺度选择一直是边缘检测的一大难题 对于Canny边缘检测，不同的尺度对应着不同方差的Gaussian操作 特征综合方法 用最小尺度的滤波器去检测边缘，并把边缘标记出来 把检测结果与高斯函数作用，估计下一个较大尺度的滤波器检测该边缘的位置 用较大尺度滤波器与原图像卷积，如果在刚才预测的地方检测出边缘，那么只有当它的幅度远大于小尺度滤波器时才接受这个边缘Canny边缘检测(III)Canny边缘检测(III)算法：Canny边缘检测 将图像f与尺度为σ的二维高斯函数h做卷积以消除噪声 对g中的每个像素计算梯度的大小和方向 根据像素梯度方向，获取该像素沿梯度的邻接像素 非极大值抑制：遍历g，若某个像素的灰度值与其梯度方向上前后两个像素的灰度值相比并非最大，则该像素不是边缘Canny边缘检测(IV)Canny边缘检测(IV)参考资料 “A Computational Approach to Edge Detection”, IEEE Trans. PAMI, Vol. PAMI-8, No. 6, 1986, pp:679~698算法：Canny边缘检测（续） 滞后阈值化处理：设定高低阈值，凡是大于高阈值的一定是边缘；凡是小于低阈值的一定不是边缘；检测结果在高低阈值之间的，看其周边8个像素中是否有超过高阈值的边缘像素，有则为边缘，否则不是边缘 对于递增的标准差σ’，重复上述步骤1－5 用特征综合方法，收集来自多尺度的最终边缘信息 matlab：edge σ=2.5Roberts算子Log算子σ=1总结：边缘检测总结：边缘检测边缘检测与滤波器 获取图像一阶微分局部最大值/二阶微分过零点 边缘检测的难点在于区分真正的边缘和噪声，为了减弱噪声的影响，在对图像进行微分/差分之前，使用平滑滤波器处理原始图像 多尺度滤波器与过零点定理 滤波器的尺度对于边缘检测的影响 最优边缘检测滤波器 补充：病态问题与正则化方法补充：病态问题与正则化方法完善定义的问题(well-posed problem) 问题的解具有存在性与唯一性； 数据连续变化时，问题的解也连续变化，从而保证问题的解对噪声具有鲁棒性 病态问题(ill-posed problem) 不符合上述条件的问题 在计算机视觉中，绝大多数问题都是病态问题 例：边缘检测中求信号的一阶/高阶微分病态问题病态问题病态问题描述 将观察信号记作Y，理想信号记作Z A为某一变换算子，A一般不可逆 稳定算子P PZ描述了Z在全部定义域范围内的总平滑程度，其值越小，Z越平滑正则化方法正则化方法用正则化方法求Z 在约束||PZ||＜C的条件(C为某一指定常数)下求Z，使||AZ-Y||最小 在约束||AZ-Y|| ＜C的条件下，求Z使 ，||PZ||最小 求解Z使E最小：E=||AZ-Y||+λ||PZ|| 正则化方法求解的思想 求Z，使||AZ-Y||尽可能小 Z为理想物理信号，与噪声比较它应是一个变化相对缓慢的连续函数，应使稳定泛函||PZ||也较小 举例：边缘检测中的正则化方法举例：边缘检测中的正则化方法问题描述 Z(n)为理想信号，Y(n)为带有噪声的观察信号 正则化求解 定义泛函 问题转化：求Z(n)使上式最小，这是典型的变分问题 求解结果 h(n)为三次B样条函数举例：边缘检测中的正则化方法举例：边缘检测中的正则化方法观察信号Y(n)经三次B样条函数滤波可得Z(n)的最优解 在正则化方法的意义上，消除噪声的最优平滑滤波器为三次B样条函数 三次B祥条函数非常接近于高斯函数 求出理想信号Z(n)后，可由Z(n)的一阶差分局部最大值或二阶差分过零点得到边缘点3.4 其他图像处理3.4 其他图像处理连接孤立的边缘点：构成某一物体在图像上形成的一个区域的边界线 图像分割：找出具有相同纹理的区域或由边缘点组成的闭合曲线围成的区域 角点检测 直线检测 纹理分析 ……3.4.1 角点(Corner Point)检测3.4.1 角点(Corner Point)检测角点的定义 角点是在邻域内的各个方向上灰度变化值足够高的点 别名：兴趣点、要点、特征点(feature point) 3.4.1 角点检测3.4.1 角点检测角点检测方法 基于灰度图像的角点检测 Beaudet角点检测 Kitchen-Rosenfeld角点检测 SUSAN角点检测 Harris角点检测 …… 基于二值图像的角点检测 基于轮廓曲线的角点检测 角点响应函数CRF (Corner Response Function) 3.4.1 角点检测3.4.1 角点检测Beaudet角点检测 Kitchen-Rosenfeld角点检测 SUSAN角点检测 根据圆形模板内，与中心像素相似的像素个数 ，设计角点响应函数Harris角点检测Harris角点检测基本思想 通过一个小的滑动窗口检测角点 若窗口以角点为中心，那么在任意方向上平移该窗口，窗口内的灰度值都将会有剧烈的变化 Harris角点检测Harris角点检测平滑区域边缘角点各个方向基本不变边缘方向基本不变各个方向均有剧烈变化Harris角点检测Harris角点检测设平移量为 ，用图像的自相关函数表示窗口内灰度值的变化窗口函数 w(x,y) =GaussianHarris角点检测Harris角点检测泰勒级数展开，推导自相关函数其中 M 是 2 x 2 的实对称矩阵（自相关矩阵）Harris角点检测Harris角点检测矩阵M描述了图像局部区域的亮度性质 矩阵M的特征值 正比于图像局部自相关函数E的理论曲率平滑区域边缘角点Harris角点检测Harris角点检测12“角点” 1 和 2 都很大， E在各个方向显著变化1 和 2 都很小， E在各个方向基本不变“边缘” 1 >> 2“边缘” 2 >> 1平滑 区域定性分析：基于M 特征值的图像点分类Harris角点检测Harris角点检测定量分析：角点响应函数(k :经验常数, k = 0.04-0.06)Harris角点检测Harris角点检测12“角点”“边缘”“边缘”平滑 区域定量分析：基于角点响应函数的取值R >> 0R << 0R << 0|R| 很小Harris角点检测Harris角点检测算法： Harris角点检测 对于图像上的每一个点(x,y)，计算自相关矩阵M 对于每一像素点(x,y)计算角点响应函数CRF(x,y) Harris角点检测Harris角点检测参考资料 Harris C, Stephens M, “A Combined Corner and Edge Detector”, Proceedings of the 4th Alvey Vision Conference, 1988, PP:147-151 http://www.cim.mcgill.ca/~dparks/CornerDetector/index.htm算法： Harris角点检测（续） 设定阈值T，将角点响应函数CRF(x,y)中所有低于T的值设为0 在窗口范围内寻找局部极大值点作为检测出的角点Harris角点检测举例Harris角点检测举例原始图像Harris角点检测举例Harris角点检测举例角点响应函数CRFHarris角点检测举例Harris角点检测举例CRF>阈值THarris角点检测举例Harris角点检测举例在窗口内寻找CRF的局部最大值Harris角点检测举例Harris角点检测举例角点检测结果Harris角点检测讨论Harris角点检测讨论Harris角点的优点 ①计算简单 ②提取的点特征均匀且合理 ③稳定：Harris算子对图像旋转、灰度变化、噪声影响和视点变换不敏感 Harris 算子的局限性 ①对尺度很敏感，不具有尺度不变性 ②提取的角点精度是像素级的3.4.2 直线检测3.4.2 直线检测基于Hough变换的线检测 基本原理：点－线的对偶性质XY平面ab参数空间3.4.2 直线检测3.4.2 直线检测基于Hough变换的线检测 基本原理：点－线的对偶性质XY平面ab参数空间在XY平面检测直线，转化为在参数空间检测交点基于Hough变换的线检测基于Hough变换的线检测使用直线的标准表示法 点－正弦曲线的对偶XY平面参数空间基于Hough变换的线检测基于Hough变换的线检测点－正弦曲线的对偶 XY平面参数空间若能在参数空间中确定交点，就实现了直线检测基于Hough变换的线检测基于Hough变换的线检测Hough变换的性质 直角坐标系中的一个点映射到参数空间中为一条正弦曲线； 参数空间中的一个点对应直角坐标系中的一条直线； 直角坐标系中的共点线映射到参数空间中为一条曲线； 直角坐标系中的共线点映射到参数空间后为一个交于同一点的曲线簇基于Hough变换的线检测基于Hough变换的线检测算法： 基于Hough变换的线检测 将参数空间细分为m×n个累加单元，并设置累加器矩阵Q 将累加器矩阵Q(m×n)的初始值置为零 对于XY平面上的点(xi，yi)（i=1，2，3…s，s为平面上的已知点数），令θ等于θ轴上允许的细分值，计算对应的 将得到的 值四舍五入为最接近 轴上的允许细分值 在累加器矩阵Q中，找到所对应的单元，并将该单元的累加值加1 重复3-5步直到处理完XY平面上的所有点，在累加器矩阵Q中，值最大单元对应的θ和 即为XY平面直线方程的参数基于Hough变换的线检测举例基于Hough变换的线检测举例基于显微图像处理的微夹钳运动性能检测总结：数字图像处理总结：数字图像处理第2章 数字图像及其性质 2.1 补充：卷积与傅立叶变换 2.2 数字图像的形成：采样与量化 2.3 数字图像性质 距离、像素邻接性 区域与边缘 直方图 图像中的噪声总结：数字图像处理总结：数字图像处理第3章 图像预处理 3.1 像素亮度变换：直方图均衡化 3.2 图像平滑 主要目的：去噪 基本手段：滤波 难点：在去噪的同时保留图像边缘——具有边缘保持功能的平滑方法 总结：数字图像处理总结：数字图像处理3.3 边缘检测 边缘：图像上灰度的不连续点，或灰度变化剧烈的地方 手段：获取图像一阶微分局部最大值/二阶微分过零点 难点：区分边缘和噪声——平滑滤波 滤波器的尺度对于边缘检测的影响 最优边缘检测滤波器：Canny边缘检测 3.4 其他图像处理 Harris角点检测 基于Hough变换的直线检测算法总结算法总结计算亮度直方图 直方图均衡化 高效的中值滤波 Canny边缘检测 Harris角点检测 基于Hough变换的线检测摄像机标定与立体视觉 Camera Calibration & Stereoscopic Vision摄像机标定与立体视觉 Camera Calibration & Stereoscopic Vision主要内容主要内容第4章 摄像机标定 4.1 补充：坐标变换 4.2 摄像机模型 4.3 线性模型摄像机标定(DLT标定法) 4.4 R. Tsai 的 RAC的标定法 4.5 张正友的平面标定法 4.6 立体视觉摄像机标定 4.7 机器人手眼定标 4.8 摄像机自标定技术主要内容主要内容第5章 立体视觉 5.1 立体视觉与三维重建 5.2 极线约束 5.3 对应基元匹配 5.4 射影几何意义下的三维重建The EndThe End