基于SURF算法的多光谱序列图像配准的研究

基于SURF算法的多光谱序列图像配准的研究 代号 10701 学号 1020421252 分类号 TP317.4 密级 公开 题 中、英文 目 基于 SURF 算 法 的 多 光 谱 序 列 图 像 配 准 研 究 Research on Multi-spectral Sequence Images Registration based on SURF Algorithm 朱? 曾平 教授 作者姓名 指 导 教 师 姓 名 、 职务 学科门类 工学 学 科 、 专 业 计 算 机 系 统 结 构 提 交 论 文 日 期 二 ?一三年 一月 西 安 电子 科 技大 学 学 位 论文 独 创性 ( 或创 新 性) 声 明 秉 承 学 校 严 谨 的 学 风 和 优 良 的 科 学 道 德 , 本 人 声 明 所 呈 交 的 论 文 是 我 个 人 在 导 师 指 导 下 进 行 的 研 究 工 作 及 取 得 的 研 究 成 果 。 尽 我 所 知 , 除 了 文 中 特 别 加 以 标 注 和 致 谢 中 所 罗 列 的 内 容 以 外 , 论 文 中 不 包 含 其 他 人 已 经 发 或 撰 写 过 的 研 究 成 果 ; 也 不 包 含 为 获 得 西 安 电 子 科 技 大 学 或 其 它 教 育 机 构 的 学 位 或 证 书 而 使 用 过 的 材 料 。 与 我 一 同 工 作 的 同 志 对 本 研 究 所 做 的 任 何 贡 献 均 已 在 论 文 中 做 了 明 确 的 说 明并表示了谢意。 申请学位论文与资料若有 不实之处,本人承担一切的法律责任。 本人签名: 日期 西 安 电子 科 技大 学 关 于 论文 使 用授 权 的说 明 本 人 完 全 了 解 西 安 电 子 科 技 大 学 有 关 保 留 和 使 用 学 位 论 文 的 规 定 , 即 : 研 究 生 在 校 攻 读 学 位 期 间 论 文 工 作 的 知 识 产 权 单 位 属 西 安 电 子 科 技 大 学 。 学 校 有 权 保 留 送 交 论 文 的 复 印 件 , 允 许 查 阅 和 借 阅 论 文 ; 学 校 可 以 公 布 论 文 的 全 部 或 部 分 内 容 , 可 以 允 许 采 用 影 印 、 缩 印 或 其 它 复 制 手 段 保 存 论 文 。 同 时 本 人 保 证 , 毕 业 后 结合学位论文研究课题再撰写的文章一律署名单位为 西安电子科技大学。 (保密的论文在解密后遵守此规定) 本学位论文属于保密,在年解密后适用本授权书。 本人签名:日期: 导师签名:日期:摘 要 多 光 谱 图 像 配 准 是 将 不 同 时 间 、 不 同 传 感 器 、 不 同 视 角 及 不 同 拍 摄 条 件 下 获 取的两幅或多幅图像进行匹配。 多光谱 序列图像提供了比单一图像更丰富的信息, 因此研究多光谱序列图像 的配准方法具有重要意义。 SURFspeed-up robust features , 即 加速健壮特征 算法 是一种具有尺度不变性和 旋转不变性且性能较好的算法 。 本文将SURF 算法应用于图像配准 , 实验表明, 可 在保证配准精度与适用性的 前提下,显著提高计算效率。 本文针对多光谱序列图像配准 时源图像数量较多、 有序等 特点, 研究了以指定 对 象 或 指 定 位 置 为 目 标 的 固 定 参 考 图 配 准 算法 , 以 及 按 序 列 顺 序 进 行 两 两 配 准 的 序列相邻配准算法。 通过实验和分析, 将SURF 特征检测 技术引入到了多光谱序列 图像配准中; 提出了用信息量扩展SURF 检测 算子和分特征集匹配方法, 提高算法 性能和配准速度。 实验结果证明, 改进后的SURF 算法相 比于传统的配准方法 , 在 保证图像配准准确度的前提下,算法复杂度和运行时间 都有了明显的降低。 关键词:图像配准 多光谱 序列图像 SURF 信息量Abstract Multi-spectral image registration deals with the matching of two or more pictures for a single object, which are generally captured in very different and complicated situations, varying from the time being taken, sensors used, and directions chosen to various conditions that pictures be caught. The sequence of images obtained offers much more information than a single image, and hence it is of significant importance to study the registration method for a sequence of imagesDue to its scale-invariance, rotation-invariance and better algorithm performance, the SURF algorithm is exhibiting widening applications in image registrationWe shall apply such algorithm to image registration, and actually it proves a considerable progress in computing efficiency while assuring reasonable registration accuracy as well as applicability Taking advantage of a relatively large number of images together with the given order of images, the article mainly concerns on the one hand the so-called sequence-neighbored registration approach based on mutual registration in an image sequenceOn the other hand, the fixed reference registration method with a specified objective or a specified location is also discussed. Introduce by experiment and analysis the SURF characteristic testing into multi-spectral image registration and extend SURF testing operator and component characteristic registration via information quantity to improve algorithm performance. Experimental results indicate that the improved SURF algorithm outperformed the classic image registration in both simplifying the algorithm complexity and also shortening the performance time Keywords: Image registrationMulti-spectral image sequenceSURFInformation quantity 目 录 第一章 绪论. 1 1.1 研究背景和意义1 1.2 国内外研究现状2 1.2.1 基于灰度的配准方法3 1.2.2 基于特征的配准方法4 1.2.3 基于变换域的配准方法. 4 1.3 本文的研究内容6 1.4 本文各章节的安排. 7 第二章 图像 配 准 技 术概 述. 9 2.1 图像配准的定义9 2.2 图像配准的组成 10 2.3 图像配准过程中的相关技术. 13 2.3.1 图像变换13 2.3.2 图像插值14 2.3.3 相似性测度. 14 2.3.4 优化算法. 14 2.4 图像配准的评价标准. 15 2.5 本章小结 15 第三章 SURF 图像配准技术研究17 3.1 SURF 算法的优势. 17 3.2 SURF 特征检测19 3.2.1 积分图像(Integral Image ) 19 3.2.2 近似的 Hessian 矩阵. 19 3.2.3 尺度空间的表示20 3.2.4 特征点定位. 22 3.3 SURF 特征描述22 3.3.1 特征点方向特征的确定22 3.3.2 描述子向量的构建. 23 3.4 SURF 特征点匹配. 24 3.4.1 基于最近距离比次近距离的匹配方法243.4.2 利用 Hessian 矩 阵 迹的正负性加速匹配25 3.5 本章小结 26 第四章 基于 SURF 算 法 的 多 光谱 序 列 图 像配 准. 27 4.1 序列图像配准原理27 4.2 固定参考图配准方法. 28 4.3 序列相邻配准方法28 4.3.1 序列相邻配准方法原理28 4.3.2 序列相邻配准步骤. 29 4.4 SURF 算法的改进. 29 4.4.1 特征点检测算法的改进29 4.4.2 特征点匹配算法的改进31 4.4.3 改进的 SURF 算法. 32 4.4.4 RANSAC 算法剔 除误匹配点33 4.5 实验结果 35 4.6 本章小结 37 第五章 与 展 望. 39 5.1 论文的主要研究内容. 39 5.2 课题展望 40 致 谢 41 参考文献43 第一章 绪论 1 第一章 绪论图像配准image registration 是对 同一场景在不同条件下得到的两幅或多幅 图 [1][2] 图像进行对准、 叠加的过程 , 是八十年代以来一项发展 极为迅速的重要的信息 处 理 技 术 , 是 所 有 需 要 合 并 多 个 数 据 源 从 而 获 取 最 终 信 息 的 图 像 分 析 任 务 ( 如 图 像 融 合 、 变 化 检 测 和 多 通 道 图 像 复 原 等 ) 的 必 要 的 前 期 工 作 。 通 过 对 图 像 的 精 确 配准, 可以 更 好 地 进 行 图 像 信 息 融 合 、 目 标 定 位 、 变 化 检 测 、 高 分 辨 率 图 像 的 重 建 等 后 续 处 理 工 作 , 因 此 图 像 配 准 的 处 理 结 果 的 好 坏 将 会对 后 续 工 作 的 质 量 产生 直接影响。 随着 现 代 科 技 的发展, 人 们 获 取 图 像 的 能 力 迅 速 提 高 , 单 一 光 谱 的 图 像 处 理 已 经 越 来 越 不 能 满 足 需 要 。 目 前 , 在 医 学 影 像 、 遥 感 图 像 、 机 器 人 视 觉 、 三 维 重 构 及 军 事 等 领 域 中 , 经 常 需 要 对 不 同 类 型 传 感 器 或 同 一 传 感 器 在 不 同 时 间 获 取 的 图 像 数 据 综 合 起 来 使 用 , 达 到 对 目 标 更 全 面 、 清 晰 、 准 确 的 理 解 和 认 识 的 目 的 。 而 多 光 谱 图 像 的 配 准 是 实 现 将 多 个 图 像 综 合 起 来 使 用 的 重 要 前 提 , 因 此 多 光 谱 图 像配准技术也获得了迅速发展 。 1.1 研究 背景和意 义 多 光谱 图 像 配 准 技术是 数 字 图 像 处 理 学 科 领 域 的 重 要 研 究 内 容 之 一 , 它可以 将 不 同 时 间 序 列 、 不 同 视 角 和 不 同 摄 像 头 获 得 的 同 一 场 景 的 多 幅 图 像 变 换 到 同 一 坐 标 系 中 , 得 到 最 佳 匹 配 , 这 一 过 程 是 依 据 一 定 的 相 似 度 函 数 决 定 多 幅 图 像 之 间 [3][4] 的几何变换参数来实现的 。多光谱图像配准在医学图像、 遥感图像、 军事图像、 [5] 计算机视觉等领域都有非常广泛的应用前景 。多光谱图像由于来源于 同一传感器 不 同 时 间 所 拍 摄 , 或 者 来 源 于 不 同 传 感 器 图 像 抓 取 设 备 , 所以 能 提供 比 单 幅 图 像 更多的 信 息 量 。 经 过 融 合 后 的 图 像 使得 单 个 信 息 源 的 信 息 利 用 率 达 到 最 大 , 这 就 使得 场 景 中 目 标 信 息 感 知 的 不 完 整 性 和 不 确 定 性 大 大 降 低 。但是 由 于 同 一 传 感 器 不 同 波 段 的 成 像 不 同 , 获 取 图 像 的 时 间 、 角 度 、 环 境 也 不 同 , 使 得 多 光 谱 图 像 配 准 相 比 较 与 单 一 光 谱 图 像 的 配 准 就 变 得 异 常 困 难 。 即 使 是 对 同 一 场 景 下 的 同 一 物 体 , 因 为 波 段 的 不 同 , 所 得 到 的 图 像 之 间 灰 度 属 性 也 经 常 存 在 着 非 常 大 的 差 异 。 在 一 些 情 况 下 , 对 于 同 一 物 体 , 在 一 种 波段 下 , 能 够 得 到 清 晰 的 图 像 , 但 是 在 另 一种 波段 下 , 就 可 能 无 法 成 像 , 这 使 得 多 光 谱 图 像 配 准 具 有 实 现 的 困 难 性 。 尽管 如此, 存 在 灰 度 属 性 的 差 异 的 多 光谱 图 像 之 间 也 还 是 包 含 了 很 多 的 共 同 信 息 , 这 一特点 使得 多 光谱 图 像 之 间 配 准 具 有 理 论 上 的 可 能 性 。 简单 说来 ,多 光谱 图 像 之 间 主要 存在 灰度级 不同 、 分 辨 率 不同 、 空 间 位 置 不同 ( 旋 转 和 平 移 ) 、 放 大 比 例 不同 、 非 线 性 形 变 不同 等 差异 。 本 文 主 要 是 对 在 有 抖 动 的 成 像 情 况 下 获 取 的 多波 2 基于 SURF 算法的多光谱序列图像配准研究 段图像配准 进行研究,因此不考虑缩放比例和非线性变 形等情况。 图1.1 同一场 景,不同波段,不同偏移量的三幅图 对于多光谱相机,一般都是获取同一场景不同波段的多幅图像。但是对于一 般的手持相机来说,在拍摄时很难保持静止不动,即使使用三脚架固定,也可能 会因为地面不平或者按快门时用力不均等造成轻微的移动或旋转,从而造成多幅 图像的抖动。因此为了后期能得到高质量的合成效果,图像的平移和旋转配准问 题必须解决。 多光谱图像配准经过多年的发展 ,已经取得了丰硕的研究成果,比 [6][7] 如 在 图 像 相 似 性 测 量 方 面 已 经 研 究 出 了 很 多 非 常 优 秀 的 方 法 和 策 略 。但是由 于图像 配准数据来源多样,以及图像配准课题本身的复杂性, 加上不同应用背景 下对图像配准的要求各不相同,同时影响图像配准的因素非常多,多 光谱图像配 准技术还有待进一步的提高和发展 。 现今国内和国外众多同行都在研究多 光谱图 像配准的技术和方法,只要是涉及到两幅图像之间的操作,都会涉及到图像配准 这一课题,都需要找出图像之间的 几何变换 或者对应关系。尽管图像配准课题目 前处理框架和流程 比较统一,但是不同 具体应用下的图像配准都都需要不同的 处 理和分析方法。同时 由于多光谱图像之间成像 波段不同存在着非常复杂的成像畸 变,因此多 光谱图像配准技术是一个非常复杂而有挑战性的课题。在多 光谱图像 配准的过程中,既需要对图像进行校正、特征描 述等处理,也涉及到图像之间的 匹配和识别等方法。所以,多 光谱图像的配准研究具有理论上和实践上的双重意 义。 1.2 国内 外研究现 状 早 在 七 十 年 代 美国 的 武 器 投 射 系 统 和 飞 行 器 辅 助 导 航 系 统 等 应 用 研 究 中 , 图 像 配 准 的 概 念 就 被 提 出 并得到 了 军 方 大 力 的 赞助 与 支持 。 八 十 年 代 后 , 图 像 配 准 技术在很多领域有着大量的研究, 如 模式识别、 图像处理、 自动导航及目标定位、 遥 感 数 据 处 理 、 计 算 机 视 觉 、 医 学 诊 断 与 辅 助 治 疗 、 数 字 地 图 的 定位 和 环 境 监 督 等 。 不 同 传 感 器 图 像 的 信 息 具 有 互 补 性 , 对 这 些 图 像 进 行 融合 , 得 到 的 图像 可 在第一章 绪论 3 目标识别和跟踪等方向有效地应用 ,因此对这些图像进行 配准意义更大。 在过去二十年里, 图像配准方法 的研究有了大幅度进展。Brown 在1992年发表 了文章“A survey of image registration ”,这 篇文章概括描述 了图像配准领域的主 要方法。Zitova 等人在2003 年发表的文章“Image registration methods: a survey ” 中 论 述 了 图 像 配 准 领 域 在 随后 十 年 发 展 起 来 的 相 关 方 法 。 这 两 篇 综述 文章 在 给出 图 像 配 准 的 科 学 定 义 的 基 础 上 , 对 当 前 图 像 配 准 技 术 的 主要 理 论 及 常 见 算 法 进 行 了 系统介绍,是图像配准技术方面很好的 综述文章。 大量 图 像 配 准 的 研 究 结 果 得到 了 不 同 的 配 准 方 法 , 很 多 文 献 都 有 相 关 阐述 。 根 据 所 利 用 图 像 信 息 的 不 同 , 归 纳 起 来 , 可 将 多 种 多 样 的 配 准 算 法 大 体 分为 三大 类 : 基 于 灰 度 的 配准 方 法 、 基 于 特 征 的 配准 方法 和 基 于 变 换 域 的 配 准 方 法 。 下 面 将分别对上述三个大类的 配准技术的发展状况进行阐述。 1.2.1 基 于灰度的 配准 方法 直 接 利 用 图 像 的 灰 度 信息 进行配准 的 基 于 灰 度 信 息 的 配准 方法 , 避 免 了 在 特 征提取 过 程 中 产生 的 误 差 , 因此 具有 强 稳 健 性 、 高 精度 、 不 需 要 预 处 理 即可 自动 配准的 优 点, 从而 得到 了 广泛 的 应用 , 是 最 早 发 展 起 来 的 图 像 配 准 技 术 。 基 于 互 信息的方法 Mutual Information-based method 和 基 于 相 关 性 的 方 法 Correlation-based method 是此分类中用的比较多的两个方法 。 Rosenfeld 等人 在1982 年 提出了 互相关cross-correlation 或 者 称 为 交 叉 相 关 的 概念, 用其描述了一幅图像和一个模板的相似程度 。 这一方法 通常用于模板匹配, [8] 是 一 种 最 基 本 的 基 于 灰 度 统 计 的 图 像 配 准 方 法 。1995 年,Viola 等人 和Collignon [9] 等人 分别 把 互信息独立地 引入医学图像配准领域,实现了 多模态医学图像配准, 在 整个医学界 产生了 深远的影响。 在MRI 、CT 、 遥感图像 、PET 等 多 光 谱 图 像 配 准中, 基 于 互 信 息 的 配 准 算 法 已 被 大 量 应 用 , 成 为 现 在 研 究 的 一 个 热 点 。 针 对 传 统 的 互 信 息 方法 只 考 虑 了 图 像 的 灰 度 信 息 而 缺 少 空 间 信 息 的 情 况 , 后继 研 究 者 做 [10] 了不同的改进。Pluim 等人 为了 改善其极值性能, 提出将互信息和图像的梯度信 [11] 息结合起来; Rueckert 等人 为了将二阶熵形式的互信息成功的应用到非刚体的配 准中, 深入研究并提出了一种扩展的互信息 框架;Dejan和Tomazevie 等人提出了基 [12] 于 多 维 特 征 的 互 信 息 法;国内 研 究 中 , 山 东 大 学 的 李可 等人将 互 信 息 与 边缘互 方差值结合, 形成一个新的测度 并用在在医学图像配准上 , 取得了非常好的效果; [13] 陈明 等人提出 了 创 建 图 像 的 模糊 梯 度 场 以 及 建 立 模 糊 梯 度 相 似 性 测 度 的理论 , [14] 并将其 和 互 信 息 结 合 使 用 ;Studholme 使用离散直方图来取代以前使用的Parzen [15] 窗口 并对 三 种 信 息 量 度 量 : 互 信 息 、 联合熵 、 归 一 化 互 信 息 进 行 了 比 较 ;冯林 等 提出了确定性扰动PV 插值算法, 解决了 互信息插值中在网格点处容易出现局部 4 基于 SURF 算法的多光谱序列图像配准研究 极值的情 况 , 这 些 算 法 都 有 效 的 改 善 了 互 信 息 配 准 过 程 中 目 标 函 数 的 性 能 。 [16] Anthony 等人 将 互 信 息 和 空 间 信 息 结 合 起 来 提出 了 “ 空 间 互 信 息 ” 法spatial mutual information , 与互信息方法相比, 此方法 对噪声不敏感, 有更好的鲁棒性, 在多光谱 图像配准有更高可靠性。 1.2.2 基 于特征的 配准 方法 由 于 图 像 中 有 很 多 种 可 以 利 用 的 特 征 , 因 而 产 生 了 多 种 基 于 特 征 的 方 法 。 常 用的图像特征有: 特征 点 包括角点、 高曲率 点等 、 直 线段、 边缘 利用Robert、高 斯 、 拉普拉斯LoG 、Canny 、Gabor 滤波等边缘检测算 子 提取 或轮廓、 闭合区域、 特 征 结 构 以 及 如 矩 不 变 量 等 统 计 特 征 。 基 于 特 征 的 方 法 是 配 准 中 研 究 较 多 的 一 类 方 法 , 这 类 方 法 的 主 要 共 同 之 处 是 首 先 提取 图 像 特 征 , 再 对 提 取 的 图 像 特 征 进行 匹配, 通 过 特 征 的 匹 配 关 系 最后 计 算 出 图 像 间 的 变 换 参 数 。 这 类 方 法 为 了 达 到 提 高配准的 速度和精度的目,将研究重点 放在了如何更有效的提取配准特征 方面。 [17] 关于 基 于 特 征 的 配 准 方 法 , 大 量 的 学 者 对 此 进 行 了 研 究 :Li 等 为了 得到 红 外 图像 以 及 可 见 光 图 像 中 可 靠 的 特 征 点 ,将 基 于 灰 度 的 感 兴 趣 点 选 择 和 轮 廓 检 测 [18] 相结合来;Sheng 等人 采用如下方法得到了整个地平线边缘 : 首先, 对边缘进行 精 确 定 位 , 这 一 步 用 到 了 多 尺 度 分 级 边 缘 检 测 和 多 尺 度 边 缘 聚 焦 方法 , 接着 用边 缘 显 著 方 法 计 算 出 若 干 条 显 著 曲 线 并 对 这 些 显 著 曲 线 的 间隙 进 行 填 充 , 最 后 对 连 [19] 接曲线 的 显著性 重新进行估计 ;Stockman 等 将控制点选在 闭区域的中心,并且 用 聚 类 方 法 来 确 定 配 准 控 制 点 对 , 最终的 研 究 结 果 表 明 应 采 用 线 交 叉 点 和 线 段 端 [20] 点 来 实现 具有 显 著几 何变 换 关系 的图 像 配准 ;Ton 和Jain 将 控 制点 选在 物 体的 中 心, 并用松弛算法 来确定配准控制点对;Li 等 人将强边缘如区域边界 作为特征, 在 闭 区 域 匹 配 中 用 链 码 相 关 和 形 状 相 似 性 规 则 , 同时检 测 开 区 域 的 角点 信息 并 进 行 匹配 , 为 了 去 除 错 误 匹 配 , 要 对 匹 配 得 到 的 控 制 点 对 进 行 一 致 性 检 查 , 这 一 方 法 在 不 同 传感器 图 像 间的配 准 中 得到了 广 泛 应用 ;1999 年 ,Lowe 等 人提 出SIFT 算子 [21] , 该算法 一经提出就 引起了广泛 关注,2004 年Lowe等人又对这一 方法 进行了 提 升和总结, 使其用于兴趣点的检测和描述, 也应用到图像配准问题 ;2006年,Bay [22] 等人 提出SURF算法, 该算法提 取的特征具有尺度不变、 旋转不变的性能, 并且 [23] 在计算速度上有明显优势 ;2007年,GehuaYang 等人 提 出了GDBICP 算法, 这一 整套方 法可在大多数情况的图像配准 中使用, 该算法分为三大步骤: 初始化技术、 估算DBICP 方法 和 决策标准 。 该算法 不同 于以往的配准算法 , 决策标准的引入 使 得配准的通用性 大大增强了。 1.2.3 基 于变换域 的配准方 法 第一章 绪论 5 傅立叶变换 是 图像 处理 中 常 用 的 典 型 方法。 在 图 像 配 准 中 使 用 傅 立 叶 变 换 有 如 下 优 点 : 可 以 用 快 速 傅 立 叶 变 换 实 现 ; 图 像 间 变 换 很 容 易 找 到 频 域 对 应 量 , 如 旋转、平移和缩放;对与频域不相关的或独立的噪声 有很好鲁棒性 。 对于 仅 存 在 平 移 变 化 的 两 幅 图 像 的 配 准 , 可 用 相位相关 这一 典型 算 法 。 相位 [24] 相关是Kuglin 等人 在1975 年首次提出的, 被广泛地用于 运动估计以及灰度图像的 配准等领域, 其基本用途是用来 对两幅灰度图像hm, n 和gm, n 的相似或者不相似 [25] [26] 程度 进 行 衡 量 。傅立叶变换的平 移特性 在 基 于 相 位 相 关 的 图 像 配 准 方 法 得到 了运用,浮动图像hm, n 是将参考图像gm, n 平移m ,n 之后得到的,即 0 0 hm, ngm - m ,n - n 0 0 那么它们满足如下的傅立叶变换关系 :? m n 0 j2u v MN Hu,ve Gu,v 式 1-1所以有 m n 0 j2u v Hu,vGu,v MNe 式 1-2| Hu,vGu,v | 其中,Gu,v 是Gu,v 的 复共轭。 公式1-3 对上 式做了傅立叶反变换 , 得 到的脉 冲函数中,在平移量的位置上值为 1,不存在平移的其它各处均为 0,即 Hu,vGu,v ?1 F? mm ,nn 式 1-300 | Hu,vGu,v | 其中,等式的左侧的部分为hm, n 和gm, n 两幅图像的的相位位置 , 即? Hu,vGu,v ?1 PCm,nF 式1-4? | Hu,vGu,v | 以下是基于相位相关的图像配准算法的步骤: 1 计算图像hm, n 的傅里叶变换Hu, v 和图像gm, n 的傅立叶变换Gu, v ; 2 利用式1-2 计算归 一化互功率谱; 3 利用式1-4 计算相 位相关; 4 找出相 位相关的主峰峰值所在的位置 。 5 得到图 像间的平移量。 [27] Reddy 等人 针对同时存在旋转、 缩放和平移的图像配准问题 , 提出了先在对 数 极 坐 标 下 计算出 旋 转 角 和 缩 放 系 数 并 对 高 分 辨 率 图 像 进 行 旋 转 和 缩放 , 然 后 在 [28][29] 直角坐标系 中 根据 相位相关求出 各分轴的 平移量 ;Foroosh 等人 实现了 用Sinc 函 数 代 替 Delta 函 数 , 从而 基 于 相 位 相 关 的 配 准 方 法 在 亚 像 素 级 上 得 以 实 现 ;李 [30] [31] 中科等人 提出 将相 位相 关 和Hough 变换相 结合 的 图像 配准 方 法;Liu 等 人 将 伪 [32] 对数极坐标变换用到了图像配准中 ; 李晓明等 人 从两个 方面拓展了傅 立叶变换, 6 基于 SURF 算法的多光谱序列图像配准研究 [33] 将Fourier-Mellin变换 用在全景图拼接和图像曲线匹配上;Ojansivu 等人 提出 了中 心 对 称 的 相 位 相 关 法 , 具 有 模 糊 不 变 性 , 对 严 重 模糊 的 图 像 的 配 准 精 度 也 能 达 到 亚像素级。 小 波 理 论 提 出 之 后 , 随 着 对 其 研 究 的 深 入 , 很多 基 于 小 波 变 换 的 方 法 在图像 配 准 领 域 中 出现 。 在 基 于 小 波 变 换 的 图 像 配 准 算 法 中, 从 低 分 辨 率 向 高 分 辨 率 逐 级 迭 代 进 行 特征点 的 提 取 和 匹 配 , 这就 减 小 了 计算量 并 提 高 了 配 准 精 度 , 是 一 大 [34] 优点 。Djamdji 等 人 用à trous 小波 变 换得 到 两 幅 图像 的 特 征 点, 然后 在 不同 尺度 [35] 上 实现 特 征 点 的 配对 和 非线性 变 换 的 参 数 的 估 计 ;Moigne 等 人 从 图 像 小波分解 的LH 和HL 两个分量中实现特征点的提取 , 图像间的旋转变换参数是 采用从粗到精 [36] 的迭代方法 得到 的;Corvi 等人 将图像小波变 换的模的 极值选做特征 点, 在计 算 变 换 模 型 的 旋 转 和 平 移 参 数 的 初 始 值 时 采 用 聚 类 方 法 , 然后 用 最 小 距 离 方 法 对特 征点 进行 匹 配 , 最 后 对 图 像 间 的 变 换 参 数 采用 最 小 二 乘 法 进行 估 计 ; 此外 [37] G.Lazaridis 等人 提 出 的基于Walsh 变换 的图 像配准 算法 是典型 的基 于变换 域的 图 像配准方法 。 总 而言之 , 图 像 配 准 的 方 法 很多 , 并且 不 同 的 领 域 有 着 不 同 的 研究 方 向 。 尽 管 实 现 配 准 的 方 法 很 多 且 各 具 优 势 , 但并 不 存 在 能 使 所 有 种 类 的 图 像 配准 都 能 获 得 最 佳 效 果 的 方 法 。 大 多 数 的 配 准 技 术 依 赖 于 图 像 本 身 , 各 个 领 域 的 配 准 技 术 都 是 结合 具 体 的 应 用 背 景 和 实 际 情 况 度 身 订 制 的 , 但 是 不 同 领 域 的 配 准 技 术 在 理 论 方法上 都是相似的。 图像配准 技术 的 广 泛 应 用 加 上 其 自 身 的 复 杂 性 , 使它 成 了 当 前 数 字 图 像 处理 技术中 研 究的 热 点问 题。 当下配 准领 域 的 主 流方 向 为 :1 多光 谱 图像 的 配准 ;2 高速度 的 图 像 配准 ;3 高 精 度 亚 像 素 级 别 的 图 像 配 准 ;4 提高 多 幅 图 像 的配准 的 成 功 率 。 本 文 在 如 何 提 高 多 光 谱 图 像 配 准 速 度以及 精度 方 面 做 了 一 些 深 入 的 探 索 与 研 究 , 对比了SURF 和SIFT 方 法 , 利 用SURF 方 法 得 到 了 良 好 的 实 验 结 果 , 加 快了配准速度。 1.3 本文 的研究内 容 本文 结 合 部 委 项 目 研 发 需 要 , 主 要 研 究 基于SURF 的 多 光 谱 序 列 图 像 配 准 技 术。 主 要 研 究 方 向 和 工 作 有 一 下 几 点 : 首先 对 现 有 理 论 方 法 及 研 究 成 果 进行 了 介 绍,然后 着重研究了SURFSpeed-Up Robust Feature 方法 在图像配准方面的应用 , 最后 研究 了 多 光 谱 相 机 对 同 一 场 景 进行 不 同 平 移 和 旋 转 产生 的 多 幅 图 像 进 行 的 配 准 方 法 ; 针 对 序 列 图 像 配 准 中 源 图 像 数 量 较 多 、 有 序 等 的 特 点 , 分 别 研 究 了 以指 定 对 象 或 指 定 位 置 为 目 标 的 固 定 参 考 图 配 准 以 及 按 序 列 顺 序 进 行 两 两 配 准 的 序 列 相邻配准和改进的配准算法。 第一章 绪论 7 1.4 本文 各章节的 安排 本文共分为五章,各章主要内容概括如下: 第一章: 绪论。 分析 课题的研究背景和研究意义, 并对国内外的研究现状作了 详细的介绍,最后对本文工作 进行了阐述。 第二章: 图像配准技术概述。 首先介绍了图像配准的定义, 接着阐述 了图像配 准 的 组 成 和 配 准 中 用 到 的 相 关 技 术 , 并 对 图 像 配 准 方 法 的 评 价 标 准 进 行 了 研 究 , 为后面多光谱图像的配准打下了基础。 第三章: SURF 多光谱 图像配准 研究。 研究了SURF 方法 在图像配准领域的应用, 并对配准过程中的几个关键步骤进行了详细的介绍, 分析了SURF 方 法在多图图像 配准中的可行性,为下文做铺垫。 第四章: 基于SURF 的 多光谱序列图像配准。 主要是在基于SURF 图 像配准方法 基础上进行的序列图像的多图图像配准研究, 包括配准情况比较分析和配准实例, 并提出了相应的改进方法。 第五章: 总结与展望。 对本文的研究成果、 本文工 作及其实际意义做一个总结 , 并探讨了进一步研究的方向。8 基于 SURF 算法的多光谱序列图像配准研究第二章 图像 配准技术概述 9 第二章 图像配 准技术 概述 2.1 图像 配准的定 义 将 取 自 同 一 目 标 场景 的 两 幅 或 多 幅 图 像 实现 在 空 间 位 置 上 的 最佳 匹配 这一过 程 , 就 是 图 像 配 准 。 这 些 图 像 或 者 是 由 同 一 传 感 器 在 不 同 时 刻 获取 , 或者 获取 自 不同 的 传 感 器 。 配 准 的 目 的 是 建 立 起 两 幅 图 像 之 间 的 对 应 关 系 , 从而 确 定 图 像 间 采用的几何变换。 图像可以用一个二维矩阵, 如果用I x ,y 、I x ,y 分别 表示浮动图像和参考 1 2 图像在点x ,y 处的灰 度值,那么图像I 、I 的配准数学模型 可用公式表示为: 1 2 I x, ygI f x, y 式2-121 其中,fx ,y 代表二维 的 几何向量 变换函数,gx, y 代表 一维的灰度变换函数。 公式 2-1 表明 , 图像 配准主要任务有两个 , 分别体现在对函数f 的求解和对函数g的求解 上 : 一 是 几 何 空 间 上 的 对 准 ; 二 是 对 应 象 素 点 之间 在 灰 度 上 的 对 准 。 一般 情 况 下 灰 度 变 换 关 系 并 不 是 必 要 的 , 且 由 于 几 何 变 换 是 灰 度 变 换 的 前 提 , 所 以 寻 找 空 间 几何变换关系fx , y 是 实现 配准的关键步骤。 通常灰度变换 被归为图像预处理部分, 因此公式2-1 可改写 为: I x, yI f x, y 式2-2 21 图2.1和2.2简单说明了 二维图像配准的概念。 图像配准就是对 浮动图像寻求一 种空间变换,使该图像与 参考图像中的相关点一一对应起来 。 如图2.1所示, 这两幅图像 之间没有明显的不同, 仅是方向上有差异 。 图2.1a 和图2.1b 显示的是同一物体, 其中的p点和q点分别对应于 同一位置。图2.1a 经过 变换T , 就对应于图2.1b ; 图2.2a 和图2.2b 给出了两幅图像空间中点对点的映射 过程,其中图2.2a 表示正向过程,图2.2b 表示逆向过程。 (a )(b ) 图2.1 图像间 的对应关系 10 基于 SURF 算法的多光谱序列图像配准研究x ,y x ,y x ,y x ,y 1 1 2 2 2 2 1 1 映射 逆映射 (a )(b ) 图2.2 图像映 射 过程图 2.2 图像 配准的组 成 多光谱图像配准是将不同时间、不同传感器、不同视角及不同拍摄条件下获 取的两幅或多幅图像进行匹配。 一般地,图像配准主要包括以下五个步骤: 1 图像预处理 由于 现实中成像条件是多种多样的 ,不同成像条件下得到的图像 必然会有很 大不同 ,而且在图像中肯定会有一定噪声的存在, 因此要进行图像配准, 先对各 图像进行特定目的的预处理 是必要的 ,这样可以减少或去除图像中对配准 无用或 有干扰作用的因素 ,消除各图像间的差异 ,使图像中的有用信息得到增强, 有利 于之后的配准。 2 待配准图像特征的提取 特征提取是配准的重要步骤, 一般是提取用于配准的图像中具有 对图像平移、 旋转、 比例等变换保持一致性特性的特征,同时这些特征必须是图像中共有的且 有代表性质。 如果用于配准的图像光谱特性 是相同的,可以采用像素灰度作为特 征空间; 如果用于配准的图像的光谱特性 不相同,则可以选取物体边缘、 线交叉 点、闭区 域的中心、角点等作为特征。在特征提取阶段,如下几个因素 是通常要 考虑到的 :?空间分布,即在图像之间的重叠区域 上,匹配特征应该在几何空间 上对其进行 覆盖并且应尽可能均匀分布 。在计算速度和精度之间也要有所 权衡, 特征点 数量过多会延长计算时间,特征点的数量太少又会损害配准的精度 ,容易 误配。 ?唯一性,即特征的匹配不能 出现多对一或者一对多的情况,必须 是一一 对应的 。?相似性,即用于配准的图像 可以匹配的特征必须在某种属性方面 具相 似性,且相对于图像 之间的各种变化 ,这些相似属性应该都具有不变性。 3 特征结构的匹配 第二步中提取的特征 可能是点特征、线特征、或者灰度特征等。 对提取的特 征点或特征结构进行匹配, 就是要实现 两幅图像的特征之间的一一对应关系 的建 立。匹配时 首先要为相似性测度定义一个代价函数 ,这样可以找到对应的特征结 构并建立 起同名点。在特征结构匹配阶段, 相似性度量的选择是依据选取的特征 空间来确定的并由此 实现特征结构匹配。基于灰度特征的配准算法主要有 互信息 法和相关法 。互信息法用互信息作为相似性 测度,互信息是信息论中的概念 ,通 常用“ 熵”来表示,用来描述一个系统包含另一个系统信息的多少 ,或者 随机变第二章 图像 配准技术概述 11 量间或者两个信息系统的统计相关性 。而相关法实现区域间的相关匹配 是使用 例 如归一化互相关系数等相似性度量 来确定各个模板的相似区域 。同时相关法可以 采用序贯检测和遗传算法等优化技术 来提高匹配的效率。 前一种方法相比较后者, 互信息法不需要预先对图像进行 特征提取或预分割,也不必知道 图像灰度的知识。 此外还有一些不常用的基于区域灰度信息的图像配准算法 ,如利用神经元网络进 行图像匹配和最小二乘匹配 等。基于图像几何结构特征的配准算法 分为两类:用 于点特征匹配的方法有基于 Hausdorff 距离的 方法、基于不变量的方法 和聚类方 法等; 用于区域特征匹配的方法有 基于几何不变量的方法、 基 于 Fourier 描述子 的 方法、基于松弛标签的方法和基于形状矩阵的方法等 。这 些算法从图像中提取 出 点特征或提取线特征利用封闭边缘形成区域 后,采用某种匹配方法进行匹配 并 建 立同名点。在实际应用中, 由于图像间的灰度相关性会受到 成像传感器、成像时 的气候和光照等条件的影响 ,且基于灰度信息的配准算法计算 效率不高,所以 在 实际的图像配准中不经常采用 。而基于图像几何结构特征的配准 算法在可靠 性和运行效率上优势明显 ,因此是目前的主流方向。 4 变换模型的选择和 模型参数的估算 参考图像和浮动图像之间几何畸变的情况 决定了选择 何种变换模型,被选择 的模型可以使两幅图像之间 的变化达到最大程度的拟合。变换模型的估计 要确定 模型类型并进行模型参数 估计。图像配准要计算不同图像之间 的空间几何变换 , 空间变换方式主要解决图像平面上像素的重定位问题, 变换模型是对 实际发生的 变换的数学描述。一般采用的 空间变换有如下几种:仿射变换、投影变换 、刚体 变换和非线性变换,其中仿射变换和 非线性变换是最常用的 。我们利用之前得到 的匹配特征来进行变换模型参数的估算, 然后通过测试点 评价变换模型的精度, 再根据得到的精度调整控制点集 从而使模型参数得到最优化估计。在选择 模型 以 及估计参数的时候,图像间产生变形的原因不同,选取的模型也不相同。 变换模 型按照适用范围可以分为全局变换和局部变换 两类。全局变换是指整幅图像的空 [38] 间变换都可用相同的变换参数表示 。 全局变 换 包括之前提到的 仿射变换、 刚性 变换、投影变换以及非线性 变换等,全局变换描述了图像间 的整体变换, 利用 匹 配点对根据一定的算法解 出全局变换模型的参数,再把图像的整体几何变换平均 分配到图像各个像素处。 由于传感器在成像过程中会发生 非线性变化或是视点的 变化而使图像局部产生几何形变, 全局变换模型不适合这些局部形变, 所以必 需 采用局部变换模型。局部变换 是指在图像的不同区域可以有不同的变换参数,通 常的做法是在区域的关键点位置上进行变换参数,在其他位置上进行插值处理 。 在现有的图像配准算法中, 一些算法会先用全局变换模型 实现粗匹配,再采用局 部变换模型进行精配准。 5 坐标变换与插值12 基于 SURF 算法的多光谱序列图像配准研究 得到 了两幅图像间的变换模型参数之 后,根据变换模型将浮动图像做相应参 数的变换 ,使它与参考图像处于同一坐标系下 ,浮动图像就得到了校正。 校正后 的浮动 图像与参考图像可用作后续的 处理,如图像融合或目标变化检测等。 浮动 图像变换后所得的像素点坐标 会出现 不为整数的情况,此时应该进行插值 处理。 为了解决 坐标变换过后的图像像素灰度级的赋值问题 ,要采用正向映射或反向 映 射法将 参考图像的像素灰度值映射到 浮动图像中,映射的点如果是非整数 点,就 要对该点 进行插值以计算其像素灰度值。常用 的插值算法有双线性插值法、 最近 邻插值法和 立方卷积插值法。一般来说,在三种插值算法中, 最近邻插值法 计算 速度最快 ,但插