筹 Ｄ ＩＧＩＴＡ数Ｌ字ＶＩ视ＤＥ频Ｏ ｌ－ 【本文献信息】董欣，王国中，范涛，等．一种基于梯度增强的立体匹配算法［Ｊ］．电视技术，２０１４，３８（３）． 一种基于梯度增强的立体匹配算法 董欣，王国中，范涛，滕国伟，赵海武，李国平 （上海大学通信与信息工程学院，上海２０００＂７２） 【摘要】立体匹配是深度图获取的一个关键技术，传统的立体匹配使用的图像分割方法会对图像边界造成一定的破坏，为提 高深度图边缘的准确度，提出了一种基于梯度增强的立体匹配算法。首先通过梯度算子对参考图像和目标图像进行预处理，增 强图像边界的鲁棒性，然后采用ｍｅａｎ—ｓｈｉｆｔ图像分割算法对图像进行区域分割，对分割得到的区域使用自适应块匹配法进行立 体匹配，最后采用均值滤波对图像进行后处理，得到最优的视差平面。实验结果证明该算法在图像边界的匹配精度上得到了比 较满意的效果。 【关键词】立体匹配；图像增强；视差；图像分割 【中图分类号】ＴＮ９１９．８ 【文献标志码】Ａ Ｉｍａｇｅ Ｅｎｈａｎｇｃｅｍｅｎｔ Ｂａｓｅｄ ｏｎ Ｓｔｅｒｅｏ Ｍａｔｃｈｉｎｇ Ａｌｇｒｏｒｉｔｈｍ ＤＯＮＧ Ｘｉｎ，ＷＡＮＧ Ｇｕｏｚｈｏｎｇ，ＦＡＮ Ｔａｏ，ＴＥＮＧ Ｇｕｏｗｅｉ，ＺＨＡＯ Ｈａｉｗｕ，ＬＩ Ｇｕｏｐｉｎｇ （Ｓｈｏｏｌ ｏｆＣｏｍｍｕｎｉｃａｔｉｏｎ ａｎｄＩｎｆｏｒｍａｔｏｉｎＥｎｇｉｎｅｅｒｉｎｇ，Ｓｈａｎｇｈａｉ Ｕｎｉｖｅｒｓｉｔｙ，Ｓｈａｎｇｈａｉ ２０００７２，Ｃｈｉｎａ） 【Ａｂｓｔｒａｃｔ１ Ｓｔｒｅｏ ｍａｔｃｈｉｎｇ ｉｓ ｏｎｅ ｏｆ ｔｈｅ ｋｅｙ ｔｅｃｈｎｉｑｕｅｓ ｉｎ ｄｅｐｔｈ ｅｓｔｉｍａｔｉｏｍ．Ｔｒａｄｉｔｉｏｎａｌ ｓｔｅｍ ｍａｔｃｈｉｎｇ ｍｅｔｈｏｄｓ ｄｅｓｔｒｏｉｅｓ ｔｈｅ ｅｄｇｅ ｏｆ ａｌｌ ｉｍａｇｅ ｐａｒｔｌｙ． Ｔｏ ｉｍｐｒｏｖｅ ｔｈｅ ｄｅｐｔｈ ｅｓｔｉｍａｔｉｏｎ ｐｒｅｃｉｓｉｏｎ，ａｎ ｉｍａｇｅ ｅｎｈａｎｇｃｅｍｅｎｔ ｂａｓｅｄ ｓｔｅｒｅｏ ｍａｔｃｈｉｎｇ ａｌｇｏｒｉｔｈｍ ｉｓ ｐｒｏｐｏｓｅｄ ｔｈａｔ ｕｔｉｌｉｚｅｓ ｉｍａｇｅ ｅｎｈａｎｃｅｍｅｎｔ Ｏｎ ｔｈｅ ｒｅｆｅｒｅｎｃｅ ｉｍａｇｅ ａｎｄ ｔｈｅ ｔａｒｇｅｔ ｉｍａｇｅ ａｎｄ ｔｈｅ ｓｃｅｎｅ ｉｓ ｅｎｈａｎｃｅｄ ｂｙ ａ ｇｒａｄｉｅｎｔ ｍｅｔｈｏｄ ｗｈｉｃｈ ｍａｋｅｓ ｔｈｅ ｌａｔｔｅｒ ｓｅｇｍｅｎｔａｔｉｏｎ ｓｔｅｐ ｍｏｒｅ ｒｏｂｕｓｔ ｏｎ ｅｄｇｅｓ，ｔｈｅｎ ｔｈｅ ｄｉｓｐａｒｉｔｙ ｐｌａｎｅ ｉｓ ａｓｓｉｇｎｅｄ ｔｏ ｅａｃｈ ｓｅｇｍｅｎｔ．Ｅｘｐｅｒｉｍｅｎｔ ｒｅｓｕｌｔｓ ｄｅｍｏｎｓｔｒａｔｅ ｔｈｅ ｓｕｐｅｒｉｏｒ ｐｅｒｆｏｒｍａｎｃｅ ｏｆ ｔｈｅ ｐｒｏｐｏｓｅｄ ａｌｇｒｉｔｈｍ． 【Ｋｅｙ ｗｏｒｄｓ】ｓｔｅｒｅｏ ｍａｃｈｉｎｇ；ｉｍａｇｅ ｅｎｈａｎｅｈｍｅｎｔ；ｄｉｓｐａｒｉｔｙ；ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ 近些年来，信息科学不断发展，随着３Ｄ频道的开播， 立体视频的应用也变得更多，人们越来越深刻地认识到立 １ 基于图像增强的立体匹配 体视频带来的强烈震撼。３Ｄ电视信号与传统电视信号相 １．１立体匹配算法介绍 比，需要在非常有限的带宽下通过采集、编码、传输、接收 立体匹配算法主要分为两大类，第一类是基于全局 并最终合成３Ｄ效果，数据量巨大，因此，３Ｄ技术要想走进 的立体匹配算法ｕ Ｊ，第二类是基于区域的立体匹配算 大众的生活，首先需要克服的就是视频的数据量问题。目 法。基于全局的立体匹配算法通过定义能量函数找到最 前在解决数据量问题上采取的有效方案为“纹理图＋深 优的视差平面 ，理论上可以得到质量最优的深度图，但 度图”方案，立体匹配则是深度图获取的一个重要步骤。 是算法的复杂度相对局部立体匹配算法较大，无法做到实 本文提出了一种基于梯度增强的快速立体匹配算 时。基于区域的算法通常使用基于窗口的方法，以窗口为 ： 。传统的立体匹配方法首先使用图像分割算法对图像 邻域单位进行匹配，窗口的大小决定了匹配的精度和准确 ：进行过分割，然后对分割的区域进行立体匹配。然而图像 度，但在深度不连续区域、低纹理区域和遮挡区域的效果 ：分割方法会对图像边界造成一定的破坏，导致颜色相近的 不佳 －６］。Ａｎｄｒｅａｓ Ｋｌａｕｓ等在２００６年提出了基于图像分 区域边界保持不完整，因此，本文采用梯度增强的方法对 割的立体匹配算法 卜 ，先利用图像分割的方法把图像根 目标图像和参考图像进行预处理，增强图像边界的鲁棒 据颜色信息进行分割，假设每个区域内部具有相似的深 性，从而使匹配得到的视差图在边界区域更加准确，大大 度，然后对每个区域进行全局能量函数计算ｕ。。。这种方 降低图像边界的误匹配，然后采用ｍｅａｎ—ｓｈｉｆｔ图像分割算 法在保护边缘上有一定的效果，但是若区域分割错误或者 法对图像进行过分割，通过局部立体匹配算法进行立体匹 颜色相近，那么得到的边界就会存在较大的误差。 配，最后使用均值滤波对图像进行后处理，得到最终的视 基于图像分割的立体匹配算法以图像分割得到的区 差图。 域来对每个区域进行自适应区域立体匹配 Ｊ，主要步骤 为：１）使用图像分割算法把图像分割成具有相似性的区 基金项目：国家自然科学基金项目（Ｄ．０９—０１０７—１３－００６）；上海市科学技术委员会科研计划项目（１２５１１５０２５０２） 投稿网址ｈｔｔｐ：／／ｗｗｗ．ＶｉｄｅｏＥ．ｃｎＩ《电视技术》第３８卷第３期（总第４３０期） １ 啊鞠我搿 ［７］ＩＳＯ／ＩＥＣ ＪＴＣ１ ＩＳ １３８１８（ＭＰＥＧ－２），Ｇｅｎｅｔｉｃ ｃｏｄｉｎｇ ｏｆ ｍｏｖｉｎｇ ｐｉｃｔｕｒｅｓ ａｎｄ ａｓｓｏｃｉａｔｅｄ ａｕｄｉｏ［Ｓ］．１９９４． ［８］ＩＳＯ／ＩＥＣ ＪＴＣ１ ＩＳ １４３８６（ＭＰＥＧ－４），Ｇｅｎｅｔｉｃ ｃｏｄｉｎｇ ｏｆ ｍｏｖｉｎｇ ｐｉｃｔｕｒｅｓ ａｎｄ ａｓｓｏｃｉａｔｅｄ ａｕｄｉｏ［Ｓ］．１９９８． ［９］ＩＴＥ—Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ．２６１，Ｖｉｄｅｏ ｃｏｄｅｃ ｆｏｒ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ ａｔ ｐｘ６４ ｋｂｉｔ／ｓ［ｓ］．１９９３． ［１Ｏ］ＩＴｕ—Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ．２６３，Ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｌｏｗ ｂｉｔ ｒａｔｅ ｃｏｍｍｕｎｉ— ｃａｔｉｏｎ［Ｓ］．１９９６． ［１１］ＩＴｕ—Ｔ Ｒｅｃ．Ｈ．２６４／ＩＳＯ／ＩＥＣ １４４９６－１０ ＡＶＣ，Ｄｒａｆｔ ＩＴＵ—Ｔ ｒｅｃｏｍｍｅｎ— ｄａｔｉｏｎ ａｎｄ ｆｉｎａｌ ｄｒａｆｔ ｉｎｔｅｒｎａｔｉｏｎａｌ ｓｔｎｄａｒｄ ｏｆ ｊａｏｉｎｔ ｖｉｄｅｏ ｓｐｅｃｉｉｆｃａｔｉｏｎ Ｄ ＩＧＩＴＡ数Ｌ字ＶＩ视ＤＥ频Ｏ 震＿ ［２１］胡瑞敏，牟晓弦，李明．面向视频监控的视频编解码技术［Ｊ］．电视技 术，２００８，３２（５）：６８＿７１． ［２２］数字视音频编解码技术标准化工作组（ＡＶＳ）。面向监控应用的技术 需求［Ｓ］．２００７． ［２３］ＫＵＮＴ Ｍ，ＩＫＯＮＯＭＯＰＯＵＬＯＳ Ａ，ＫＯＣＨＥＲ Ｍ．Ｓｅｃｏｎｄ ｇｅｎｅｒａｔｉｏｎ ｉｍ— ａｇｅ ｃｏｄｉｎｇｔｅｃｈｎｉｑｕｅｓ［Ｊ］．Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆｔｈｅＩＥＥＥ，１９８５，７３（４）：５４９— ５７５． ［２４］ＳＩＫＯＲＡ Ｔ．Ｔｒｅｎｄｓ ａｎｄ ｐｅｒｓｐｅｃｔｉｖｅｓ ｉｎ ｉｍａｇｅ ａｎｄ ｖｉｄｅｏ ｃｏｄｉｎｇ［Ｊ］． Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ，２００５，９３（１）：６—１７． ［２５］ＩＳＯ／ＩＥＣ ＪＣＴ１／ＳＣ２９ ＷＧｌ ｌ／Ｎ３５３６，ＭＰＥＧ一４ Ｏｖｅｒｖｉｅｗ．Ｖ．１５ ［Ｓ］．２０００． ［Ｓ］．２００３． ［１２］韩云，陈祖爵．Ｈ．２６４，ＶＣ一１和ＡＶＳ视频编码研究［Ｊ］．电视技术， ２００７，３１（２）：６－９． ［２６］ＰＥＡＲＳＯＮ Ｄ．Ｄｅｖｅｌｏｐｍｅｎｔｓ ｉｎ ｍｏｄｅｌ－ｂａｓｅｄ ｖｉｄｅｏ ｃｄｉｏｎｇ［Ｊ］．Ｐｒｏ— ｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ，１９９５，８３（６）：８９２－９０６． ［１３］数字视音频编解码技术标准化工作组（ＡＶＳ）．信息技术先进音视 频编码第二部分：视频（ＧＢ／Ｔ ２００９０．２）（ＡＶＳ—Ｐ２）［Ｓ］．２００６． ［２７］ＨＥ Ｃ，ＹＡＮＧ Ｓ．Ｎｏｖｅｌ ｐｒｏｇｒｅｓｓｉｖｅ ｄｅｃｏｄｉｎｇ ｍｅｔｈｏｄ ｆｏｒ ｆｆａｃｔｌ ｉａｍａｇｅ ｃｏｍｐｒｅｓｓｉｏｎ［Ｊ］．ＩＥＥＥ Ｐｒｏｃｅｅｄｉｎｇｓ Ｖｉｓｉｏｎ Ｉｍａｇｅ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓ— ｉｎｇ，２００４，１５１（３）：２０７－２１３． ［１４］张新晨．面向无线信道的视频编码与传输算法研究［Ｄ］．武汉：武 汉大学，２００６． ［２８］蒋刚毅，朱亚培，郁梅，等．基于感知的视频编码方法综述［Ｊ］．电子 与信息学报，２０１３，３５（２）：４７４．４８３． ［２９］鲁业频，李素平．立体视频技术的发展现状综述［Ｊ］．电视技术， ２０１２，３６（１２）：２８－３１． ［１５］阮若林．基于视觉感知特性的无线视频容错编码技术研究（Ｄ］．武 汉：武汉大学，２０１１． ［１６］蔡晓霞，崔岩松，邓中亮，等．下一代视频编码标准关键技术［Ｊ］．电 视技术，２０１２，３６（２）：８０－８４． ［３Ｏ］孙乐民，薛永林．超高清数字电视关键技术研究［Ｊ］．电视技术， ２０１２，３６（６）：１７＿２０． ◇ ［１７］ＡＶＳ工作组．下一代ＡＶＳ视频编码标准的技术需求Ｖｅｒｓｉｏｎ ２．０ ［Ｓ］．２００９． ［１８］章坚武．移动通信［Ｍ］．３版．西安：西安电子科技大学出版 社，２０１１． 作者简介： 阮若林（１９７４一），博士，副教授，硕士生导师，ＣＣＦ、ＡＣＭ会员，主要 研究方向为无线视频编解码与通信； ［１９］杜建超．基于Ｈ．２６４／ＡＶＣ的视频容错技术研究［Ｄ］．西安：西安电 子科技大学，２００６． 胡瑞敏（１９６４一），博士生导师，主要研究方向为多媒体信息处理、安 防信息技术等。 ［２０］ＳＵＬＬＩＶＡＮ Ｇ，ＷＩＥＧＡＮＤ Ｔ．Ｊｏｉｎｔ ｖｉｄｅｏ ｔｅａｍ ｏｆ ＩＴＵ—Ｔ ＶＣＥＧ ａｎｄ ＩＳＯ／ＩＥＣ ＭＰＥＧ［Ｓ］．２００５． 责任编辑：时雯 收稿日期：２０１３－０４－０１ （上接第３页） ［３］ＣＡＮＣＩＮＯ—ＳＵＡＲＥＺ Ｓ，ＫＬＩＭＡＳＺＥＷＳＫＩ Ｋ，ＳＴＡＮＫＩＥＷＩＣＺ Ｏ，ｅｔ ａ１． Ｅｎｈａｎｃｅｍｅｎｔ ｏｆ ｓｔｅｒｅｏｓｃｏｐｉｃ ｄｅｐｔｈ ｅｓｔｉｍａｔｉｏｎ ｂｙ ｔｈｅ ｕｓｅ ｏｆ ｍｏｔｉｏｎ ｉｎｆｏｒ－ ｕｓｉｎｇ ｂｅｌｉｅｆ ｐｒｏｐａｇａｔｉｏｎ ａｎｄ ａ ｓｅｌｆ－ａｄａｐｔｉｎｇ ｄｉｓｓｉｍｉｌａｒｉｔｙ ｍｅａｓｕｒｅ［Ｃ］／／ Ｐｒｏｃ．１８ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，ＩＣＰＲ ２００６． Ｈｏｎｇ Ｋｏｎｇ：ＩＥＥＥ Ｐｒｅｓｓ，２００６：１５－１８． ｍａｔｉｏｎ［Ｃ］／／Ｐｒｃ．２０１２ ４４ｔｏｈ Ｓｏｕｔｈｅａｓｔｅｒｎ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｓｙｓｔｅｍ Ｔｈｅｏｒｙ （ＳＳＳＴ）．Ｊａｃｋｓｏｎｖｉｌｌｅ，ＦＬ：ＩＥＥＥ Ｐｒｅｓｓ，２０１２：９４＿９８． ［９］ＣＯＭＡＮＩＣＩＵ Ｄ，ＭＥＥＲ Ｐ．Ｍｅａｎ ｓｈｉｔ：ａ ｒｆｏｂｕｓｔ ａｐｐｍａｅｈｔｏｗａｒｄ ｆｅａｔｕｒｅ ［４］武翠芳，王永芳，刘静，等．一种改进的基于ＢＰ的立体匹配算法［Ｊ］， 电视技术，２０１１，３５（２０）：２８—３１． ［５］ＳＣＨＡＲＳＴＥＩＮ Ｄ，ＳＺＥＬＩＳＫＩ Ｒ．Ａ ｔａｘｏｎｏｍｙ ａｎｄ ｅｖａｌｕａｔｉｏｎ ｏｆ ｄｅｎｓｅ ｔｗｏ—ｆｒａｍｅ ｓｔｅｒｅｏ ｅｏｒｒｅｓｐｏｎｄｅｎｃｅａｌｇｏｒｉｔｈｍｓ［Ｊ］．Ｉｎｔｅｍａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，２００２（４７）：７＿４２． ｓｐａｃｅ ｎａａｌｙｓｉｓ【Ｃ］／／Ｐｒｏｃ．ＰＡＭＩ ２００２．［ｓ．１．］：ＩＥＥＥ Ｐｒｅｓｓ，２００４： ６０３—６１９． ［１０］ＢＬＥＹＥＲ Ｍ，ＧＥＬＡＵＴＺ Ｍ．Ｇｒａｐｈ—ｂａｓｅｄ ｓｕｒｆａｃｅ ｒｅｅｏｎｓｔｒｕｃｔｉｏｎｆｒｏｍ ｓｔｅｒｅｏ ｐａｉｒｓ ｕｓｉｎｇ ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ［ｃ］／／Ｐ￣ｃ．Ｃｏｎｆｅｒｅｎｃｅ Ｖｉｄｅｏｍｅｔ— ｉｔｅｓ ＶＩＩＩ．［ｓ．１．］：ＳＰＩＥ，２００５：２８８－２９９． 作者简介： ［６］ＬＩ Ｈ，ＣＨＥＮ Ｇ．Ｓｅｇｍｅｎｔ—ｂａｓｅｄ ｓｔｅｒｅｏ ｍａｔｃｈｉｎｇ ｕｓｉｎｇ ｇｒａｐｈ ｃｕｔｓ［Ｃ］／／ Ｐｒｏｃ．ＣＶＰＲ ２００４．［ｓ．１．］：ＩＥＥＥ Ｐｒｅｓｓ，２００４：７４—８１． ［７］ＶＥＫＳＬＥＲ Ｏ．Ｅｆｉｃｉｆｅｎｔ ｇｒａｐｈ—ｂａｓｅｄ ｅｎｅｒｇｙ ｍｉｎｉｍｉｚａｔｉｏｎ ｍｅｔｈｏｄｓ［ＥＢ／ 董欣（１９８８一），女，硕士生，主研３Ｄ视频高效深度提取技术； ＯＬ］．［２０１３—０２－０２］．ｈｔｔｐ：／／ｗｗｗ．ｃｓｄ．ＵＷＯ．ｃａ／ｆｃｕｈｙａ／ｏｌｇａ／Ｐａｐｅｒｓ／ ｔｈｅｓｉｓ．ｐｄｆ． 王国中，博士，教授，博士生导师，研究方向为视频编解码与多媒体 通信。 ［８］ＡＮＤＲＥＡＳ Ｋ，ＭＡＲＩＯ Ｓ，ＫＯＮＲＡＤ Ｋ．Ｓｅｇｍｅｎｔ—ｂａｓｅｄ ｓｔｅｒｅｏ ｍａｔｃｈｉｎｇ 责任编辑：时雯 收稿日期：２０ｌ３＿０３ ４ 投稿网址ｈｔｃｐ：／／ｗｗｗ．ＶｉｄｅｏＥ．ｃｎＩ《电视技术》第３８卷第３期（总第４３０期）１１