第４３卷增刊（Ｉ） ２０１３年７月 东南大学学报（自然科学版） ＪＯＵＲＮＡＬ ＯＦ ＳＯＵＴＨＥＡＳＴ ＵＮＩＶＥＲＳＩＴＹ（Ｎａｔｕｒａｌ Ｓｃｉｅｎｃｅ Ｅｄｉｔｉｏｎ） Ｖｏ１．４３ Ｓｕｐ（Ｉ） Ｊｕｌｙ ２０１３ ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１—０５０５．２０１３．Ｓ１．０３９ 光学与深度特征融合在机器人场景定位中的应用 刘 冰 罗 熊 刘华平 孙富春 （ 北京科技大学计算机与通信工程学院，北京１０００８３） （ 材料领域知识工程北京市重点实验室，北京１０００８３） （ 清华大学计算机科学与技术系，北京１０００８４） 摘要：针对移动机器人室内环境的场景定位问题，研究和提出了一种基于视觉光学与深度特征 融合的机器人场景匹配定位算法．首先针对摄像机采集到的光学图像和相应的深度图像信息进 行预处理，均匀采样后分别对其进行尺度不变特征变换ＳＩＦＴ的特征提取．然后将２组特征进行 特征融合，并利用局部线性编码ＬＬＣ算法进行特征编码．最后应用线性分类器对场景图像进行 分类和匹配，得到场景定位信息．在基于ＰｏｗｅｒＢｏｔ移动机器人和微软公司Ｋｉｎｅｃｔ传感器搭建的 机器人实时场景定位系统中，针对设计的算法，进行了实验验证．实验结果显示，提出的算法获得 了较高的分类准确率，有效提高了机器人场景定位的工作效率，验证了场景定位算法的高效性和 可靠性． 关键词：深度；特征融合；场景匹配 中图分类号：ＴＰ３９１ 文献标志码：Ａ 文章编号：１００１—０５０５（２０１３）增刊（Ｉ）－０１８８－０４ Ａｐｐｆｉｃａｔｉｏｎ ｏｆ ｏｐｔｉｃａｌ ａｎｄ ｄｅｐｔｈ ｆｅａｔｕｒｅｓ ｆｕｓｉｏｎ ｏｎ ｒｏｂｏｔ ｓｃｅｎｅ ｌｏｃａｌｉｚａｔｉｏｎ Ｌｉｕ Ｂｉｎｇ ’ Ｌｕｏ Ｘｉｏｎｇ ＇ Ｌｉｕ Ｈｕａｐｉｎｇ Ｓｕｎ Ｆｕｃｈｕｎ （ Ｓｃｈｏｏｌ ｏｆ Ｃｏｍｐｕ￣ｒ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ Ｂｅｉｊｉｎｇ，Ｂｅｉｊｉｎｇ １０００８３，Ｃｈｉｎａ） （ Ｂｅｉｊｉｎｇ Ｋｅｙ Ｌａｂｏｒａｔｏｒｙ ｏｆ Ｋｎｏｗｌｅｄｇｅ Ｅｎｇｉｎｅｅｒｉｎｇ ｆｏｒ Ｍａｔｅｒｉａｌｓ Ｓｃｉｅｎｃｅ，Ｂｅｉｊｉｎｇ １０００８３，Ｃｈｉｎａ） （ Ｄｅｐａｒｔｍｅｎｔ ｏｆＣｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ ａｎｄＴｅｃｈｎｏｌｏｇｙ，ＴｓｉｎｇｈｕａＵｎｉｖｅｒｓｉｔｙ，Ｂ蜘ｉｎｇ １０００８４，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｉｎ ｏｒｄｅｒ ｔｏ ｄｅａｌ ｗｉｔｈ ｔｈｅ ｍｏｂｉｌｅ ｒｏｂｏｔ ｓｃｅｎｅ ｌｃａｌｏｉｚａｔｉｏｎ ｉｎ ｉｎｄｏｏｒ ｅｎｖｉｒｏｎｍｅｎｔ，ａ ｒｏｂｏｔ ｓｃｅｎｅ ｌｏｃａｌｉｚａｔｉｏｎ ａｐｐｒｏａｃｈ ｂａｓｅｄ ｏｎ ｔｈｅ ｆｕｓｉｏｎ ｏｆ ｖｉｓｕａｌ ｏｐｔｉｃａｌ ａｎｄ ｄｅｐｔｈ ｆｅａｔｕｒｅｓ ｉｓ ｐｒｏｐｏｓｅｄ． Ｆｉｒｓｔｌｙ，ｔｈｅ ｏｐｔｉｃａｌ ｉｍａｇｅｓ ｎｄ ａｔｈｅ ｄｅｐｔｈ ｉｍａｇｅｓ ｃｏＨｅｃｔｅｄ ｂｙ ａ ｃａｍｅｒａ ａｒｅ ｐｒｏｃｅｓｓｅｄ．Ａｆｔｅｒ ｓａｍｐｆｉｎｇ ｉｍａｇｅｓ，ｔｈｅ ｓｃａｌｅ ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ（Ｓ耵）ｉＳ ｉｍｐｌｅｍｅｎｔｅｄ ａｎｄ ａ ｆｅａｔｕｒｅ ｆｕｓｉｏｎ ｏｐｅｒａｔｉｏｎ ｏｆ ｈｏｓｔｅ ｔｗｏ ｆｅａｔｕｒｅｓ ｉｓ ｐｅｒｆｏｒｍｅｄ．Ｍｏｒｅｏｖｅｒ，ｔｈｅ ｆｅａｔｕｒｅ ｉｓ ｅｎｃｏｄｅｄ ｂｙ ｕｓｉｎｇ ｔｈｅ ｌｃａｌｏｉｔｙ—ｃｏｎｓｔｒｍｎ— ｅｄ ｌｉｎｅａｒ ｃｏｄｉｎｇ（ＬＬＣ）ａｌｇｏｒｉｔｈｍ．Ｆｉｎａｌｌｙ，ｔｈｒｏｕｇｈ ｈｅ ｔｓｃｅｎｅ ｍａｔｃｈｉｎｇ ａｎｄ ｃｌａｓｓｉｉｆｃａｔｉｏｎ ｂｙ ｕｓｉｎｇ ａ ｉｌｎｅａｒ ｃｌａｓｓｉｆｉｅｒ．ｔｈｅ ｓｃｅｎｅ ｌｏｃａｌｉｚａｔｉｏｎ ｒｅｓｕｌｔｓ ａｒｅ ｏｂｔａｉｎｅｄ．Ｍｅａｎｗｈｉｌｅ，ｔｈｅ ｐｒｏｐｏｓｅｄ ａｌｇｏｒｉｔｈｍ ｉＳ ｔｅｓｔｅｄ ｏｎ ａｎ ｅｘｐｅｒｉｍｅｎｔａｌ ｐｌａｔｆｏｒｍ ｓｅｔ ｕｐ ｂｙ ｍｏｂｉｌｅ ｒｏｂｏｔ ＰｏｗｅｒＢｏｔ ａｎｄ Ｍｉｃｒｏｓｏｆｔ Ｋｉｎｅｃｔ ｓｅｎｓｏｒ． Ｔｈｅ ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｔｈｅ ａｃｃｕｒａｃｙ ｏｆｔｈｉｓ ａｌｇｏｒｉｔｈｍ ｉｓ ｈｉｇｈ．Ｂｙ ｔｈｉｓ ａｌｇｏｒｉｔｈｍ．ｔｈｅ ｅｆｆｉ－ ｃｉｅｎｃｙ ｏｆ ｔｈｅ ｍｏｂｉｌｅ ｒｏｂｏｔ ｓｃｅｎｅ ｌｃａｏｌｉｚａｔｉｏｎ ｉｓ ｉｍｐｒｏｖｅｄ，ｐｒｏｖｉｎｇ ｈｅ ｔｅｆｉｃｉｆｅｎｃｙ ａｎｄ ｈｅ ｔｒｅｌｉａｂｉｉｌｙ ｏｆ ｔｔｈｉｓ ａｌｇｏｒｉｔｈｍ． Ｋｅｙ ｗｏｒｄｓ：ｄｅｐｔｈ；ｆｅａｔｕｒｅ ｆｕｓｉｏｎ；ｓｃｅｎｅ ｍａｔｃｈｉｎｇ 移动机器人的场景定位技术是辅助机器人进 图像组匹配两方面的工作 ．因环境的差异，机 器人活动范围可分为室内环境和室外环境两类．与 行精确定位与导航的有效方法之一．该技术主要涉 及基于场景图像组的特征提取和基于场景理解的 室外环境相比，室内环境更加结构化，但是不同场 收稿日期：２０１３－０３．１０． 作者简介：刘冰（１９８７一），女，硕士生；罗熊（联系人），男，博士，副教授，硕士生导师，ｘｌｕｏ＠ｕｓｔｂ．ｅｄｕ．ｃａ． 基金项目：国家自然科学基金资助项目（６１１７４１０３，６１１７４０６９，６１００４０２１）、中央高校基本科研业务费专项资金资助项目（ＦＲＦ—ＴＰ－１１－ ００２Ｂ）、材料领域知识工程北京市重点实验室２０１２年度阶梯计划资助项目（Ｚ１２１１０１００２８１２００５）． 引文格式：刘冰，罗熊。刘华平，等．光学与深度特征融合在机器人场景定位中的应用［Ｊ］．东南大学学报：自然科学版，２０１３，４３（Ｓ１）：１８８— １９１．［ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１－０５０５．２０１３．Ｓ１．０３９］ 增刊（Ｉ） 刘冰，等：光学与深度特征融合在机器人场景定位中的应用 １８９ 景间的差异性程度更小，导致视觉场景匹配的难度 ｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ，ｓｌｖ－＇ｒ）的特征提取，然后将 两组特征进行特征融合，并利用局部线性编码 （１ｏｃａｌｉｔｙ—ｃｏｎｓｔｒａｉｎｅｄ ｌｉｎｅａｒ ｃｏｄｉｎｇ，ＬＬＣ）算法进行 加大．同时，室内同一场景的局部性因素，比如图像 序列中只有某单一对象的图像，会造成较大的匹配 误差，导致定位的失败【４ Ｊ．现有定位算法比较复 杂，匹配和识别的准确率不够理想，同时提取的信 息来源比较单一．本文针对室内场景的复杂环境， 特征编码，最后应用支持向量机（ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ，ＳＶＭ）的线性分类器（本文实验中采用的 是ｌｉｂｌｉｎｅａｒ线性分类器），对场景图像进行分类和 匹配，得到场景定位信息．算法流程如图１所示． １．２深度图像的获取和特征提取 基于特征融合技术，结合深度图像特征和光学图像 特征，设计了机器人场景定位的视觉匹配算法，并 应用于移动机器人的实时场景定位实验系统中，取 得了满意的应用效果． 在深度图像的获取方面，使用的深度成像传感 器主要分为两类：主动式和被动式．主动式是指向 １ 基于光学与深度特征融合的场景 目标发射能量束，如激光、电磁波和超声波等．被动 式是指传感器利用周围的环境进行成像，形成具有 深度信息的图像．由于外界环境对被动式的传感器 匹配算法 １．１基本流程 本文提出的基于视觉光学与深度特征融合的 场景匹配算法，首先对Ｋｉｎｅｃｔ摄像机采集到的光 影响极大，并且对测量装置的精度要求较高，因此 其应用范围的局限性很大，而主动式的传感器不存 在这些限制的不利影响，得到了广泛的应用 ． 学图像与其相应的深度图像信息进行预处理，均匀 采样后分别对其进行尺度不变特征变换（ｓｃａｌｅ ｉｎ— 这里设计的算法实现过程中，主要使用Ｋｉｎｅｃｔ传 感器，此类主动式深度传感器来进行图像采集． 图１算法流程 深度图像特征提取的目的是，提取出场景的三 维几何特征，建立场景的空间立体模型，然后通过 视觉匹配算法的处理，完成系统的高级任务要求． 本文中采用均匀采样的方式，对空间深度图像 进行ＳＩＦＴ特征提取 ，具体方法如下： １）对深度图像进行滑动窗口取样．将深度图 像进行空间网格划分，实验中网格的尺寸为１６× １６像素，采样时，滑动窗口尺寸也为１６×１６像素， 步长为８像素．由于图像中深度信息在一定范围内 取值，因此图像上每个网格窗口实际上对应了空间 坐标系下的一系列深度不同的窗口，此时提取特征 的过程是面向空间层次的．光学图像对应的深度图 图２光学图像对应深度图像层次演示 到整个样本图像的ＳＩＦＴ深度特征．当图像共划分 为Ⅳ个滑动窗口（Ⅳ大于网格数）时，整个样本的 ＳＩＦＴ深度特征为一个Ｎ×１２８维的特征向量，此即 样本均匀采样后的特征描述符． 像层次性如图２所示． ２）在每个窗口图像中提取局部ＳＩＦＴ特征．将 窗口划分为１６×１６个子窗口，然后在每个４ Ｘ４像 素的图像小窗口中进行梯度直方图统计，得到一个 ８维的特征描述符向量，这样共得到４×４个描述 符，即４×４×８维向量．此时，每个窗口中可以提取 到一个１２８维的特征向量． ３）对窗口特征进行拼接．将每个滑动窗口中 提取到的反映深度信息的ＳＩＦＴ特征进行拼接，得 通过上述特征提取过程，完成了对深度图像样 本的特征提取，此时的ＳＩＰ＂局部特征不仅仅反映 了局部窗口的特征，还带有深度意义，能够通过此 信息尽可能地剔除场景中动态物体的干扰． １．３光学图像特征与深度图像特征的融合 本文针对室内场景因干扰性和局部性强的特 １９Ｏ 东南大学学报（自然科学版） 第４３卷 点，而导致匹配和识别准确率不高的问题，这里考 虑将光学图像特征和深度图像特征融合匹配，以指 导场景的识别与定位． 在完成前述的ＲＧＢ光学特征提取和Ｄｅｐｔｈ深 度特征提取之后，基于多特征融合技术，将特征描 述符按照一定的权值（本文实验中采用１：１的比 例关系）拼接，将这２种视觉特征有效结合，有效 地避免了单一特征对图像匹配和分类的局限性，增 强了算法的准确高效性． １．４基于ＬＬＣ的特征编码与匹配 本文采用ＬＬＣ算法进行特征编码．ＬＬＣ实际 上是对传统的基于ＢｏＦ（ｂａｇ—ｏｆ－ｆｅａｔｕｒｅｓ）的稀疏编 码空间金字塔算法的升级和改进 Ｊ．它将局部特 征用最接近的ｋ个词汇进行线性表达，其编码误差 较ＢｏＦ的量化编码更小；同时，它使用“最大值合 并”（ｍａｘ ｐｏｏｌｉｎｇ）方法，对于合并向量的每一维， 取所有“局部表达”向量在这一维度上的最大值， 作为合并向量在该维度上的值，即 ＝ｍａｘ｛ ｆ｝ １≤ｆ≤ 式中， 是第ｎ个特征的ＬＬＣ编码的第ｉ个分量． 此后，ＬＬＣ使用线性ＳＶＭ中的ｌｉｂｌｉｎｅａｒ线性分类 器进行分类，能够取得比传统的空间金字塔方法更 好的分类效果．同时，线性分类器的分类效率受到 词汇量增大的影响，远小于非线性分类器． ＬＬＣ的局部约束编码方法，首先对每个局部 特征向量，采用ｋ近邻算法，在词库中找到ｋ个和 它最接近的词汇．然后计算该局部特征向量由这ｋ 个词汇线性表达的系数，作为它的ＬＬＣ编码．它利 用距离制约把每个描述符投影到一个局部坐标系 中，然后通过投影坐标来生成特征向量． 训练集借助于ｌｉｂｌｉｎｅａｒ线性分类器得到分类 模型后，测试的图像通过分类模型，可计算估计出 该图像所属场景类别，即完成匹配过程． ２实验结果与分析 ２．１基于Ｋｙｕｓｈｕ数据库的实验验证 Ｋｙｕｓｈｕ数据库是在日本九州大学的多个不同 建筑里，通过安置在高１２５ ｃｍ的移动机器人平台 上的Ｋｉｎｅｃｔ传感器，采集的场景数据库ｕ。。．该数据 库包括ＲＧＢ图像和深度图像２部分，共有五类场 景，分别是走廊、厨房、实验室、办公室和自习室．每 类场景的光学图像和深度图像都来自不同的场所， 这就增加了场景定位的难度． Ｋｙｕｓｈｕ数据库的每个类别各个场景的深度图 像和光学图像的示例，如图３（ａ）所示，其中的数字 表示各个子场景的图像数量． 对Ｋｙｕｓｈｕ数据库的光学图像和深度图像，基 于ＳＩＦＴ特征进行ＬＬＣ编码，运用三层空间金字塔 结构，采用ＲＧＢ－Ｄ特征融合算法，结合ＳＶＭ线性 分类器，实现了对场景图像的较为准确的分类．通 过与基于单一特征（如ＲＧＢ光学特征或Ｄｅｐｔｈ深 度特征）的ＬＬＣ算法实验对比，可以明显地看到， ＲＧＢ－Ｄ特征融合算法在场景分类方面具有显著的 优势． ＼哥器始 （ａ）Ｋｙｕｓｈｕ数据库 １ ２ ３ ４ ５ ６ ７ ８ ９ ｌ０ 组号 （ｂ）实验结果 图３ Ｋｙｕｓｈｕ数据库实验结果 实验中随机选取１０组子场景图像作为测试数 据，并将各组的实验结果（即测试集的分类准确 率）取平均值，得到场景的平均分类准确率，如图３ （ｂ）所示．在基于ＳＩＦＴ的ＲＧＢ—Ｄ特征融合算法 下，得到了高达８９．１７６２％的平均准确率，充分验 证了此算法的可行性与高效性． ２．２实时应用系统中的扩展实验 将此算法应用于机器人实时场景定位系统．首 增刊（Ｉ） 刘冰，等：光学与深度特征融合在机器人场景定位中的应用 １９ｌ 先，通过微软的Ｋｉｎｅｃｔ摄像机和ＰｏｗｅｒＢｏｔ机器人 搭建的平台，在清华大学ＦＩＴ楼中采集数据，生成 数据库，它涵盖了大楼中的众多场景（见图４）．然 后，共选取了１ １１３对同步的光学和深度图像作为 训练集，测试实时输人的图像．ＦＩＴ数据库包括车 库、走廊、讨论区、实验室、会议室五大类场景，训练 集与实时系统的２次采集过程相互独立，确保训练 集与测试集的图像互不重复，以此保证了实验结果 的真实有效性． 车库 走廊 讨论区 实验室 会议室 圜囝圈目固 图４ ＦＩＴ数据库 实时系统输入图像中，加人了大量人、物等动 态和静态干扰因素，从而增加了场景匹配和分类的 难度，进一步考验了算法的鲁棒性和高效性．通过 实时系统的实验结果记录得到，当ｋ最近邻参数为 ２５时，由ＳＩＦＴ特征融合的场景匹配算法最高可以 获得９６．８４２１％的高准确率．不过，当ｋ最近邻参 数过大时，特征编码就失去了意义，这里将其设定 为５，此时，基于单一光学特征仅能得到９１．５７８ ９％的分类准确率，基于单一深度特征则得到８５． ８６４ ７％的分类准确率，而基于本文提出的融合算 法，可得到高达９６．０８０ １％的分类准确率，提高了 ４．８％，由此验证了算法较高的鲁棒性和较强的稳 定性．实验结果的比较如图５所示． １Ｏ０ Ｄｅｐｔｈ ９５ ＲＧＢ ＲＧＢ—Ｄ ｓ 羹８３ ，， ７１ ６５ 车库 走廊 讨论区实验室会议室总体 场景类别 图５ ｎＴ数据库实验结果 ３ 结语 本文基于计算机图像处理、图像特征匹配、场景 定位等相关理论基础，提出了基于视觉光学与深度 特征融合的场景定位方法，并应用于机器人实时场 景定位系统中，实验结果表明，获得了９６．０８０ １％的 较高分类准确率，充分验证了基于ＳＩＦＴ融合特征 的场景定位算法的高效性和可靠性． 参考文献（Ｒｅｆｅｒｅｎｃｅｓ） ［１］Ｓｉａｇｉａｎ Ｃ，Ｉｔｔｉ Ｌ．Ｂｉｏｌｏｇｉｃａｌｌｙ ｉｎｓｐｉｒｅｄ ｍｏｂｉｌｅ ｒｏｂｏｔ ｖｉ— ｓｉｏｎ ｌｏｃａｌｉｚａｔｉｏｎ『Ｊ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｒｏｂｏｔｉｃｓ， ２００９，２５（４）：８６１—８７３． 『２］Ｃｈｏｉ Ｂ Ｓ．Ｌｅｅ Ｊ Ｊ．Ｓｅｎｓｏｒ ｎｅｔｗｏｒｋ ｂａｓｅｄ ｌｏｃａｌｉｚａｔｉｏｎ ｌａｇｏｒｉｔｈｍ ｕｓｉｎｇ ｆｕｓｉｏｎ ｓｅｎｓｏｒ—ａｇｅｎｔ ｆｏｒ ｉｎｄｏｏｒ ｓｅｒｖｉｃｅ ｒｏｂｏｔ［Ｊ］．Ｉ眦Ｔｒｎａｓａｃｔｉｏｎｓ ｏｎ Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ， ２０１０，５６（３）：１４５７—１４６５． ［３］Ｒｅｂａｌ Ｋ，Ａｚｏｕａｏｕｉ Ｏ，Ａｃｈｏｕｒ Ｎ．Ｂｉｏ—ｉｎｓｐｉｒｅｄ ｖｉｓｕａｌ ｍｅｍｏ￣ｆｏｒ ｒｏｂｏｔ ｃｏｇｎｉｔｉｖｅ ｍａｐ ｂｕｉｌｄｉｎｇ ａｎｄ ｓｃｅｎｅ ｒｅｃ— ｏｇｎｉｔｉｏｎ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ皿Ｅ／ＲｓＪ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｒｏｂｏｔｓ ａｎｄ Ｓｙｓｔｅｍｓ．Ｖｉｌａｍ— ｏｕｒａ，Ｐｏｒｔｕｇａｌ，２０１２：２９８５—２９９０． ［４］Ｚｏｕ Ｙ，Ｃｈｅｎ Ｗ，ｗｕ ｘ，ｅｔ ａ１．Ｉｎｄｏｏｒ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ３Ｄ ｓｃｅｎｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｆｏｒ ｍｏｂｉｌｅ ｒｏｂｏｔｓ ｕｓｉｎｇ ｔｈｅ Ｍｉ— ｃｒｏｓｏｆｔ Ｋｉｎｅｃｔ ｓｅｎｓｏｒ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ｌＯｔｈ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｄｕｓｔｒｉａｌ Ｉｎｆｏｒｍａｔｉｃｓ． Ｂｅｉｊｉｎｇ，Ｃｈｉｎａ，２０１２：１１８２—１１８７． ［５］Ｍａｓｌｙｕｋ Ｌ Ｌ，Ｉｇｎａｔｅｎｋｏ Ａ，Ｚｈｉｒｋｏｖ Ａ，ｅｔ ａ１．Ｄｅｐｔｈ ｉｍａｇｅ－ｂａｓｅｄ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ａｎｄ ｃｏｍｐｒｅｓｓｉｏｎ ｆｏｒ ｓｔａｔｉｃ ｎａｄ ａｎｉｍａｔｅｄ ３－Ｄ ｏｂｊｅｃｔｓ『Ｊ］．ⅢＥＥ Ｔｒｎａｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ，２００４，１４ （７）：１０３２—１０４５． ［６］Ｋｉｍ Ｓ Ｙ，Ｃｈｏ ＪＨ，ＫｏｓｃｈａｎＡ，ｅｔａ１．３Ｄ ｖｉｄｅｏ ｇｅｎｅｒ— ａｔｉｏｎ ａｎｄ ｓｅｒｖｉｃｅ ｂａｓｅｄ ｏｎ ａ ＴＯＦ ｄｅｐｔｈ ｓｅｎｓｏｒ ｉｎ Ｍ ＥＧ－４ ｍｕｌｔｉｍｅｄｉａ ｆｒａｍｅｗｏｒｋ『Ｊ］．Ⅱ｝ＥＥ Ｔｒａｎｓａｃ． ｔｉｏｎｓ ｏｎ Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ，２０ｌ０，５６（３）：１７３０— １７３８． ［７］Ｐａｒｋ Ｓ Ｙ，Ｋｉｍ Ｓ Ｄ．Ｅｆｉｆｃｉｅｎｔ ｄｅｐｔｈ ｃｏｍｐｒｅｓｓｉｏｎ ｂａｓｄｅ ｏｎ ｐａｒｔｉｌａ ｓｕｒｆａｃｅ ｆｏｒ ３－Ｄ ｏｂｊｃｅｔ ｒｅｐｒｅｓｅｎｔｅｄ ｂｙ ｌａｙｅｒｅｄ ｄｅｐｔｈ ｉｍａｇｅ［Ｊ］．ＩＥＥＥ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｌｅｔｔｅｒｓ， ２０１０，１７（１０）：８３９—８４２． １ ８ Ｉ Ｌｏｗｅ Ｄ Ｇ．Ｄｉｓｔｉｎｃｔｉｖｅ ｉｍａｇｅ ｆｅａｔｕｒｅｓ ｆｒｏｍ ｓｃａｌｅ—ｉｎｖａｒｉ． ｎａｔ ｋｅｙ ｐｏｉｎｔｓ［Ｊ］．Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，２０ｏ４，６０（２）：９１一ｌ１０． ［９］Ｗａｎｇ Ｊ，Ｙａｎｇ Ｊ，Ｙｕ Ｋ，ｅｔ １ａ．Ｌｏｃａｌｉｔｙ－ｃｏｎｓｔｒａｉｎｅｄ ｌｉｎ－ ｅａｒ ｃｏｄｉｎｇ ｏｆｒ ｉｍａｇｅ ｃｌａｓｓｉｉｆｃａｔｉｏｎ［Ｃ］／／ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ ＰａＲｅｍ Ｒｅｃ— ｏｇｎｉｔｉｏｎ．Ｓａｎ Ｆｒａｎｃｉｓｃｏ，ＵＳＡ，２０１０：３３６０—３３６７． ［１０］Ｍｏｚｏｓ ０ Ｍ，Ｍｉｚｕｔｎａｉ Ｈ，Ｋｕｒａｚｕｍｅ Ｒ，ｅｔ １ａ．Ｃａｔｅｇｏ— ｒｉｚａｔｉｏｎ ｏｆ ｉｎｄｏｏｒ ｐｌａｃｅｓ ｕｓｉｎｇ ｔｈｅ Ｋｉｎｅｃｔ ｓｅｎｓｏｒ［Ｊ］． Ｓｅｎｓｏｒｓ，２０１２，１２（５）：６６９５—６７ｌ１．