目标检测与跟踪 （1）- 机器人视觉与YOLO V8
127人参与 • 2024-08-04 • 智能机器人
目录
1、研究背景
机器人视觉识别技术是移动机器人平台十分关键的技术，代表着机器人智能化、自动化及先进性的条件判定标准。 如何在最短时间内最精确地识别检测到出现在深度相机视野范围内的目标，将检测到的三维点云数据提取出来是机器人后续抓取三维物体的基础，并且无论对于工业用还是服务业都有着巨大的意义与研究价值。基于机器视觉的三维物体目标的识别、检测与定位技术已经成功应用于众多工业领域中。
配合着机械臂平台，以其为基础的操作系统可以完成一系列繁重复杂的工作，大大解放了人类的双手，提高了工业生产效率。作为促成这一切成果基础的机器人视觉识别技术正在逐步建立、稳定发展并一步步走向成熟。
近年来，随着机器人相关技术的快速发展，其依靠的平台也快速的更新换代。 之前价格较为昂贵的3d工业相机、3d图像传感器、3d扫描仪渐渐得到普及，传感器的微型化、智能化、低功耗以及高效率带来的深度图像设备价格大幅下降，随之机器人视觉识别技术也越发深入且成熟。
三维物体目标检测和识别、6d位姿估计、机械臂运动规划控制、移动平台的线路规划与基于即时定位与地图构建slam（simultaneous localization and mapping）的精确导航、三维物体检测抓取是移动机器人平台的核心关键技术，其精度直接影响着最后整个移动机器人控制系统的抓取成功率以及任务的完成度。
3d物体实时检测、三维目标识别、6d位姿估计一直是机器人视觉领域的核心研究课题，最新的研究成果也广泛应用于工业信息化领域的方方面面。通过众多的传感器，例如激光扫描仪、深度摄像头、双目视觉传感即可获得三维物体的识别数据，以此为基础开展研究的计算机视觉方向领域也有着较为深入的发展。
2. 算法原理及对比
刚体的6d位姿估计按照使用的输入数据，可以分为基于2d图像的方法和基于3d点云的方法。早期基于2d图像的6d位姿估计方法处理的是纹理丰富的物体，通过提取显著性特征点，构建表征性强的描述符获得匹配点对，使用pnp方法恢复物体的6d位姿。对于弱纹理或者无纹理物体，可以使用基于模板的方法，检索得到最相似的模板图像对应的6d位姿，也可以通过基于机器学习的投票的方法，学习得到最优的位姿。
随着2011年以kinect为代表的的廉价深度传感器的出现，在获取rgb图像的同时可以获得2.5d的depth图像，进而可以辅助基于2d图像的方法。为了不受纹理影响，也可以只在3d空间操作，此时问题变成获取的单视角点云到已有完整物体点云的part-to-whole配准问题。如果物体几何细节丰富，可以提取显著性3d特征点，构建表征性强的描述符获得3d匹配点，使用最小二乘获得初始位姿；也可以使用随机采样点一致算法(ransac)获得大量候选6d位姿，选择误差最小的位姿。
自2012年始，深度学习在2d视觉领域一骑绝尘，很自然的会将深度学习引入到物体6d位姿估计，而且是全方位的，无论是基于纯rgb图像、rgb和depth图像、还是只基于3d点云，无论是寻找对应、寻找模板匹配、亦或是进行投票，都展现了极好的性能。
随着在实例级物体上的6d位姿估计趋于成熟，开始涌现了类别级物体6d位姿估计的方法，只要处理的物体在纹理和几何结构上近似，就可以学习到针对这一类物体的6d位姿估计方法，这将极大提升这项技术在机器人抓取或者ar领域的实用性。
本文分别介绍基于2d图像和基于3d点云的，基于对应(correspondence-based)、模板(template-based)和投票(voting-based method)的物体6d位姿估计方法，综合如下表。
2.1 点对特征（point pairs）
2010年bertram drost等人提出了基于point pair 特征的ppf(pointpairfeature)算法。ppf算法使用物体的全局模型描述，基于定向点对特征，通过快速投票方案在本地匹配全局模型实现物体三维到二维搜索空间上的对应匹配识别，适用于快速监测点云较为稀疏或者缺乏表面纹理信息及局部曲率变化极小的物体。
ppf算法在有噪声、部分遮挡情况下有较好的识别能力，然而其不能解决具有相似噪声背景下物体识别问题，而且并没有很好的利用物体的边缘信息。
2.2 模板匹配
2011年stefan hinterstoisser等人提出针对3d刚性物体的实时检测与定位算法linemod算法。其基本原理是通过提取物体各个方向的深度图像采集模型，采用彩色图像的梯度信息结合物体表面的法向特征作为模板匹配的依据，训练其方向梯度生成物体模板后与实际图像的各对应方向位置匹配推测匹配结果。
最后利用icp算法对检测结果进行位姿修正完成3d刚性物体的位置检测判断。虽然linemod利用了物体的多种特征，很好的解决了多种类目标在简单场景下的物体识别，然而其在模板分类时只关注物体的边缘，导致其在稍复杂实时模板匹配时识别率大幅度下降。
2018年tomas hodan使用现有的数据集提出bop算法，建立了新的模板分类基准。
然而其只能识别单个场景下多类物体的识别，遇到同类物体较多以及重叠场景算法识别能力迅速下降。
2.3 霍夫森林
2009年juergen gall等人提出了基于霍夫森林的目标检测算法，通过构建一个随机森林（random forest）从图像上提取图像块，在构建的随机森林中的每个决策树上进行判断处理并在霍夫空间中进行投票，图像密集块采样后输出霍夫图像完成对目标重心位置的投票。
当然在该算法提出后基于hough forest算法的目标检测也有着深入的发展。
2.4 深度学习
2017年wadim kehl等人提出了基于ssd算法的三维物体6d位姿估计，通过将2d图像深度学习的思路与三维物体rgbd图像的特点，利用深度学习网络完成局部图像2d检测、特征图与预训练核卷积，并使用投影属性来解析深度网络推断的试点及平面内旋转分数以此构建6d位姿假设。
【ref】：https://arxiv.org/abs/1905.06658
刚体6d位姿估计方法综述_guoguang du的博客-csdn博客
参考文献
3、yolo家族模型演变
在yolo出现之前，检测图像中对象的主要方法是使用不同大小的滑动窗口依次通过原始图像的各个部分，以便分类器显示图像的哪个部分包含哪个对象。这种方法是合乎逻辑的，但非常迟缓。经过了一段时间的发展，一个特殊的模型出现了：它可以检测目标物roi，速度最快的算法faster r-cnn平均在0.2秒内处理一张图片，也就是每秒5帧。
在以前的方法中，原始图像的每个像素都需要被神经网络处理几百次甚至几千次。每次这些像素都通过同一个神经网络进行相同的计算。有没有可能做些什么来避免重复同样的计算?
https://developer.aliyun.com/article/1139751
4、yolo v8
yolov8 是 ultralytics 公司在 2023 年 1月 10 号开源的 yolov5 的下一个重大更新版本，目前支持图像分类、物体检测和实例分割任务。
yolov8 是一个 sota 模型，它建立在以前 yolo 版本的成功基础上，并引入了新的功能和改进，以进一步提升性能和灵活性。具体创新包括一个新的骨干网络、一个新的 ancher-free 检测头和一个新的损失函数，可以在从 cpu 到 gpu 的各种硬件平台上运行。
赞 (0)
打赏
微信扫一扫
微信扫一扫
您想发表意见！！点此发布评论
发表评论