3D成像方法解决了双目和多目多视图遮挡难题
在工业4.0时代，国家智能制造高速发展，传统的编程来执行某一动作的机器人已经难以满足现今的自动化需求 。在很多应用场景下，需要为工业机器人安装一双眼睛，即机器人视觉成像感知系统，使机器人具备识别、分析、处理等更高级的功能，可以正确对目标场景的状态进行判断与分析，做到灵活地自行解决发生的问题 。
机器视觉系统组成从视觉软件进入机器视觉行业，有必要全局认识一下机器视觉系统组成 。
典型的机器视觉系统可以分为：图像采集部分、图像处理部分和运动控制部分 。基于PC的视觉系统具体由如图1所示的几部分组成：
文章插图
文章插图
图 2两种机器人手眼系统的结构形式 (a)眼在手机器人系统，（b）眼看手机器人系统有些应用场合，为了更好地发挥机器人手眼系统的性能，充分利用固定成像眼看手系统全局视场和随动成像眼在手系统局部视场高分辨率和高精度的性能，可采用两者混合协同模式，如用固定成像眼看手系统负责机器人的定位，使用随动成像眼在手系统负责机器人的定向；或者利用固定成像眼看手系统估计机器人相对目标的方位，利用随动成像眼在手系统负责目标姿态的高精度估计等，如图3所示 。
文章插图
图 3机器人协同视觉系统原理图机器人视觉三维成像方法3D视觉成像可分为光学和非光学成像方法 。目前应用最多的还是光学方法，其包括：飞行时间法、激光扫描法、激光投影成像、立体视觉成像等 。飞行时间3D成像飞行时间（TOF）相机每个像素利用光飞行的时间差来获取物体的深度 。目前已经有飞行时间面阵相机商业化产品，如Mesa Imaging AG SR-4000， PMD Technologies Cam Cube 3.0，微软Kinect V2等 。TOF成像可用于大视野、远距离、低精度、低成本的3D图像采集，其特点是：检测速度快、视野范围较大、工作距离远、价格便宜，但精度低，易受环境光的干扰 。例如Camcueb3.0具有可靠的深度精度（<3mm @ 4m)，每个像素对应一个3D数据 。扫描3D成像扫描3D成像方法可分为扫描测距、主动三角法、色散共焦法 。扫描测距是利用一条准直光束通过1D测距扫描整个目标表面实现3D测量的 。主动三角法是基于三角测量原理，利用准直光束、一条或多条平面光束扫描目标表面完成3D成像，如图4所示 。色散共焦通过分析反射光束的光谱，获得对应光谱光的聚集位置， 如图5所示 。
文章插图
图 4线结构光扫描三维点云生成示意图
文章插图
图 5色散共焦扫描三维成像示意图扫描3D成像的最大优点是测量精度高 。其中色散共焦法还有其它方法难以比拟的优点，如非常适合测量透明物体、高反与光滑表面的物体 。但缺点是速度慢、效率低；用于机械手臂末端时，可实现高精度3D测量，但不适合机械手臂实时3D引导与定位，因此应用场合有限 。另外主动三角扫描在测量复杂结构面形时容易产生遮挡，需要通过合理规划末端路径与姿态来解决 。结构光投影3D成像结构光投影三维成像目前是机器人3D视觉感知的主要方式 。结构光成像系统是由若干个投影仪和相机组成，常用的结构形式有：单投影仪-单相机、单投影仪-双相机、单投影仪-多相机、单相机-双投影仪和单相机-多投影仪等 。结构光投影三维成像的基本工作原理是：投影仪向目标物体投射特定的结构光照明图案，由相机摄取被目标调制后的图像，再通过图像处理和视觉模型求出目标物体的三维信息 。根据结构光投影次数划分，结构光投影三维成像可以分成单次投影3D和多次投影3D方法 。单次投影3D主要采用空间复用编码和频率复用编码形式实现 。由于单次投影曝光和成像时间短，抗振动性能好，适合运动物体的3D成像，如机器人实时运动引导，手眼机器人对生产线上连续运动产品进行抓取等操作 。但是深度垂直方向上的空间分辨率受到目标视场、镜头倍率和相机像素等因素的影响，大视场情况下不容易提升 。多次投影3D具有较高空间分辨率，能有效地解决表面斜率阶跃变化和空洞等问题 。不足之处在于：1）对于连续相移投影方法，3D重构的精度容易受到投影仪、相机的非线性和环境变化的影响； 2）抗振动性能差，不合适测量连续运动的物体； 3）在Eye-in-Hand视觉导引系统中，机械臂不易在连续运动时进行3D成像和引导； 4）实时性差，不过随着投影仪投射频率和CCD/CMOS图像传感器采集速度的提高，多次投影方法实时3D成像的性能也在逐步改进 。对于粗糙表面，结构光可以直接投射到物体表面进行视觉成像；但对于大反射率光滑表面和镜面物体3D成像，结构光投影不能直接投射到被成像表面，需要借助镜面偏折法 。偏折法对于复杂面型的测量，通常需要借助多次投影方法，因此具有多次投影方法相同的缺点 。另外偏折法对曲率变化大的表面测量有一定的难度，因为条纹偏折后反射角的变化率是被测表面曲率变化率的2倍，因此对被测物体表面的曲率变化比较敏感，很容易产生遮挡难题 。立体视觉3D成像立体视觉字面意思是用一只眼睛或两只眼睛感知三维结构，一般情况下是指从不同的视点获取两幅或多幅图像重构目标物体3D结构或深度信息，如图6所示 。
文章插图
图6立体视觉三维成像示意图立体视觉可分为被动和主动两种形式 。被动视觉成像只依赖相机接收到的由目标场景产生的光辐射信息，该辐射信息通过2D图像像素灰度值进行度量 。被动视觉常用于特定条件下的3D成像场合，如室内、目标场景光辐射动态范围不大和无遮挡；场景表面非光滑，且纹理清晰，容易通过立体匹配寻找匹配点；或者像大多数工业零部件，几何规则明显，控制点比较容易确定等 。主动立体视觉是利用光调制（如编码结构光、激光调制等）照射目标场景，对目标场景表面的点进行编码标记，然后对获取的场景图像进行解码，以便可靠地求得图像之间的匹配点，再通过三角法求解场景的3D结构 。主动立体视觉的优点是抗干扰性能强、对环境要求不高（如通过带通滤波消除环境光干扰），3D测量精度、重复性和可靠性高；缺点是对于结构复杂的场景容易产生遮挡问题 。基于结构光测量技术和3D物体识别技术开发的机器人3D视觉引导系统，可对较大测量深度范围内散乱堆放的零件进行全自由的定位和拾取 。相比传统的2D视觉定位方式只能对固定深度零件进行识别且只能获取零件的部分自由度的位置信息，具有更高的应用柔性和更大的检测范围 。可为机床上下料、零件分拣、码垛堆叠等工业问题提供有效的自动化解决方案 。机器视觉3D引导系统框架
文章插图
3D重建和识别技术 通过自主开发的3D扫描仪可获准确并且快速地获取场景的点云图像，通过3D识别算法，可实现在对点云图中的多种目标物体进行识别和位姿估计 。
文章插图
3D重建和识别效率
文章插图
多种材质识别效果测试得益于健壮的重建算法和识别算法，可对不同材质的零件进行稳定的重建和识别，即便是反光比较严重的铝材料及黑色零件都能获得较好的重建和识别效果，可适用于广泛的工业场景 。
文章插图
机器人路径规划 并不是获得零件的位姿信息后就能马上进行零件的拾取，这仅仅只是第一步，要成功拾取零件还需要完成以下几件事：
文章插图
自主开发的机器人轨迹规划算法，可轻松完成上述工作，保证机器人拾取零件过程稳定可靠 。快速切换拾取对象 只需要四个简单的操作即可实现拾取对象的快速切换，无需进行复杂的工装、产线的调整 。
文章插图
性能比较1. 类似于飞行时间相机、光场相机这类的相机，可以归类为单相机3D成像范围，它们体积小，实时性好，适合随动成像眼在手系统执行3D测量、定位和实时引导 。但是，飞行时间相机、光场相机短期内还难以用来构建普通的随动成像眼在手系统，主要原因如下：1）飞行时间相机空间分辨率和3D精度低，不适合高精度测量、定位与引导 。2）对于光场相机，目前商业化的工业级产品只有为数不多的几家，如德国Raytrix，虽然性能较好，空间分率和精度适中，但价格贵，使用成本太高 。
文章插图
图 7随动成像眼在手系统机器人3D视觉成像优选方案2. 结构光投影3D系统，精度和成本适中，有相当好的应用市场前景 。它由若干个相机-投影仪组成的，如果把投影仪当作一个逆向的相机，可以认为该系统是一个双目或多目3D三角测量系统 。3. 被动立体视觉3D成像，目前在工业领域也得到较好应用，但应用场合有限 。因为单目立体视觉实现有难度，双目和多目立体视觉要求目标物体纹理或几何特征清晰 。4. 结构光投影3D、双目立体视觉3D都存在下列缺点：体积较大，容易产生遮挡 。针对这个问题虽然可以增加投影仪或相机覆盖被遮挡的区域，但会增加成像系统的体积，减少在Eye-in-Hand系统中应用的灵活性 。
总结
虽然光学3D视觉成像测量方法种类繁多，但能够安装在工业机器人上，组成一种合适的随动成像眼在手系统，对位置变动的目标执行3D成像测量、引导机器人手臂准确定位和实施精准操作的方法有限 。因为从工业应用的角度来说，我们更关心的是3D视觉传感器的精度、速度、体积与重量 。鉴于机器人末端能够承受的端载荷有限，允许传感器占用的空间有限，传感器在满足成像精度的条件下，重量越轻体积越小也就越实用 。所以，对于随动成像眼在手系统，最佳3D成像方法是采用被动单目（单相机）3D成像方法，这样不仅体积小、重量轻，也解决了双目和多目多视图遮挡难题 。
原文标题：机器人视觉三维成像技术
【3D成像方法解决了双目和多目多视图遮挡难题】 文章出处：【微信公众号：工业机器人】欢迎添加关注！文章转载请注明出处 。
推荐阅读
- 挽留秘笈：由于父母的缘故分手？教你3个窍门解决前男友与父母中间的分歧
- 挽回感情有什么方法-怎样挽回感情-
- 恋人吵架 这才算是最恰当的解决方案
- 马桶堵了很头疼 找到症结就好解决
- 挽留拥有新感情，全新挽回爱情的好方法
- 挽回爱情权威专家教你如何挽回一个人？99%挽留取得成功的概率的方法
- 挽回爱情：教你3个挽留方法，迅速挽回女人
- 红荷根水草的种植方法
- 爬地矮珍珠草的养殖方法和注意事项
- 蜈蚣草水草的养殖方法和注意事项