立体视觉在电子设备拆装线上的应用

立体视觉在电子设备拆装线上的应用 摘 要 本文提出了一种非破坏性自动拆装过程中的工件和产品部分之间的距离计算的方法。并以手机的拆装单元为例进行了研究。这种方法基于单目动态立体全景的计算机视觉，把摄像机固定在一个机器人身上，摄像机的光轴平行于工件的轴向，摄像机获取经过处理的图片之后，就能够通过其提供的丰富信息来计算产品上感兴趣的点的坐标，同时也能计算出工件的一端和产品的某点之间的距离。实际测试结果 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 明这种方法是有效的。 I、引言 在它的生命周期里，一件产品不可避免地变旧和必须进行替换。然而，许多产品的零部件，诸如电视机，影碟机，手机和一些其他产品是不能随便丢弃在环境中，这些产品的一些零部件能够进行循环或替代地重复使用，例如洗碗机和电子线路板。 在两种情况下，如果产品的一部分能与另一部分分离，那么该产品应该进行拆解。拆解技术能分成两个截然不同的部分：非破坏过程和破坏过程，非破坏过程是指产品分解后没有被破坏，破坏过程是指可重用的部分受到损害并且需要重新制造的过程。破坏技术的一种类型是钻孔过程，其螺丝钉和螺纹在拆解过程中会受到破坏。 为了自动执行拆解过程，视觉系统要能够计算出螺丝钉的位置。尽管能够精确地算出工件的轴向和螺丝帽轴向之间的中心位置，现有的系统还仅限于计算工件到产品的轴间距离，以便于拆解工具能很好地完成产品的拆解。 本文提出使用立体视觉系统，系统中的一台摄像机能够动态地获取图像，在图像经过去噪后，再经过一些处理后就能自动地算出工具和正在拆解的产品零部件的表面的距离。 图像获取，条件处理和计算分别是由软件NI Vision Assistant和LabVIEW完成的，这两个软件都是由National Instruments开发的。 II 拆解过程 有关产品生命周期的研究表明之前用作维修和组件替代的拆解过程现在正在被列入用于产品生命周期的计划阶段。 那些研究者提出在一项工程的初始阶段要考虑拆装阶段[1]，以便最终的产品由更加容易拆解的连接组成。所以，对于公司来说拆卸工序将会变得更快、更廉价，这将使得公司能够投资于组件回收利用，减少原材料的使用。 在文献[1]的基础上，研究者们提出了基于图表理论的技术和仿真工具的使用，仿真工具能够帮助寻找最佳拆卸顺序，以便在时间和资金上使得拆装过程最优化。 根据拆卸后对产品造成的影响，拆装过程能分为两类：破坏性过程和非破坏性过程。 正如字面意思上所说，破坏性过程会在一台设备的组件分离后破坏该设备，其通常应用在产品要被回收或者丢弃的时候。关于破坏性过程的例子有通常用来分离连接处和螺丝钉钻探；有用来分离洗衣机内部组件的水刀；有用来卸掉洗衣机上的陈列柜的等离子切割机。 另一方面，使用所谓的非破坏性过程后，组件分离后不会受到任何损坏，因此组件能够重新得到利用，或者进行储备以便在产品的保修期内能够替换损坏的组件。包含在这一类过程的例子有旋出螺丝过程和通过提高温度分离焊接部分的过程，后一种过程限于组装线，其温度不会影响包含在这一过程中的组件的化学和机械特性。 在拆装技术中，仅仅有一些过程是完全自动的，因为要考虑若干因素，比如： · 产品在最后阶段或许没有和当初设计时相同的几何特性，这是产品提交时的使用条件造成的结果。 · 产品的丰富多样性使得在拆装步骤中有必要建立步数，以便拆装工具能够根据产品的特性来调整自己。 · 与上述条目描述的原因一样，需要大量的数据库来存储关于每件产品的信息，例如接头的类型，连接处的个数，维数，螺丝钉的类型（使用时）和它们安装的位置。结果是大量的对应每件产品的不同惯例。 基于上述原因，现今的拆装单元有人工和自动状态，因为特定的工序阶段仍然有人来完成。 第一个难点的可能解决 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 或许可用一个能够识别需要分离的连接点的视觉系统。这种方案或许能减少上面提到的问 题 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 ，因为连接点位置方向的水平坐标将间接地由与图像中之相对应的位置产生，不会受产品的几何结构和使用条件的影响。 然而，与第三维相关的数据，也就是拆卸工具必须驱动至连接点处的过程，仍然是不确定的，因此需要人工完成。 图1 摄像机固定在旋开螺丝钉的工具上 图1列举出了固定在旋开螺丝钉工具上的一台CCD摄像机，在移走螺丝钉的工序中使用它可以不破坏组装的零部件。在这个实例中，可以先由摄像机获取图像，然后进行处理，就可以计算出螺丝钉的轴线位置；然而，工具向产品的行进方向是对连接点信息进行分析之后决定的，或者是由操作者控制拆卸的状态决定的，其中连接点的信息存储在与产品相关的数据库中。 综上所述，最大的难点是如何自动决定拆装工具向待拆卸产品行进。 III 立体视觉 立体视觉是人类所固有的，深度觉察力对我们来说是至关重要的。在这个系统中，每只眼睛捕获一幅图像，并且左眼获取的图像与右眼有很大的不同。 因此，对每一幅图像来说，空间中的一点投射到图像中的位置是截然不同的，投影点之间的距离称作视差。人类大脑计算两幅图像对应点之间的视差，就能得到每个点的空间位置。图2描述了计算机视觉的原理。 图2 立体视觉模型 透视 立体视觉系统由左右两部摄像机组成，这两台摄像机具有相同的焦距且在一条线上，而且它们的光轴必须平行。在上述模型中，空间坐标系统的X-Y平面与摄像机透镜平面一致。这样，就在焦距为f的情况下得到了两幅图像，镜头到空间中的点的垂直距离为D。 在该模型中，P表示空间中的一点；b是两台摄像机光轴的距离； 和 左右两幅图像中点P的投射点相对于图像中心的绝对距离。 图3 立体视觉模型 俯视图 考虑到图3所展示的三角形相似性，我们可以得到下列式子： （1） （2） 对于空间中的任一点有： (3) 上面已经提到，视差由一点在两台摄像机所获取的图像中的投影点之间的距离决定。由于在这个模型中 和 都是相对于图片中心的距离，所以视差 (4) 因此 （5） 然而，在计算机视觉中，图片的坐标原点位于左上角，因为图片只不过是n x m矩阵，其中n和m是图片的分辨率。 矩阵中的元素 ( )称作像素，其大小相当于256灰度值当中的一个灰度，其中0代表黑色，255代表白色。 因此，当改变图片当中坐标原点的位置时，视差 (6) 选择基线长度来提高距离D的测量精度是研究的重点。根据文献资料，基线在提高点的第三坐标的测量精度上起着重要的作用，所以，基线越长，测量越准确。但是，基线太长会导致远的投射，这会使得图像间匹配过程更复杂，更加容易得到错误的相互关系。 为了解决这个看似矛盾的问题，文献(6)提出了一种基于多重基线的方法，即把其中一幅图像固定住作为参考，让承载摄像机的机构作小的侧向运动，这样就得到了新的图像和新的立体像对，每个立体像对由位于N位置的摄像机获取的图像和参考图像组成。 由于图像N-1中的点是用来找出图像N中相对应的点的位置，而不是用来自第一幅图像中的点，使用这种方法可以渐渐地增加基线的长度而不会产生错误的匹配。 注意到在找到期望的基线的过程中，形成了N-1个立体像对，每个立体像对能够决定空间中点P的距离Di。研究证实，当增加获取的点数，误差会减少，因此要增加立体像对的数目[7]。图4阐明了这种方法： 图4 多重基线立体视觉模型 IV 案例研究：一个实际应用 完全执行该方案有如下必要的步骤： 1. 网络摄像机标定 2. 识别感兴趣区域中的一点 3. 考虑多重基线方法使用的N个立体像对 4. 计算相当于立体像对的距离Di 5. 求出Di的平均值D A. 网络摄像机标定 网络摄像的标定是间接执行的:获取第一幅图像，并测量X和Y方向的像素的维数。然后，让机器沿X方向移动100mm，再以同样的参考重新测量一次数据。这样，在X坐标方向就建立起了实际坐标(mm)和图像坐标(pxl)之间的关系。 用同样的 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 可以将坐标转换到Y轴方向上，转换系数分别为 mm/pxl 和 mm/pxl 之后，就可以指定特定的几个点，根据它们和网络摄像机的镜头之间的距离得到网络摄像机的焦距。 在本次方案中选择了三个点，它们不在平行于摄像机透镜平面的同一个平面上，这样能确保这些点和摄像机间的距离不一致。表1列出了获得的结果。 表1 摄像机标定中使用的与随机点相关的焦距 点 和摄像机镜头相关的距离 立体像对的数目 相对焦距 1 234mm 21 465.053mm 2 486mm 21 475.619mm 3 291mm 21 483.887mm 取三个焦距的平均值为摄像机的焦距，即 (7) B 识别感兴趣区域的一点 目前的方法是采用立体视觉方法选择不同水平面的点来评估间接测量的准确性，也就是说，虽然拆解手机的一块限制区域(模板)，区域外的点可用来分析歧义情形和参考损失。 选择完单件的点之后，就生成他们的模板。模板是具有足够分辨率的图像，这些图像仅仅存储了有关那些点的特征信息，如表2所示： 表2 用来识别投影点的感兴趣的点的模板 下图证实了感兴趣的点的位置 图5 兴趣1的点的位置 图6 兴趣2的点的位置 图7 兴趣3的点的位置 图6和图7表明能够探测到超过一个共轭点。而这或许导致不正确的共轭点，这也是接下来要讨论的。 B. 考虑N组立体像对 为了创建立体像对，需要选择兴趣点，从它产生出第一幅图像：图片0.然后，采用机器的一个轴执行惯常的程序，步骤如下： 1. 移动机械臂5mm； 2．获取一幅新的图像 3. 指出新图像的投射点 4. 计算图像对(图像0，图像i)的视差，i表示第i次执行惯常程序， ； 5. 返回步骤1； 计算与基线相关的视差，在每一次执行新的惯常程序时，将基线增加5mm。这样的信息存储在矩阵Nx2中，在每次反复中同样会增加。 根据参考文献[8]，有一些因素使得不可能识别出图像中的兴趣点的投射，因此，在形成立体像对时，有必要进行一致化的规定，即： 1.闭塞：当仅仅在一幅图像中看到一点时，就会出现闭塞。当投射点在右边图像靠得太左，或者在左边图像靠得太右时闭塞会发生。因此，不可能决定立体像对。 这种现象是可以想象得到的，因为机械臂每移动5mm，兴趣点投射在新获取的图像上的位置会朝相反方向移动一些像素。 这样，在获得N幅图像后，再也不可能识别出图像中的投射点。然而，对于每个兴趣点反复次数N是不同的，所以这个工序仍然依靠外面的帮助来确定系统反复的次数。 在惯常程序一开始时，旨在实现自动决策的项目就包括了一项测试，其目的是确定这个软件是否应该执行惯常程序或者完成它并跳到下一个阶段。 这个测试很简单。它仅仅是看能否识别出这个投射点。如果能，就可以执行下一次的惯常程序，并把数据对(视差，基线)添加到矩阵中。 为了确定投射是否代表了兴趣点，设计了评分等级。如果投射分数小于下限，投射将会被认为是无效的，获取图像的惯常程序将结束。 2.纹理重复：当图像中出现两个或两个以上的兴趣点时，有必要考虑匹配误差的概率。一种极力降低这种可能性的方法是建立图像中的一块感兴趣区域，约束投射的搜寻。图8表明这种方法能解决这个问题，因为知道了机械臂朝X方向移动了，把感兴趣区域限制在一个矩形中就已足够了。 图8 点2的感兴趣区域 然而，这种方法并不适合兴趣3的点，因为机械臂不得不从该点沿Y轴移动，而该点在机械臂X轴方向的末端。那么，该点的感兴趣区域是和点2兴趣区域相似的矩形，但是是旋转了90度以后的矩形。 考虑到机械臂移动的方向和图片中Y轴的正方向一致，并且在点3位于左下角时获取图像0，点3的投射将随着每次惯常程序的执行上升。 同样考虑到，为了识别出来自图像0的点3的投射，用来确定兴趣区域的矩形被放置在某一位置上。在某次惯常程序中，对于同一点的投射来说，矩形会第二次出现。这时，就不可能确保软件仅仅使用这个工具选择一个正确的投射。 为了解决这个问题，可进行以下测试： 考虑反复次数m： 从投射m-1和m-2中得到Y坐标 使 ，其中sgn是符号函数； 对每一次投射，使得 ； 如果有一个投射满足条件 ，就表明这是正确的投射。 而且，一项辅助测试表明找到了投射，就可以避免由闭塞引起的问题。下图收集了在几次惯常程序中获取的图像，举例论证了上述阐述的步骤。 图9 为了消除歧义而执行坐标测试 D．计算距离Di 一旦产生矩阵Nx2，其中第一列代表基线，第二列代表相对应的视差，距离向量D可由下式计算： （8） E.确定距离D 最后，空间中的一点到摄像机镜头平面的距离就可用向量D的平均值来表示： (9) 为了保证本次实验的有效性，要完成用来标定的相同点的测量，其目的是从质和量上来分析结果，表三列出了实验结果： 表三 使用立体视觉模型得到的测量结果 V. 结论 本文提出了一种实用的用来估计拆卸工具到物体的距离的方法，很适用于自动拆卸工序。当使用计算机视觉来确定空间中一点的位置时，立体视觉是一种有用的方法。而且，机器视觉还可以有多种用途，因为它会根据使用摄像机的数目和立体视觉模型中形成的特定的几何关系处理不同形状的物体。 然而，由于估计已经使用过的摄像机的焦距，立体视觉距离测量很容易产生误差。除此以外，如果已经用过的摄像机有一个固定的焦距，误差就不应该被观察到。提出来的实际应用所测得的误差限定在2.5%间隔内或者5mm的绝对距离。 本文没有考虑到使用Y轴的立体像对来支持在X轴方向上形成的立体像对的测量。这种方法很重要，因为Y坐标的一对数据能够最小化歧义问题，该歧义问题出现在有许多水平线的情形下。在那些情形下，来自水平对的结果经常是模棱两可的。使用垂直数据对能轻易地解决这种问题[5]. _1389982925.unknown _1390023212.unknown _1390054031.unknown _1390114331.unknown _1390115184.unknown _1390115418.unknown _1390114390.unknown _1390114210.unknown _1390048534.unknown _1390049919.unknown _1390048479.unknown _1390022744.unknown _1390022836.unknown _1389983039.unknown _1389982258.unknown _1389982762.unknown _1389982773.unknown _1389982436.unknown _1389981523.unknown _1389982187.unknown _1389981449.unknown