基于图像的机器人视觉伺服实验研究

dsp图像处理系统及图像处理

　　系统简介

　　本实验中采用的是北京合众达公司的seed-vpm642视频处理系统，该系统是一款专为各种视频应用而开发的pci插卡或带10/100m以太网接口的处理系统。它是在tms320dm642芯片基础上通过外扩容量为4m×64位的同步动态存储器sdram;容量为4m×8位的在线电可擦/写异步存储器flash;可配置为rs232/rs422/rs485标准的两路uart串行接口;4路pal/ntsc标准模拟视频输入，1路pal/ntsc标准模拟视频输出;4路立体声音频输入/输出;实时时钟rtc和512×8位eeprom;32位的33mhz、支持主/从模式的pci接口或者10/100mbase-tx标准以太网接口;标准ata硬盘接口;以及esam硬件加密模块。系统可实时实现多路数字视频/音频的编解码运算，如mpeg4、h.264、g.729等;可实时接收4路视频/音频输入，并实时输出。并能实现与其他io设备、计算机、存储设备、以太网络进行实时数据的高速传输和处理。系统由实验箱体、ccd摄像头、seed-vpm642处理板等组成。在箱体上已固定好两个串行接口、硬盘接口、4路图像输入和输出接口、液晶显示器等［8］。

　　图像处理

　　本实验图像处理具体实现过程如图4所示。

　　由ccd摄像头摄取的按4:2：2格式传输的彩色模拟视频信号经过解码芯片的采集，对y、cb、cr信号按照2:1：1采样率进行采样，并将它们分离开来。在dsp系统中将彩色图像转变成灰度图像，对该图像进行阈值二值化后变成二值图像，然后经过中值滤波滤除噪声点，使用sobel算子进行边界提取。对该边界图像信号使用点hough质心求取算法求取质心图像坐标［3］，并通过串口通讯将质心坐标值传递给工控机程序;同时，处理后的数字视频信号经过编码芯片编码后，送显示设备实时显示。

机器人视觉伺服系统工作流程

　　硬件流程

　　本实验系统由工控机、pmac运动控制卡、松下交流伺服系统、dsp图像处理系统和机器人组成。了解和熟悉松下交流伺服系统的原理和功能后，调试机器人关节伺服电机的运行，优化相关控制参数以求获得最好伺服效果;研究pmac运动控制卡的原理和功能，并与松下交流伺服系统配合，编写运动程序，不断调整和优化pmac卡的控制参数，以求获得满意的运动控制效果;对seed-vpm642图像处理系统进行深入学习和研究后，开发视频图像处理程序。组成该系统的硬件流程图如图5所示。

　　pmac控制卡安装在工控机中，它通过isa总线与工控机通讯。工控机主要运行主控程序、pmac应用程序、dsp应用软件ccs。seed-vpm642实验箱通过rs232串口数据线与工控机相连并进行数据通讯。pmac控制卡通过电缆连接松下交流伺服系统，接收松下伺服控制器输出的编码器信号，输出指令信号给松下交流伺服系统。ccd摄像头摄取目标物体图像，输出连续彩色视频图像给dsp图像处理系统。seed-vpm642图像处理系统处理摄像头摄取的图像，求取圆形物体的质心图像坐标，通过串口传递给工控机。

系统工作流程

　　给定期望目标物体质心图像坐标，主控程序计算其与由dsp图像处理系统反馈的质心图像坐标值的差值，判断系统是否已到达伺服位置，若已到达，则结束伺服过程;否则，求解图像雅可比矩阵的逆阵，得到机器人两个关节应转动的角度值，并将其输出给pmac运动程序，pmac卡按运动程序计算并输出转矩指令给松下伺服控制器，由它直接控制机器人关节电机的运转，通过编码器检测关节的位置，反馈给伺服控制器和pmac卡（伺服控制器对编码器信号进行处理后自身使用并可同时输出）。ccd摄像头跟随机器人运动，摄取目标物体图像，通过dsp图像处理程序处理后求得目标物体质心图像坐标，通过串口通讯传递给主控程序作为视觉反馈量，形成视觉伺服循环。

实验结果

　　基于上述系统原理，在vc++6.0环境下编写主控程序，主控程序主要包括界面的显示和人机交互部分、图像雅可比矩阵逆阵部分、pmac应用程序部分，串口通信部分、数据存储部分。程序运行界面如图6所示。

　　程序界面能对期望像素值、实际像素值的初始值、增益矩阵、关节初始转角、数据采集间隔等进行设置。程序能够对实际像素值、关节角度增量值和关节实际位置值等进行实时显示，并存储相关数据。通过调用pmac动态链接库函数，实现与pmac卡的通讯。增益矩阵为对角矩阵，用来设置关节角度变化的放大比例。程序设置了两个定时器，一个用于采集两个关节的实际位置值，另一个用于定时接收串口数据值、计算雅可比矩阵、与pmac卡通讯等，也即为系统的伺服周期。

　　本实验利用两个时刻的像素误差作为控制量，来验证视觉伺服算法是否正确和上述系统是否实际可行。通过设置关节1、关节2的初始角度分别为0和0.2弧度，期望像素值u和w分别为200和110，实际像素u和w初始值分别为95和150，矩阵增益1和2分别为0.06和0.05，pmac卡采集时间设定为100ms，伺服周期设定为1.2s。下面两表是根据以上设置进行实验的一组数据。表1是物体质心图像坐标两相邻时刻的变化值，表2是由程序计算出的机器人两个关节角度变化值。

　　根据以上数据运用originpro软件绘制的图形如下：图7是图像坐标两相邻时刻的变化值曲线，图8是机器人两个关节角度变化值曲线。

　　在实验中，根据目标物体图像坐标像素的变化，得到机器人关节转动角度的变化，通过pmac卡和松下交流伺服系统的作用实现了机器人的视觉伺服运动。从上述两表和两图可看出，图像坐标的变化和机器人关节角度值的变化是一种非常复杂的非线性关系，这也从另一方面证实了图像雅可比矩阵的非线性关系和求解困难性。从公式（5）可看出，图像雅可比矩阵既跟当前时刻的像素值有关，还与摄像机的相关参数、机器人的相关参数和关节的角度值有关，是一个时时刻刻都随这些量的变化而变化的矩阵，因而其非线性非常严重，求解也非常困难，本文中假定了机器人的转动角度初始值，才使得求解稍容易一点。本实验只是基于图像的机器人视觉伺服实验研究的起始阶段实验，其效果并不太理想。本文系统的摄像头是运动的，目标物体是不动的，所处理的图像是动态视频图像，这就对dsp系统和视频图像处理方法提出了较高要求;因而图像处理算法还有待进一步改进和开发，并脱离dsp仿真环境下载到系统中运行，也有待于对整个系统的伺服算法做更深入的研究。

结语

　　本文分析了机器人视觉伺服系统的基本原理，采用基于图像的视觉伺服方法，绕过三维空间重建和坐标变换，建立了机器人视觉伺服系统的数学模型，并应用到实际机器人系统中来。组建了由工控机、pmac运动控制卡、松下交流伺服系统、dsp图像处理系统和两杆平面机器人组成的视觉伺服机器人系统，在对各子系统深入研究的基础上，开发了pmac运动程序、dsp图像处理程序和工控机主控程序，在实际机器人系统中初步实现了视觉伺服控制，系统能根据目标物体质心图像坐标值的变化，求解出机器人两关节应运动的角度值，并控制机器人按相应角度值运动，实现视觉伺服。实验结果表明，系统初步实现了基于图像的机器人视觉伺服在实际机器人系统中的实现。本实验只是该课题的起始阶段实验，其效果也不理想，下一步将对整个系统进行更深入的研究。