基于运动速度的机器人学习控制

扭／ 善 ≮西 第 l2卷第 2期 控制理论与应用 VDL l 2．No．2 ADr．，l995 刘德满 刘宗富 (东北大学 自动控制 系 ·沈 阳，110006) 、 尹朝万 吴成东 l3 L (中国科学院沈阳 自动化研究所 ·沈阳，110015) (沈阳建筑 工程 路基工程安全技术交底工程项目施工成本控制工程量增项单年度零星工程技术标正投影法基本原理 学院自动化系，i1ool~) ^广、 摘要；为了使机器人跟踪给定的期望 轨线，提出了一种新的基于机器人运动重复性的 学习 控制法．在这种方法中机器人通过重复试验得到期望运动，这种控制法的优点 ：一是对于在期望 运动附近非线性机器人动力学的近似 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 达式的线性对变机械系统产生期望运动的输^力矩可不 由估计机器人动力学的物理参数形成；二是可以适当的选择拉置、迷度和加速度反馈增益矩阵， 从而加快误差收敛速度；三是加入了加速度反馈，减少 了重复试验的次数．这是因为在每次试验 的初始时刻不存在位置和速度误差．但存在加速度误差．另外，这种控制法的有效性通过 PUMA562机器人的前三千关节的计算机仿真结果得到验证- 关键词 学习}试验；重复；线性北；仿真 1 引 言 尽管由机器人跟踪的期望轨线被确定描述 ，但精确的实现它很不容易．主要原因是估 计机械关节之间的干扰及十分影晌机器人运动的不可测扰动十分困难．实时得到这样的 干扰和扰动的定量估计数据实际上不可能．但是 ，似乎整个机器人动力学包括那些未知的 干扰和扰动当机器人重复相同运动时可以再现．因此，期望运动可通过很好地使用机器人 运动的再现得到改进．以前，有些学者注意到了这一点且提出了基于重复真实机器人运动 的新的控制方法 ．在这种控制方法中机器人可通过试验运动的充分重复最终得到给 定期望运动，象人通过重复训练一样学习期望运动．为了在实际中实现，在当前试验中加 到机器人的输入力矩仅由在前一试验中和在期望运动中的真实机器人数据简单修改．如 果对于修正律和期望运动的某些条件得到满足，那么由重复试验运动，机器人收敛到期望 运动．这种控制法的第一个优点是尽管机器人动力学的线性化时变机械系统的物理参数 未知，但学习控制的收敛条件很容易得到满足{第二个优点是可以通过适当的选择位置、 速度和加速度反馈增益矩阵，以加快误差收敛速度 ；第三个突出优点是使用加速度反馈减 少了试验运动次数，这是因为在每次试验运动的初始时刻不存在位置和速度误差，但存在 加速度误差． ． 2 机器人机械手动力学的线性化 一 个由 个驱动器驱动的 关节机器人机械手的每个关节由移动或转动关节组成． · 中国科学院机器人学开放研究实验室资助课 题 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 ． 本文于 1993年 7月 3日收到．199 4年 5月 26日收到修改稿 维普资讯 http://www.cqvip.com 2期 基于运动速度的机器人学习控制 1 39 众所周知机器人的非线性动力学可表示为 ( ) + f(o， )一 (∞ 一 f． (1j 其中tJ(t)∈R 表示关节角坐标． ∈R 表示广义力矢量．，( )∈R 表示正定、对称的惯 量矩阵． ( )∈R 表示重力力矩矢量．，( ， )由离心力和哥氏力及其它 由摩擦力和扰动 引起的非线性元素组成． 在计算力矩控制法中，相应于期望轨线的理想关节力矩 “( )由把期望关节角位置 ( )，关节角速度 ( )．和关节角加速度 OAt)代入(1)中得到 ( ) -t-，( ， )-p ( )一 ( )． (2) 但 由于外界干扰和系统参数的变化，仅使用前馈力矩控制常常会导致不稳定的响应一 因此 ，本文加入偏差控制部分．对于充分小的偏差 艚，所需的校正力矩 酊 可表示为 (z) ( )十 E( )6o(t)+ F(￡)甜( )一 d-r( )． (3 J 其中 6o(t)一 ( )一 ( )，d ( )一 f( )一 T 【1)，和 M ( J一 ，( ( ))， 鲫)：[丁af(o,O) ， 州 一[ ] 仉+[ +[ 考虑 由(3)描述的线性时变系统的控制律．为此，提出一种新的练合反馈控制和学习控制 的控制法 ( )一 K ( 一 口)+ K (0o一 目)+ Ko( 一 )+ “(￡)． (4) 其中 。和 分别为关节角位置、速度和加速度反馈增益矩阵，它们都是对角的、正定 的常数矩阵， (￡)为用于学习的控制部分．如果让 (f)一日(￡)一 (f)， 。( )一 ( )．那么 ， 综合 (4)和(3)，可得 (埘 ( )十 K )釜( J十 ( (￡)+ K ) (f)+ (F( )+ K ) ( )一 (￡)． (5) 因为埘( )是对称、正定的惯量矩阵，屁是对称、正定的常数矩阵．那么， (z)一 也是对 称的正定矩阵． 5 线性时变机械系统的学习控制 为了解释提出的学习控制法的实质 ，考虑一个线性时变机械系统 ( )i(￡)+ 0( ) ( )+ P( ) ( )一 (z)， ㈣ 一 ． (6) 其中“( )∈R‘和 ( )∈R 分别是输入和输出，。( )∈R‘是位置矢量．我们不必知道系数 矩阵 ( )，0(f)和P(￡)的精确值，仅需假定矩阵 ( )对于所有 ∈Eo， ’]( 为终端时间) 是对称和正定的．另外 ，假定这些矩阵的每个元素连续可微．这里，为了解释由于重复试验 速度收敛到期望值 ，设定 Y= ．假定对于这个系统在[0，明 上连续可微的期望输 出Y ( ) 被给定 ，相应于帅的期望位置由“表示．因为系数矩阵 R(z)，0(z)和P(O未知，产生期望输 出的输入不可能通过式(6)的计算得到．那么我们引进一种学习方法以实现相应于机器 维普资讯 http://www.cqvip.com 140 控 制 理 11与 应 用 i2卷 人期望运动的期望输出．这可通过下列方法进行．在首次试验中，在Eo， ']上连续的适 当 的输入 ( )被给定到系统．由输入 “ (z)控鼽的系统受下列微分方程的约束 ( ) ( )一 0( ) ( )。t-P(￡)∞(f)= (f)I ⋯ ( )一 l( )． 设定初始值 为 (0)= (0)一 (0)． (0)一 (0)． (8) 实际上 ，为了速度的初始条件容易满足，通常选择初始速度为零 的期望运动．因为通常实 际输 出不与期望值重合 ．所以在第二次试验盯输入 “z( )由“ (z)和误差 ( )形成 ( )是 期望输出 (f)与系统在第一次试验的输出 (z)之间的误差 ，№( )以这种形式给出 “2( )一 ( )+ Ael(￡)， el( )．一 (1)一 yl( )． (9) 其中 Id是一个正定常数矩阵．在第二次试验中 ，输入 ({)以相同的初始条件输入给系统． 在第二次试验后相同的操作被重复．这个学习控制算法遭常表示为 ／．／(z) (f)+ 口( ) (z)+ P(t)x ( )一 冉fz)， (0)= (0)一 (0)， 以(0)一 班(0)、 。+ J(f)= (^f)+ d ( )， (￡)= ( )一 (f)． (10) 学习控制如图 1所示，这里问题来 自于通过这种 重复操作误差能否减小．为了回答这个问题 ，进 行下列推导定理证明． 从(10)，下列方程在0+ 1)次试验成立 ( )五+ (z)+ 口(f)； + ( )+ P(t)z + (￡) 一 +l(z) 一 一 ( )4-Ae (z)． (11) 从(11)减(1 0)得 R(t) (z)+ 0(￡) ( )+ F(t)d (f)= Ae ( )． (12) 其 中 ( )=z⋯ ( )一乱(z)．因" ( )的每个分量 图1 学习控制 连续， (￡)的每个分量连续可微 ，而且，矩阵 (f)，口(f)和 P(z)的每个元素连续可微，即 ∈c'Eo， ]， (!)∈ ‘Eo，? ]， (!)， ( )，P( )∈ [0， ]，得至 z1(f)∈C Eo， ， e (￡)一 (z)一 L(z)一 (z)一 (z)∈ Eo， ’]． (13) 于是，从(12)有 d ( )∈ Eo， ， (14) 这意味着 z (z)一 d ( )+ t(z)∈ [0， ]． (15) 于是得到 e2(￡)一 (z)一 2( )一 (!)一也( )∈ Eo， ’]． (16) 在第二次试验后，同样的操作被重复，有 维普资讯 http://www.cqvip.com 2期 基于运动速度的机器人学习控制 14l (f)E c E0， ， (￡)E c [O，T]． (1 7) 对于任何试验次数 ，将(1 2)微分得到关系 [ ( ) ( )十 Q(t)d( )+ P( ) ( )]一 (18) 对于任何试验次数 ，叙述下列定理． 定理 1 如果 -( )的每个分量连续， (￡)的每个分量连续可微 ，那么由(1O)给出的 学习控制方法中的误差 “(：)以下列形式递减 J ≥ J ． (19) 其中 J 由下列方程定义 r J =l e一 (t)Ae (t)+ ( )以 (t)Jdt． (2O) J u 选择适当的正常数标量 P和 ，^证明见附录 A． 上述定理保证随着试验次数的增加，误差不增加．但是，实际上当试验次数趋于无穷 时期望误差收敛到零，这可由从定理 l演绎出的下列定理 2证明． 定理 2 在定理 l的相同条件下 ，误差以下列收敛 e ( )一 0， 一 o。， (21) 即 ( )一 ( )一南( )． (22) 对于任何固定时间 E [0， ，证 明见附录 B． 注意到初始位置设定为期望值 ，上述定理意味着对于任何固定时间 z E 0， ]m (z) 收敛到期望位置 (t)． 4 学习控制在机器人机械手中的应用 我们将所提出的学习控制法应用到具有由 个驱动器驱动的 n关节的机器人机械手 中去．考虑前面所述理论是否可用于 由(5)表示的线性时变系统 ，式(5)可重写为 (z) (t)+ 0( )T( )+ (f)T(z)一 “(!)． (23) 其中 (￡)= (!)+ K。； 0(t)一 ( )+ K。； P(t)一 ( )+ K，． 在这种情况下，因为 (t)代表偏差，期望输出 m(￡)必须设定为 m(￡)= ( )= ( )～ (z)一 0． (24) 对于所有 t∈ [0， ]．于是 ， (z)明显的连续可微．其次 ，在第一次试验的输入 (￡)给定为 “ (t)一 0． (25) 对于所有t E[0，T]．回忆一下(5)中的矩阵m(o， (￡)和 F(￡)的定义 ，知道如果设定 (￡) E c [O， ．]的每个分量 ，那么“ (z)连续 ， ( )，EO)和 F(f)连续可微．另外，设定初始条件 为 (0)= (O)一 (0)一 (0)= 0． 【26) 乩(0)一 (O)一 (0)= O． 于是，在定理 l和定理 2中所要求的对于期望输出 (f)，首次试验输入 “。(t)，初始值 n(O) 维普资讯 http://www.cqvip.com 142 控 制 理 论 与 应 』f 和 (0)得到了满足．另外，因 【!)是对称、正定矩阵 ， 是对称的正常数矩阵 ，那么 (世( )+K )也是对称、正定矩阵．矩阵埘(f)， ( )和F( )的每个元素连续可微，这样定理 1和 2的所有条件得到了满足． 5 计算机仿真 在理论上已经表明通过重复试验机器人运动接近给定的期望运动 但是 ，必须注意到 当(20)中标量 P被设定十分大时 ，在时间周期[O， ]的终了时间 与初始时间相比，误差 e( )收敛到零较慢，需要许多试验以一致减小误差．从实际的观点看 ，表明对于机器人机 械手用一个十分小的 P值保证误差收敛十分重要．如果速度反馈的增益矩阵 ．的元素与 其它矩阵 M( )， (f)，F( )，和 的元素对于所有时间 ∈ ：0，明 相 比被设定为足够大 ，从 理论的观点看这很容易表示．但反馈增益矩阵 K．．的元素对于实际使用的机器人是否可以 设 定为足够大还不清楚．为了证实实际有效性 ，所提出的方法被应用到 PUMA562机器人 机械手，机器人的物理参数给定为 采样时间： 一 6．0ms． 反馈增益： K，一diag(64，64，64)N／rad， K．一diag(32，32，32)Ns／rad， K 一 diag(1 6，16，16)Ns!／tad． 初始条件： (≈(0)， (0)， (0))一 (0．45，0 25，0．04)m 终止条件： (如( ‘)， ( )， ( )一 (o．45，0．25，o．04)m． 终止时间： 一 2s． 期望运动： ( )一 0．25+ 0．2cos( )， ( )一 0．25+ 0．2sin( )， 一 0．04m ． 学习增益： A— diag(32，32，32)Ns／rad． 从图2至图5可以看出：经过 4次试验跟踪误差趋近于零．可见，本文提出的学习控制 法具有快速收敛的优点． 维普资讯 http://www.cqvip.com 2期 基于运动速度的机器人学 习控制 1 43 图 4 第三次试验结果 参 考 文 献 图 5 第四伏试验结果 [1]A~imoto．S ，Kawamura，S andMivazakit F． Bettering Ogcradon of Robots by Learnin8-J r Robotic Sys l I984，l： l23— 128 [2]．~imotot S．，Kawamum，S．and Mlyazakl-F． Bettering Operation of Dynamic Systems by Learning：A New Control Theory for Servomechanies 0r Me．chat~onlcs Systems in Proc 23rd 1EEE Conf Decision and Control，Las Vegas，NV- Dee． 1984 [3]A~imoto，S，Ka u珀，S．andMiyazaM，F．CanMechanical Robots Learn byThemselves?】n Robotics Research，The 2rid Int~'nadonal Symposium．Cambridge，MA：M" Pros，l985，127一 l88 [4]MclnrOy，J E．and Saridis，G．N ．Acceleration and Torque Feedback for Robotic Control：ExgerimemaI Results J Robotic Sys．，1990，6：8l3— 832 28]Afimoto．S andMlyazaki．F Stability and Robusmegs of PID Feedback Control for RobotManipulator of sens0Ty Capa biliues．in Robotics Research．The 1st International Symposium Ca mbridge，MA MIT Pte~,s，1983 [6 Takegaki．M and Arimoto，S．．A New Feedback Method for Dynamic Control of Manipulato／s-Trans-ASME，J Dy namic Sys Meas Coat~ ．198l，l03：l19— 125 Cv]L ，C S．G l and ungl M J．An Adaptive Control gtraleg>'for Mechani~／Manipulators IEEE Trans Atlto~ t Cont~．，198 d，AC 29-837— 840 [8]Kawamura，S l and M!yazaki，F ，and Arimoto，S Hyb~'kl Position／Force Conl~l of Robot Manipulators Based on Lea，n{r Method in proc．ICAR 85，Tokyo，Japan，Sept．1985 [9]K㈣ muTa，S．，Miyazaki，F ，and Arimoto s-Application of Learning Methods for Dynalnic Controls of Robot Manip ulatot．in Prcc 2 dth IEEE Conf．Dccisiott and Control，FQrt Laudcrdale，FL．，Dec． 1985 维普资讯 http://www.cqvip.com 144 控 制 理 论 与 应 用 2卷 附录 A 定理 l的证明 由 以( )的定义得 。 “)= r I( ) 【f) = 肌 I“) 一 y ( ) 一 y 0)一 n( )一 (如(f)一 十．( )) = (f)一 nI J( )_ (A1) 这同样意 昧着 (，)= e．(f)一 }+J【f)． (A2) 将 (A1)和(A2)代八由(2。)定义的 ^¨ 得到 J⋯ =l ⋯ [ +J(1)Ae I(f)十 珥+J(f)A c；¨I(f)：d， = l e [( ( )一 ( )) A( ( )一 (f))一 (^ (f)一 ．(f)) AG(I)一 (f))] 一 十j： [靠( ) t( )一勰t ) ( )： 一2J [酊(1)』 ( )+ ( )Ae “)]df_ ( 3) 此外，将 (12)和(1 8)代^ (A3)得 ^一J + 一2 l 杆(f)[ (f)以( )+0(，) 0)十P(f) (f)] 一2^『 一 31( )告[R(f) (f)+a( )4( )+P( ) (f)]d{ 一 l P一 [ (t)Ad(f)+勰 ( ) ( )]df (A4) 因为韧始条件给定为 (0)一 +J(0)一 z．(0)= (0)一 曲(0)一 0． (。)一 }+I(0)一 (。]一 轴(O)一 (O)一 0， (A5) (∞ 一 +．(0)一 矗(。)一 五(O)一 五(。)一 0 和 (1)= Ⅳ0)+ J 。 a(f)一 (1)+ K ， 尸( )一 (1)+ ．． (A6) (1)是正定 、对称矩阵。(A4)可通过部分积分写为 ～ J⋯ 一 e-- 虾 + l + l + 。) 汀)+ 靠( )( ( )+ ．+ ，) 。( )+ dTK，以] e 却(f) ( (1)+ K )+ 2 + 2 ( )+ ( )一 AJd,(t)dt 杆( ) ( (f)十 + ，)+ 2K + 2 (1)～ (1)一 Aid (t)dt +l e-- [ ，ida(t)dt+ 2^l e-- 露( )( (1)+F(1))五( )d{ J 0 J 0 r T r + 2^ l e-- 靠 (1) (t)dt+2 l e ‘ ( )F( )以(f)d ． J 0 J 0 这里 ，注意￡上下关系很重要 (A7) l e ({)+ ’(1) ( )] [ “ +，(f) (f)]出≥ 0， e一 哺 ( )十 ( ) ( ) 隧( )+ (1) (1)]dl≥ 0。 1 (A8) l^ P一 [ (f)__( ( )+F(1)) (f)]T[ ( )+ 佃(1)十 ( )) (1)]出≥ 0． 和 P是正标量 ，显然有 f 。) (1)dl+』：e一 d ( ) ( ) (f) (f)d 十2』：e一 ( )F(。 ( )dl≥0， f：e一 ‘ ( ) ( )d + 』：e一· 孽( ) (f) ( )d ( )d +2 』：e一 }( ) ‘( )4( )d ≥0． 维普资讯 http://www.cqvip.com 2期 基于运动速度的机器人学习控制 l 45 ij P叫都(1)五(￡)dl+ J e 靠(￡)( (￡)+ ( )) ( ( )+ ( ))出(1)小 』 ： J +2Al e--嘟 (1)( (1)+ F( ))也≥ 0． (A9) J 将(A9)代入不等式 (^7)的右边 ，可得 J．一J⋯ ≥e-- [靠( ) ( ( )十 )a(T) + ( )( ( )+ 十 AK，) ( )十 ( ) ． (T)] +I e- 打( ) (1) (t)dt+I e- 甜(￡)丑(1) (t)dt+l 一 ( ) (￡)以( )d ． (At 0) J 0 J D J 0 其中 (f】一 ( (1)_-K．)+ 2K + 2B(t)+ 盯(￡)一 A一 2门， B(O — p(M ( )+ + AK．)十 2K + 2E(t)一 (￡)一 A 一 ， 一 (^ ( )十 (0) (雷( )+ F(O )， c(z)一 ，，一 (1)F( )一 (1)F(D． (A儿 ) 其中 是单位矩阵．如果 (￡)> 0， B(￡)> 0， c(o > 0 (Al2) 这意味着式(A1 0)的值是非负的．因此可作出结论 以 ≥ J⋯ ， (Al3) 那么误差的收敛得到保证．如果反馈增益矩阵 K．， 和 ，的每个对角项设定得比系数矩阵和它们的微分 的其它元素大得多，那么可见(A11)对于十分小的 p值得到满足．因此我们可通过选择适当的 。， 。和 ，，以便对于比较小的 P误差的收敛得到保证． 附录 B 定理 2的证明 因为定理中所有关系成立尽管我们设定l∈ [0，叼 代替 T，于是我们得到下列不等式代替不等式 (A1O) J．(￡)一^+ ≥ e一 [ 0)^( (1)+J ) (1) + (f)( (f)+J + ．) (￡)fi- (￡) ， (￡)] +J 一 ) (f) ( )df+I P一啦 ( )B(f)也(r)df J 0 J 0 r + l e一 (f) (f)出(f)df≥ 0． (BI) 对于任何固定时间t∈ [0， ]．从(BI)，有 J (1)一 J⋯ (￡)≥ e一 (1) ( (1)+ 丘 ) ( )≥ 0， ^(f)一 J．+ ( )≥ e--嘶 (f)( ( )+ 。+ ) (￡)≥ 0 ^( )一 J川 (f)≥ P一 (1) ， (1)≥ 0 (B2) 对于任何固定时间 ∈[0，叼，因为式(B1)的右边的每项是正定的．系数矩阵冠(1)是正定的，^ 对于任何 固定时间收敛列某个唐，于是可作出结论： (1)一 0， (1)一 0， 以( )一 0 当 一 。。． (B3) 对于任何固定时间l∈ [0，T]．从(12) 这意味着 e}(1)一 ∞ ，当 一 ∞ (B4) 对于任何固定时间l∈[O．T]． 维普资讯 http://www.cqvip.com l46 控 制 理 论 与 应 用 l 2卷 Robot Learn Control Based—On M otion Rate LIU Deman and LIU Zongfu (Department of Autoa matie Control，Nortiaeastern University·Shoayang，11OOO9，PRC) YIN Ch~owan (Roboti~~Laboratory，Sgenyang trtstituto of Automafiott·Shenyang，1lOO15．PRC) W U Chendong (De parttaertt of Automatic Conuol，Shenyang Civil Arehitectuto E,ngin~r Jng lnstitate·Shenyang，11OOl9，PRC) Abstract：To make a robot track a given de,red motion trajectory．a new [earning control sCheme is proposed which is based on the repeatability of robot mo~on．In this scheme the robot obtains a desired motion by repeating trials．This control method has three advantages：First，this control scheme is that the input torque that generates the desired motion can he formed without estimating the physical parameters of a linear time—varying mechanical system·which 招 an approximate representation of nonlinear robo t dynamics in the vicinity of the desired motion： Second，the rate of el'roT convergence may he ge azanteed rapidly by setting appropriate angular position，velocity and acceleration feedback gain Matrioes；ThⅡd，in th is co ntrol method ，ac~J．eration feodha ck added to decrease the number of repeated tr Jals．This is duo to the fact that no position and velocity error exist at the beginning of ev— ery trial movement． Moreover，effectiveness of this con trol scherae is demonstrated thro ugh computer simulation in which a PUM A 562 manipulator with f[rst three degr~ of freedom is used． Key words：lea rning；trial；rel~：．ated ；linea rlzed；computer simni ation 本文作者 简介 壹q穗满 1963年 生 副教授．1964年在武{卫钢铁学院电气化系获工学学士学也．后分别于 1968年和 1901年在东 北大学 自动控制系获工学硕士、博士学位 主要研究工作*趣是 非线性控翩，自适应控制，机器人控制 目前研究领域 是机器^智能控制 刘宗富 1925年生-教授．1950年毕业于同济 大学电机工程系，1950年到东北大学任教-1956年晋升为讲师 ， 1958年获苏联副博士学位．1979年晋升为副教授 ，1983年晋升为教授 现为中国自动化学会电气自动化专业委员会 委 员． 尹朝万 1940年生 研究员 1962年毕业于华中理工大学 自动控制系 ，1902年开始在北京中科院 自动化研兜所 工作 1965年到中国科学院沈阳自动化研究所工作，现任机器^学开放研究实验室副主任．主要研究 趣是效据库技 术和智能控制等．现在的研究领域为机器智能控制和C1MS信息集成． 吴成东 1960年生 售I教授．1989年毕业于沈阳建筑工程学院自动控制系，并留校任教 1985年考入清华大学自 动化系攻读硕士学位，l989年获工学硬士学位 1991年考入南北大学 自动控制系攻读在职博壬学位．目前正从事机器 ^智能控制方面的研兜． 维普资讯 http://www.cqvip.com