矩阵、向量求导法则

矩阵、向量求导法则 1 矩阵、向量求导法则 1. 行向量对元素求导 设 [ ]1T ny y= y 是n维行向量， x是元素，则 1 n T yy x x x ∂∂∂  =  ∂ ∂ ∂   y (1) 2. 列向量对元素求导 设 1 m y y    =      y  是m维列向量， x是元素，则 1 m y x x y x ∂   ∂ ∂ =  ∂  ∂   ∂  y  (2) 3. 矩阵对元素求导 设 11 1 1 n m mn y y Y y y    =           是m n× 矩阵， x是元素，则 111 1 n m mn yy x xY x y y x x ∂∂   ∂ ∂ ∂ =  ∂  ∂ ∂   ∂ ∂       (3) 4. 元素对行向量求导 设 y是元素， 1 T qx x =  x  是q维行向量，则 1 T q y y y x x  ∂ ∂ ∂ =   ∂ ∂ ∂  x  (4) 矩阵、向量求导法则 2 5. 元素对列向量求导 设 y是元素， 1 p x x    =      x  是 p维列向量，则 1 p y x y y x  ∂  ∂ ∂  = ∂   ∂   ∂  x  (5) 6. 元素对矩阵求导 设 y是元素， 11 1 1 q p pq x x X x x    =           是 p q× 矩阵，则 11 1 1 q p pq y y x x y X y y x x ∂ ∂   ∂ ∂ ∂  = ∂   ∂ ∂   ∂ ∂       (6) 7. 行向量对列向量求导 设 [ ]1T ny y= y 是n维行向量， 1 p x x    =      x  是 p维列向量，则 1 1 1 1 n T n p p yy x x yy x x  ∂∂  ∂ ∂ ∂  = ∂   ∂∂   ∂ ∂  y x      (7) 8. 列向量对行向量求导 设 1 m y y    =      y  是m维列向量， 1 T qx x =  x  是q维行向量，则 矩阵、向量求导法则 3 1 1 1 1 q T m m q y y x x y y x x ∂ ∂   ∂ ∂ ∂  = ∂   ∂ ∂   ∂ ∂  y x      (8) 9. 行向量对行向量求导 设 [ ]1T ny y= y 是n维行向量， 1T qx x =  x  是q维行向量，则 1 T T T T qx x  ∂ ∂ ∂ =   ∂ ∂ ∂   y y y x  (9) 10. 列向量对列向量求导 设 1 m y y    =      y  是m维列向量， 1 p x x    =      x  是 p维列向量，则 1 m y y ∂   ∂ ∂ =  ∂  ∂   ∂  xy x x  (10) 11. 矩阵对行向量求导 设 11 1 1 n m mn y y Y y y    =           是m n× 矩阵， 1 T qx x =  x  是q维行向量，则 1 T q Y Y Y x x  ∂ ∂ ∂ =   ∂ ∂ ∂  x  (11) 12. 矩阵对列向量求导 设 11 1 1 n m mn y y Y y y    =           是m n× 矩阵， 1 p x x    =      x  是 p维列向量，则 矩阵、向量求导法则 4 111 1 n m mn yy Y y y ∂∂   ∂ ∂ ∂ =  ∂  ∂ ∂   ∂ ∂  x x x x x      (12) 13. 行向量对矩阵求导 设 [ ]1T ny y= y 是n维行向量， 11 1 1 q p pq x x X x x    =           是 p q× 矩阵，则 11 1 1 T T qT T T p pq x x X x x  ∂ ∂  ∂ ∂ ∂  =  ∂ ∂ ∂   ∂ ∂  y y y y y      (13) 14. 列向量对矩阵求导 设 1 m y y    =      y  是m维列向量， 11 1 1 q p pq x x X x x    =           是 p q× 矩阵，则 1 m y X X y X ∂   ∂ ∂ =  ∂  ∂   ∂  y  (14) 15. 矩阵对矩阵求导 设 11 1 1 1 T n T m mn m y y Y y y      = =          y y       是m n× 矩阵， 11 1 1 1 q p p pq x x X x x      = =       x x       是 p q× 矩阵，则 1 11 1 1 1 T TT q q T T T m m m q XY Y Y X X  ∂ ∂ ∂    ∂ ∂∂    ∂ ∂ ∂  = = ==    ∂ ∂ ∂     ∂ ∂ ∂     ∂ ∂ ∂    y yy x x x x y y y x x        (15) 矩阵、向量求导法则 5 例 1 设 2 2 2 2 xy y yA X x xy x  ∂ =  ∂   ， x X y   =     ，根据矩阵对列向量求导法则式(12)，有 ( ) ( ) ( ) ( ) ( ) 2 2 2 2 2 0 02 2 2 1 2 2 12 0 2 0 yyxy y x yA X X X x yX x xy x xX X X    ∂∂ ∂    ∂ ∂ ∂ ∂   = =    ∂ ∂ ∂ ∂       ∂ ∂ ∂  例 2 设 a b c Y d e f   =     , u x X v y w z    =      ，根据矩阵对矩阵求导法则式(15)，有 [ ] [ ] [ ] [ ] a b c a b c u u u x x x a b c a b c a b c a b c u x v v v y y y v y a b c a b c w z w w wY z z z d e fX d e f d e f u u uu x d e fv y v v vw z ∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂  ∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂     ∂ ∂ ∂ ∂ ∂ ∂     ∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂        ∂ ∂ ∂∂     ∂ ∂ ∂ = =  ∂ ∂ ∂∂ ∂ ∂  ∂ ∂ ∂          ∂ ∂ ∂∂ ∂     ∂ ∂ ∂         d e f x x x d e f y y y d e f d e f w w w z z z                  ∂ ∂ ∂   ∂ ∂ ∂  ∂ ∂ ∂   ∂ ∂ ∂   ∂ ∂ ∂ ∂ ∂ ∂  ∂ ∂ ∂ ∂ ∂ ∂  矩阵、向量求导法则 1. 行向量对元素求导 2. 列向量对元素求导 3. 矩阵对元素求导 4. 元素对行向量求导 5. 元素对列向量求导 6. 元素对矩阵求导 7. 行向量对列向量求导 8. 列向量对行向量求导 9. 行向量对行向量求导 10. 列向量对列向量求导 11. 矩阵对行向量求导 12. 矩阵对列向量求导 13. 行向量对矩阵求导 14. 列向量对矩阵求导 15. 矩阵对矩阵求导 例1 例2