§4 矩阵的奇异值分解
矩阵的奇异值分解在矩阵理论中的重要性是不言而喻的,它在最优化问题、特征值问题、最小二乘方问题、广义逆矩阵问题和统计学等方面都有十分重要的应用。
一.预备知识
为了论述和便于理解奇异值分解,本节回顾线性代数有关知识。
定义2.14 若实方阵Q满足 ,则称Q是正交矩阵.
定义2.15 若存在正交矩阵P,使得 ,则称A正交相似于B.
定义2.16 共轭转置矩阵记为 ,即 .
定义2.17 若 ,则称A为Hermit矩阵.
定义2.18 设 ,若 ,则称A为正规矩阵.
定义2.19 设 ,若 ,则称A为酉矩阵.
定义2.20 设 ,若存在酉矩阵P,使得
,则A称酉相似于B.
性质1 若A是n阶实对称矩阵, 是的特征值,则恒存在正交阵Q,使得
而且Q的n个列向量是的一个完备的
标准
excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载
正交特征向量系。
性质2 若 ,是非奇异矩阵,则存在正交阵P和Q,使得
其中.
.
性质3 (1) 设 ,则 是Hermit矩阵,且其特征值均是非负实数;
(2) ;
(3) 设 , 则 的充要条件为 .
把性质2中的等式改写为
称上式是A的正交对角分解.
性质4 (1) 设 ,则A酉相似于对角阵的充分必要条件是A为正规矩阵;
(2) 设 ,且A的特征值都是实数,则正交相似于对角矩阵的充要条件A是为正规矩阵.
二.矩阵的奇异值分解
现在开始论述矩阵的奇异值分解。
定义2.21 设 , 的特征值为
则称 是A的奇异值;规定零矩阵0的奇异值都是0.
定理2.9 设 , 则存在m阶酉矩阵U和n阶酉矩阵V,使得 (2.41)
其中矩阵 ,而数
是矩阵A的所有非零奇异值.称式(2.41)是矩阵A的奇异值分解.
证 根据性质3, 是Hermit矩阵,且其特征值均是非负实数,且
记为
显然, 是 正规矩阵.根据性质4,存在n阶酉矩阵V,使得
或
其中:
设V有分块形式
则有
即
由 ,得
或
,
,
其中.
由 ,得 或
令 ,则
根据线性代数理论知,可将两两正交的单位列向量
扩充为 的标准正交基
,记矩阵 ,则
是m阶酉矩阵,且
于是
所以
(证毕)
由上述定理的证明过程可知,A的奇异值是由A唯一确定的,但是,由于酉矩阵U和V是不唯一的,故A的奇异值分解(2.41)式也是不惟一的.
例10 求矩阵 的奇异值分解.
解: 可以求得矩阵
的特征值是 ,对应的特征向量可取为
,于是可得
,奇异值为 , ,且使得
成立的正交矩阵为
, 其中
经计算
,
将 扩张成 的正交标准基
则A的奇异值分解是
例11 设矩阵 ,求它的奇异值分解.
解 经过计算,矩阵
的特征值为 ,对应的特征向量分别是
,
从而正交矩阵
以及 ,
计算
,
构造
.
的奇异值分解是
.
三. 正交相抵矩阵
定义2.22 设 ,若存在m阶正交矩阵U和n阶正交矩
阵V,使得 ,则称A与B正交相抵.
在上述定义中,若A和B都是n阶方阵,U=V,则
即A与B正交相似.可见正交相似概念是正交相抵概念的特殊情况.
定理2.10 正交相抵的两个矩阵具有相同的奇异值.
证 若 ,则
上式表明 与 相似,而相似矩阵有相同的特征值,所以A与B有相同的奇异值.证毕
直接验证可知, 正交相抵具有自反性、对称性和传递性,因此,所有正交相抵的矩阵构成了正交相抵等价类。在正交相抵等价类中的任一矩阵A,奇异值分解 中的矩阵都是相同的,D称为正交相抵等价类中的标准形矩阵。