机器学习中的数学原理——矩阵论

正定矩阵

在线性代数里,正定矩阵 (positive definite matrix) 有时会简称为正定阵。
定义:
AAA是n阶方阵,如果对任何非零向量xxx,都有xTAx>0x^TAx>0xTAx>0,其中xTx^TxT 表示xxx的转置,就称AAA正定矩阵。
性质:

  1. 正定矩阵的行列式恒为正;
  2. 实对称矩阵AAA正定当且仅当AAA与单位矩阵合同;
  3. 两个正定矩阵的和是正定矩阵;
  4. 正实数与正定矩阵的乘积是正定矩阵。

等价命题:
对于n阶实对称矩阵AAA,下列条件是等价的:

  1. AAA是正定矩阵;
  2. AAA的一切顺序主子式均为正;
  3. AAA的一切主子式均为正;
  4. AAA的特征值均为正;
  5. 存在实可逆矩阵C,使A=CTCA=C^TCA=CTC;
  6. 存在秩为n的m×n实矩阵B,使A=BTBA=B^TBA=BTB;
  7. 存在主对角线元素全为正的实三角矩阵R,使A=RTRA=R^TRA=RTR

根据正定矩阵的定义及性质,判别对称矩阵A的正定性有两种方法:

  1. 求出AAA的所有特征值。若AAA的特征值均为正数,则AAA是正定的;若AAA的特征值均为负数,则AAA为负定的。
  2. 计算AAA的各阶顺序主子式。若AAA的各阶顺序主子式均大于零,则AAA是正定的;若AAA的各阶顺序主子式中,奇数阶主子式为负,偶数阶为正,则AAA为负定的。

例: 判断矩阵是否正定
Q=631320104 Q=\begin{matrix} 6 & -3 &1 \\ -3 & 2 & 0\\ 1 & 0 & 4 \end{matrix}Q=6−31​−320​104​

解:对称矩阵Q的三个顺序主子式依次为
6=6>0|6|=6>0∣6∣=6>0

6332=3>0\begin{vmatrix} 6 & -3 \\ -3 & 2\\ \end{vmatrix}=3>0 ∣∣∣∣​6−3​−32​∣∣∣∣​=3>0

631320104=10>0\begin{vmatrix} 6 & -3 &1 \\ -3 & 2 & 0\\ 1 & 0 & 4 \end{vmatrix}=10>0∣∣∣∣∣∣​6−31​−320​104​∣∣∣∣∣∣​=10>0

矩阵Q是正定的

对称正定矩阵

AAA是n阶方阵,A=ATA=A^TA=AT,如果对任何非零向量xxx,都有xTAx>0x^TAx>0xTAx>0,其中xTx^TxT 表示xxx的转置,就称AAA为对称正定矩阵。

半正定矩阵

AAA是实对称矩阵。如果对任意的实非零列向量x有xTAx0xTAx≥0xTAx≥0,就称AAA为半正定矩阵。
对于半正定矩阵来说,相应的条件应改为所有的主子式非负。顺序主子式非负并不能推出矩阵是半正定的。
性质:

  1. 半正定矩阵的行列式是非负的;
  2. 两个半正定矩阵的和是半正定的;
  3. 非负实数与半正定矩阵的数乘矩阵是半正定的。

等价条件:

  1. AAA是半正定的;
  2. AAA的所有主子式均为非负的;
  3. AAA的特征值均为非负的;
  4. 存在n阶实矩阵C,使A=CTCA=C^TCA=CTC;
  5. 存在秩为r的r×n实矩阵B,使A=BTBA=B^TBA=BTB。

直观理解正定、半正定矩阵:
XTMX0X^TMX≥0XTMX≥0
XTY0(Y=MX)X^TY≥0 (Y=MX)XTY≥0(Y=MX)
cos(θ)=XTYXY0cos(\theta)=\frac{X^TY}{||X||∗||Y||}≥0cos(θ)=∣∣X∣∣∗∣∣Y∣∣XTY​≥0
||X||, ||Y||代表向量 X,Y的长度,θ\thetaθ是他们之间的夹角。正定、半正定矩阵的直觉代表一个向量经过它的变化后的向量与其本身的夹角小于等于90度。

应用

在FM分解机中,引入辅助(分解)矩阵时,用到一个结论:当k足够大时,对于任意n*n的对称正定的实矩阵W^\hat{W}W^,均存在n*k的实矩阵,使得W^=VVT\hat{W}=VV^TW^=VVT成立

参考网址:
正定矩阵-百度百科

上一篇:平衡有向图上的异步随机投影算法


下一篇:Python运维之获取操作系统的内存信息