什么是正定矩阵和半正定矩阵？

得益于教材和老师，当时学习线性代数的时候就迷迷糊糊，只记得它俩的定义：

正定矩阵（PD）：\(\forall \boldsymbol{x}\) 均有 \(\boldsymbol{x}^T\boldsymbol{A}\boldsymbol{x}>0\)

半正定矩阵（PSD）：\(\forall \boldsymbol{x}\) 均有 \(\boldsymbol{x}^T\boldsymbol{A}\boldsymbol{x}\geq0\)

常用判定条件为

若所有特征值均大于零，则正定

或者

\(\boldsymbol{A}\) 是正定的充要条件为 \(\boldsymbol{A}\) 的各阶顺序主子式均大于零。

这是个啥玩意儿？要这个有啥用？记住就完事儿了！

结果现在学习凸优化的时候又遇到了它：用 Hessian 矩阵半正定来证明凸函数。这东西不弄明白总感觉不舒服。

正定到底是什么？

观察其定义 \(\boldsymbol{x}^T\boldsymbol{A}\boldsymbol{x}>0\)。矩阵是左乘的，因此也可以更直观的写成 \(\boldsymbol{x}^T(\boldsymbol{A}\boldsymbol{x})>0\)。

我们知道，矩阵乘以行向量的意义是对其做了一个线性变换，因此 \(\boldsymbol{A}\boldsymbol{x}\) 就是对 \(\boldsymbol{x}\) 施加了一个 \(\boldsymbol{A}\) 的变换——通俗来讲，就是转了一个角度。

而向量相乘的意义是一个向量在另一个向量上的投影。那么这个定义就变成了：对一个向量施加一个 \(\boldsymbol{A}\) 的变换，所得结果在原向量上的投影大于零。

或者更简单的说，就是 \(\boldsymbol{A}\) 把 \(\boldsymbol{x}\) 转了小于 90 度！

这样，半正定也很好理解了：\(\boldsymbol{A}\) 把 \(\boldsymbol{x}\) 转了不超过 90 度。