特征分解

特征分解（Eigen decomposition），又称谱分解。是将矩阵分解为由其特征值和特征向量表示的矩阵之积的方法。只有对可对角化矩阵才可以施以特征分解。

令是一个的方阵，且有个线性独立的特征向量。这样，可以被分解为（其中是方阵，且其第列为的特征向量。是对角矩阵，其对角线上的元素为对应的特征值，也即）。一般来说，特征向量被单位化（但这不是必须的）。未被单位化的特征向量组，也可以作为的列向量。这一事实可以这样理解：中向量的长度都被抵消了。

特征分解主要应用于方差、协方差、相关系数、协方差矩阵、主成分分析、机器学习中的分类问题。

基础理论

N 维非零向量 v 是的矩阵 A 的特征向量，当且仅当下式成立：

其中 λ 为一标量，称为 v 对应的特征值。也称 v 为特征值 λ 对应的特征向量。也即特征向量被施以线性变换 A 只会使向量伸长或缩短而其方向不被改变。

由上式可得

称多项式为矩阵的特征多项式。上式亦称为矩阵的特征方程。特征多项式是关于未知数 λ 的 N 次多项式。由代数基本定理，特征方程有 N 个解。这些解的解集也就是特征值的集合，有时也称为“谱”（Spectrum）。

我们可以对多项式 p 进行因式分解，而得到

其中

对每一个特征值，我们都有下式成立：

对每一个特征方程，都会有（）个线性无关的解。这个向量与一个特征值相对应。这里，整数 m 称为特征值的几何重数，而 n 称为代数重数。这里需要注意的是几何重数与代数重数可以相等，但也可以不相等。一种最简单的情况是。特征向量的极大线性无关向量组中向量的个数可以由所有特征值的几何重数之和来确定。

令 A 是一个的方阵，且有 N 个线性无关的特征向量。这样， A 可以被分解为

其中 Q 是 N× N方阵，且其第 i列为 A 的特征向量。 Λ 是对角矩阵，其对角线上的元素为对应的特征值，也即。这里需要注意只有可对角化矩阵才可以作特征分解。比如不能被对角化，也就不能特征分解。

一般来说，特征向量一般被正交单位化（但这不是必须的）。未被正交单位化的特征向量组也可以作为 Q 的列向量。这一事实可以这样理解： Q 中向量的长度都被抵消了。

若矩阵 A 可被特征分解并特征值中不含零，则矩阵 A 为非奇异矩阵，且其逆矩阵可以由下式给出：

因为 Λ 为对角矩阵，其逆矩阵容易计算出：

• 对称矩阵

任意的 N× N实对称矩阵都有 N 个线性无关的特征向量。并且这些特征向量都可以正交单位化而得到一组正交且模为 1 的向量。故实对称矩阵 A 可被分解成

其中 Q 为正交矩阵， Λ 为实对角矩阵。

• 正规矩阵

类似地，一个复正规矩阵具有一组正交特征向量基，故正规矩阵可以被分解成

其中 U 为一个酉矩阵。进一步地，若 A 是埃尔米特矩阵，那么对角矩阵 Λ 的对角元全是实数。若 A 还是酉矩阵，则 Λ 的所有对角元在复平面的单位圆上取得。

特征分解.博客园.2024-03-05