主成分分析

主成分分析的属性和限制

如上所述，主成分分析的结果依赖于变量的缩放。
主成分分析的适用性受到由它的派生物产生的某些假设 的限制。

主成分分析和信息理论

通过使用降维来保存大部分数据信息的主成分分析的观点是不正确的。确实如此，当没有任何假设信息的信号模型时，主成分分析在降维的同时并不能保证信息的不丢失，其中信息是由香农熵来衡量的。
基于假设得
也就是说，向量 x 是含有信息的目标信号s 和噪声信号n 之和，从信息论角度考虑主成分分析在降维上是最优的。
特别地，Linsker证明了如果s 是高斯分布，且 n 是 与密度矩阵相应的协方差矩阵的高斯噪声，

使用统计方法计算PCA

以下是使用统计方法计算PCA的详细说明。但是请注意，如果利用奇异值分解（使用标准的软件）效果会更好。
我们的目标是把一个给定的具有M 维的数据集X 变换成具有较小维度L的数据集Y。现在要求的就是矩阵Y，Y是矩阵X  Karhunen–Loève变换。: