为什么随机向量的协方差矩阵是半正定阵

Question

为什么随机向量的协方差矩阵是半正定阵

Answer 1

直觉上就和随机变量的方差是正的一个道理，严格的证明如下：
设随机变量为X(都是n维的假设，且都是列向量)，其方差-协方差矩阵为：
E(XX') - E(X)E(X')
= E { [X - E(X)] [X' - E(X')] }，
这是因为你展开后，大括号里就是XX' - E(X)X' - XE(X') + E(X)E(X')，然后外面取E：
E [ XX' - E(X)X' - XE(X') + E(X)E(X') ]
= E(XX') - E(X)E(X') - E(X)E(X') + E(X)E(X')
= E(XX') - E(X)E(X')。
这样，协方差矩阵就表示为一个二次型的形式，因为X' - E(X')正好就是X-E(X)的转置向量。我们都知道形如AA'的二次型都是半正定的，所以求期望后也是半正定的。证毕。