随机变量的有趣特性

Deep Learning Book的第一部分是帮助读者回顾一些基础知识,为后续的深度学习打下数学基础。在第三章回顾概率论的知识时,有两个很有意思的特性,值得记录一下。

协方差与独立性

协方差(Covariance)可以用来衡量两个变量的总体误差。数学表达式为:

$$ \operatorname{cov}(X, Y) = \operatorname{E}((X - \mu) (Y - \nu)) $$

其中$\mu = E(X)$,$\nu = E(Y)$。

这里要说的有趣性质是:如果两个随机变量独立,他们的协方差为0. 但是,协方差为0,随机变量不一定独立

这个结论也许并不有趣,但是书中举了一个例子,两个随机变量不是独立的,但是协方差却是0.

随机变量$\textbf{x}$在区间$[-1, 1]$服从均匀分布,另一个随机变量$\textbf{s}$,以${\dfrac {1}{2}}$的概率为1,其他情况为-1. 定义另一个随机变量$\textbf{y} = {\textbf{s}}{\textbf{x}}$,这里$\textbf{s}$的作用就是定义$\textbf{x}$的符号。这里的$\textbf{y}$明显和$\textbf{x}$并不是相互独立,因为两者的绝对值是一样的,但是两者的协方差却是0.

那么协方差为0代表了什么意义呢?书中给出的说法是,协方差为0,表示两个随机变量之间线性独立,而独立包含了线性独立非线性独立,是更强的概念。上面的例子中,$\textbf{y}$是$\textbf{x}$通过非线性变换(随机选择符号)得到,因此两者线性独立,但并不满足非线性独立。

连续随机变量的矛盾现象

另一个有趣的现象是关于连续随机变量的。连续随机变量的概率是通过积分定义的,于是就出现了一个矛盾现象,即随机变量在两个区间之内的积分之和大于一,但是两个区间可能并没有交集。这就违反了概率总和小于1的特性。

解释这个现象,需要使用测度论的概念。