隨機變量的數字特徵

本文將介紹隨機變量的期望、方差等數字特徵。

期望

定義

離散型隨機變量

設離散型隨機變量 \(X\) 的概率分佈為 \(p_i = P\{ X = x_i \}\)，若和式

\[ \sum x_i p_i \]

絕對收斂，則稱其值為 \(X\) 的期望，記作 \(EX\)。

連續型隨機變量

設連續型隨機變量 \(X\) 的密度函數為 \(f(x)\)。若積分

\[ \int_{\mathbb{R}} xf(x) \text{d} x \]

絕對收斂，則稱其值為 \(X\) 的期望，記作 \(EX\)。

統一定義

設隨機變量 \(X\) 的分佈函數為 \(F(x)\)，若 Stieltjes 積分

\[ \int_{\mathbb{R}} x \text{d} F(x) \]

絕對收斂，則稱其值為 \(X\) 的期望，記作 \(EX\)。

期望不存在的例子

考慮有如下分佈的離散型隨機變量 \(X\)

\[ P\left\{ X = (-1)^k \frac{2^k}{k} \right\} = \frac{1}{2^k}, \quad k = 1, 2, \cdots \]

儘管和式 \(\sum x_i p_i\) 收斂於 \(- \ln 2\)，但由於其不是絕對收斂的，故 \(X\) 的期望不存在。

再考慮有如下密度函數的連續型隨機變量 \(Y\)

\[ f(y) = \frac{1}{\pi} \cdot \frac{1}{1 + y^2}, \quad y \in (-\infty, +\infty) \]

容易驗證 \(Y\) 的期望也不存在。

期望的性質

線性性

若隨機變量 \(X, Y\) 的期望存在，則

對任意實數 \(a, b\)，有 \(E(aX + b) = a \cdot EX + b\)。
\(E(X + Y) = EX + EY\)。

隨機變量乘積的期望

若隨機變量 \(X\),\(Y\) 的期望存在且 \(X\),\(Y\) 相互獨立，則有

\[ E(XY) = EX \cdot EY \]

注意：上述性質中的獨立性並非必要條件。

反例

考察隨機變量 \(X\) 和 \(Y\)，其中 \(X\) 服從 \([-1, 1]\) 上的均勻分佈，\(Y = X^2\)。

期望與概率的轉化

對於隨機事件 \(A\)，考慮其示性函數 \(I_A\)：

\[ I_A(\omega) = \begin{cases} 1, & \omega \in A \\ 0, & \omega \notin A \end{cases} \]

根據定義可以求得其期望 \(EI_A = P(A)\)。這一轉化在實際應用中非常常見。

Example

假設對於一個長為 \(n\) 的序列 \(\{ a_i \}\)，其中 \(a_k\) 以 \(p_k\) 的概率取 \(k\)，以 \(1 - p_k\) 的概率取 \(0\)。考慮如何求 \(S = \sum_{i=1}^{n} a_i\) 的期望。

如果使用定義直接求，需要求出 \(S\) 在每個可能取值處的概率，這個計算過程比較繁瑣，這裏不展開敍述。

另一方面，用 \(I_k\) 表示隨機事件 \(a_k = k\) 的示性函數，則有

\[ S = \sum_{k=1}^{n} k \cdot I_k \]

進而不難求出

\[ ES = E \left( \sum_{k=1}^{n} k \cdot I_k \right) = \sum_{k=1}^{n} k \cdot E[I_k] = \sum_{k=1}^{n} k \cdot p_k \]

條件分佈與條件期望

我們之前研究過條件概率，類似的也可以提出所謂條件期望的概念。

定義

對於兩個隨機變量 \(X\),\(Y\)，在已知 \(Y = y\) 的條件下 \(X\) 的概率分佈（密度函數）稱之為 條件概率分佈（條件概率密度），分別記作

\[ P( X = x_i | Y = y ) \qquad f_{X|Y}(x|y) \]

在此條件下，\(X\) 的期望稱為 條件期望，記作 \(E[X|Y=y]\)。

條件期望的性質

條件期望的諸多性質可由條件概率推知，在此不做贅述。

值得一提的是 \(E[X | Y]\) 一般是隨機變量 \(Y\) 的函數，且這個函數通常不是線性的。但實際上有

\[ E[E[X|Y]] = EX \]

上式稱作 全期望公式。

應用

例題：[LA 7736]Pocky

題意：有一根長為 \(L\) 的 Pocky，每次隨機折成兩段。若右邊一段的長度不大於 \(d\) 則停止，否則對右邊一段重複上述過程。求重複次數的期望。

題解

記 \(f(x)\) 表示長度為 \(x\) 的期望次數。\(x \leq d\) 的情形平凡。

當 \(x > d\) 時，不妨設折斷的位置距右端的長度為 \(k\)，則顯然 \(k \sim U[0, x]\)，此時期望的重複次數為

\[ g(k) = \begin{cases} 1, & k \leq d \\ 1 + f(k), & k > d \end{cases} \]

由全期望公式可知

\[ f(x) = Eg(k) = 1 + \frac{1}{x} \cdot \int_{d}^{x} f(t) \text{d} t \]

解上述積分方程並代入初值條件得

\[ f(x) = 1 + \ln \frac{x}{d} \]

方差

定義

設隨機變量 \(X\) 的期望 \(EX\) 存在且期望

\[ E(X - EX)^2 \]

也存在，則稱上式的值為隨機變量 \(X\) 的方差，記作 \(DX\) 或 \(Var(x)\)。方差的算術平方根稱為 標準差，記作 \(\sigma(X) = \sqrt{DX}\)。

方差的性質

若隨機變量 \(X\) 的方差存在，則

對任意常數 \(a, b\) 都有 \(D(aX + b) = a^2 \cdot DX\)
\(DX = E(X^2) - (EX)^2\)

協方差與相關係數

一般來説，等式 \(D(X + Y) = DX + DY\) 並不成立，我們自然會提出兩個問題：

\(D(X + Y)\) 與 \(DX + DY\) 之間相差的部分到底是什麼。
\(D(X + Y)\) 與 \(DX + DY\) 在什麼情況下相等。

對於第一個問題，我們引入協方差作為解答。

協方差的定義

對於隨機變量 \(X, Y\)，稱

\[ E((X - EX)(Y - EY)) \]

為 \(X\) 與 \(Y\) 的 協方差，記作 \(\operatorname{Cov}(X, Y)\)。

協方差的性質

對於隨機變量 \(X, Y, Z\)，有

\(\operatorname{Cov}(X, Y) = \operatorname{Cov}(Y, X)\)
對任意常數 \(a, b\)，有 \(\operatorname{Cov}(aX + bY, Z) = a \cdot \operatorname{Cov}(X, Z) + b \cdot \operatorname{Cov}(Y, Z)\)

同時協方差與方差也有如下聯繫：

\(DX = \operatorname{Cov}(X, X)\)
\(D(X + Y) = DX + 2 \operatorname{Cov}(X, Y) + DY\)

關於協方差

你可能會發現協方差的性質與向量內積的運算性質在形式上高度一致。

在泛函分析的視角下，對於給定的概率空間，其上的全體隨機變量構成一個線性空間，而協方差是這個空間上的一個內積，標準差則是由該內積導出的範數。

對於剛才提出的第二個問題，不難看出 \(D(X + Y) = DX + DY\) 當且僅當 \(\operatorname{Cov}(X, Y) = 0\)。一個直觀的必要條件是 \(X\) 與 \(Y\) 獨立，因為此時有

\[ \operatorname{Cov}(X, Y) = E((X - EX)(Y - EY)) = E(X - EX) E(Y - EY) = 0 \]

但這個條件並不是充分的。為了描述滿足 \(\operatorname{Cov}(X, Y) = 0\) 的隨機變量 \(X\),\(Y\) 之間的關係，我們引入相關係數