技術文章 » 多維隨機變數及其分佈和隨機變數的數位特徵課件

多維隨機變數及其分佈和隨機變數的數位特徵課件

2020-09-28 13:00:02

1.3 多維隨機變數及其分佈

一、二維隨機變數

定義 1.3.1： 設 設 設 E E E 為 一 個 隨 機 試 驗 ， 其 樣 本 空 間 為一個隨機試驗，其樣本空間 為一個隨機試驗，其樣本空間 S = { e } , X = X ( e ) S=\{e\},X=X(e) S={e},X=X(e) 及 及 及 Y ( e ) Y(e) Y(e) 是定義在 S S S 上 的 兩 個 隨 機 變 量 ， 由 她 們 構 成 的 聯 合 隨 機 變 量 上的兩個隨機變數，由她們構成的聯合隨機變數 上的兩個隨機變量，由她們構成的聯合隨機變量 ( X , Y ) (X,Y) (X,Y) 稱 為 二 維 隨 機 變 量 或 二 維 隨 機 向 量 。 稱為二維隨機變數或二維隨機向量。 稱為二維隨機變量或二維隨機向量。

分佈函數： 設 設 設 ( X , Y ) (X,Y) (X,Y) 是 定 義 在 是定義在 是定義在 S 上 的 二 維 隨 機 變 量 ， 對 於 任 意 實 數 S上的二維隨機變數，對於任意實數 S上的二維隨機變量，對於任意實數 x , y , x,y, x,y, 二 元 函 數 ： 二元函數： 二元函數：
F ( x , y ) = P { X ≤ x , Y ≤ y } F(x,y) = P\{X \leq x,Y \leq y\} F(x,y)=P{X≤x,Y≤y}

例題1： 將 P { x 1 < X ≤ x 2 , y 1 < Y ≤ y 2 } P\{x_1<X\le x_2,y_1<Y \le y_2\} P{x1​<X≤x2​,y1​<Y≤y2​} 轉換為分佈函數表示式









答案：
F ( x 2 , y 2 ) − F ( x 1 , y 2 ) − F ( x 2 , y 1 ) + F ( x 1 , y 1 ) F(x_2,y_2)-F(x_1,y_2)-F(x_2,y_1)+F(x_1,y_1) F(x2​,y2​)−F(x1​,y2​)−F(x2​,y1​)+F(x1​,y1​)

1. 二維分佈函數的性質：

  1. F ( x , y ) F(x,y) F(x,y) 是 變 量 是變數 是變量 x x x 和 和 和 y y y 的不減函數，即
    ∀ x 1 ≤ x 2 , F ( x 1 , y ) ≤ F ( x 2 , y ) \forall x_1 \leq x_2,F(x_1,y) \leq F(x_2,y) ∀x1​≤x2​,F(x1​,y)≤F(x2​,y) ∀ y 1 ≤ y 2 , F ( x , y 1 ) ≤ F ( x , y 2 ) \forall y_1 \leq y_2,F(x,y_1) \leq F(x,y_2) ∀y1​≤y2​,F(x,y1​)≤F(x,y2​)
  2. 0 ≤ F ( x , y ) ≤ 1 0 \leq F(x,y) \leq 1 0≤F(x,y)≤1，且對固定的 x x x， F ( x , − ∞ ) = 0 F(x,-\infty) = 0 F(x,−∞)=0且對固定的 y y y， F ( − ∞ , y ) = 0 F(-\infty,y)=0 F(−∞,y)=0 且 F ( − ∞ , − ∞ ) = 0 F(- \infty,-\infty)=0 F(−∞,−∞)=0 F ( + ∞ , + ∞ ) = 1 F(+ \infty,+\infty)=1 F(+∞,+∞)=1
  3. F ( x , y ) F(x,y) F(x,y) 關於變數 x x x 和 y y y 均是右連續的，即 ∀ x , y \forall x,y ∀x,y 有 F ( x + 0 , y ) = F ( x , y ) = F ( x , y + 0 ) F(x+0,y)=F(x,y)=F(x,y+0) F(x+0,y)=F(x,y)=F(x,y+0)
  4. 對於任意的 x 1 ≤ x 2 , y 1 ≤ y 2 x_1 \leq x_2,y_1 \leq y_2 x1​≤x2​,y1​≤y2​，下述不等式成立： F ( x 2 , y 2 ) − F ( x 1 , y 2 ) − F ( x 2 , y 1 ) + F ( x 1 , y 1 ) ≥ 0 F(x_2,y_2)-F(x_1,y_2)-F(x_2,y_1)+F(x_1,y_1) \geq0 F(x2​,y2​)−F(x1​,y2​)−F(x2​,y1​)+F(x1​,y1​)≥0

2. 二維離散型隨機變數：

定義 1.3.3： 若二維隨機變數 ( X , Y ) (X,Y) (X,Y) 的所有可能取值是有限對或可列多對： ( X , Y ) = ( x i , y i )     i , j = 1 , 2.... (X,Y)=(x_i,y_i) \space\space\space i,j=1,2.... (X,Y)=(xi​,yi​)   i,j=1,2....

滿足以下性質：

  1. p i j ≥ 0      i , j = 1 , 2.... p_{ij} \geq 0 \space\space\space\space i,j=1,2.... pij​≥0    i,j=1,2....
  2. ∑ i = 1 ∞ ∑ j = 1 ∞ p i j = 1 \sum_{i=1}^{\infty}\sum_{j=1}^{\infty}p_{ij}=1 i=1∑∞​j=1∑∞​pij​=1

分佈函數： F ( x , y ) = P { X ≤ x , Y ≤ y } = ∑ x i ≤ x ∑ y j ≤ y p i j F(x,y)=P\{X \leq x,Y\leq y\} = \sum_{x_i \leq x}\sum_{y_j \leq y}p_{ij} F(x,y)=P{X≤x,Y≤y}=xi​≤x∑​yj​≤y∑​pij​

X的邊緣分佈律： p i . = P { X = x i } = ∑ j = 1 ∞ p i j     i = 1 , 2... p_{i.}=P\{X=x_i\}=\sum_{j=1}^{\infty}p_{ij} \space\space\space i=1,2... pi.​=P{X=xi​}=j=1∑∞​pij​   i=1,2...

X的邊緣分佈函數： F X ( x ) = F ( x , + ∞ ) = ∑ x i ≤ x ∑ y j ≤ + ∞ p i j = ∑ x i ≤ x ( ∑ j = 1 ∞ p i j ) = ∑ x i ≤ x p i . F_X(x)=F(x,+\infty)=\sum_{x_i \leq x}\sum_{y_j \leq +\infty}p_{ij}=\sum_{x_i \leq x}(\sum_{j=1}^{\infty}p_{ij})=\sum_{x_i\leq x}p_{i.} FX​(x)=F(x,+∞)=xi​≤x∑​yj​≤+∞∑​pij​=xi​≤x∑​(j=1∑∞​pij​)=xi​≤x∑​pi.​

同理：

Y的邊緣分佈律： p . j = P { Y = y j } = ∑ i = 1 ∞ p i j     j = 1 , 2... p_{.j}=P\{Y=y_j\}=\sum_{i=1}^{\infty}p_{ij}\space\space\space j=1,2... p.j​=P{Y=yj​}=i=1∑∞​pij​   j=1,2...

Y的邊緣分佈函數： F Y ( y ) = F ( + ∞ , y ) = ∑ x i ≤ + ∞ ∑ y i ≤ y p i j = ∑ y j ≤ y ( ∑ i = 1 ∞ p i j ) = ∑ y j ≤ y p . j F_Y(y)=F(+\infty,y)=\sum_{x_i \leq +\infty}\sum_{y_i \leq y}p_{ij}=\sum_{y_j \leq y}(\sum_{i = 1}^{\infty}p_{ij})=\sum_{y_j\leq y}p_{.j} FY​(y)=F(+∞,y)=xi​≤+∞∑​yi​≤y∑​pij​=yj​≤y∑​(i=1∑∞​pij​)=yj​≤y∑​p.j​

例題2：

  • 補滿下表
x\y123 p i . p_{i.} pi.​
10 1 6 \frac{1}{6} 61​ 1 12 \frac{1}{12} 121​
2 1 6 \frac{1}{6} 61​ 1 6 \frac{1}{6} 61​ 1 6 \frac{1}{6} 61​
3 1 12 \frac{1}{12} 121​ 1 6 \frac{1}{6} 61​0
p . j p_{.j} p.j​









x\y123 p i . p_{i.} pi.​
10 1 6 \frac{1}{6} 61​ 1 12 \frac{1}{12} 121​ 1 4 \frac{1}{4} 41​
2 1 6 \frac{1}{6} 61​ 1 6 \frac{1}{6} 61​ 1 6 \frac{1}{6} 61​ 1 2 \frac{1}{2} 21​
3 1 12 \frac{1}{12} 121​ 1 6 \frac{1}{6} 61​0 1 4 \frac{1}{4} 41​
p . j p_{.j} p.j​ 1 4 \frac{1}{4} 41​ 1 2 \frac{1}{2} 21​ 1 4 \frac{1}{4} 41​1
  • 根據上表求 F X ( 2 ) , F Y ( 3 ) F_X(2),F_Y(3) FX​(2),FY​(3)







F X ( 2 ) = 3 4 , F Y ( 3 ) = 1 F_X(2)=\frac{3}{4},F_Y(3)=1 FX​(2)=43​,FY​(3)=1

3. 二維連續型隨機變數：

定義1.3.5： 設 二 維 隨 機 變 量 設二維隨機變數 設二維隨機變量 ( X , Y ) (X,Y) (X,Y) 的 分 布 函 數 為 的分佈函數為 的分布函數為 F ( x , y ) F(x,y) F(x,y) 若 存 在 一 個 非 負 可 積 函 數 的 二 元 函 數 若存在一個非負可積函數的二元函數 若存在一個非負可積函數的二元函數 f ( x , y ) f(x,y) f(x,y)， 使 它 對 於 任 意 實 數 使它對於任意實數 使它對於任意實數 x , y x,y x,y 都有 F ( x , y ) = ∫ − ∞ x ∫ − ∞ y f ( x ) d x d y F(x,y)=\int_{-\infty}^x \int_{-\infty}^y f(x)dxdy F(x,y)=∫−∞x​∫−∞y​f(x)dxdy
則 稱 則稱 則稱 ( X , Y ) (X,Y) (X,Y) 為 二 維 連 續 隨 機 變 量 為二維連續隨機變數 為二維連續隨機變量， 函 數 函數 函數 f ( x , y ) f(x,y) f(x,y) 稱 為 二 維 隨 機 變 量 稱為二維隨機變數 稱為二維隨機變量 ( X , Y ) (X,Y) (X,Y) 的概率密度，或稱為隨機變數 X X X與 Y Y Y 的聯合概率密度。

滿足以下性質：

  1. f ( x , y ) ≥ 0     − ∞ < x , y < + ∞ f(x,y) \geq 0 \space\space\space -\infty < x,y < +\infty f(x,y)≥0   −∞<x,y<+∞
  2. ∫ − ∞ + ∞ ∫ − ∞ + ∞ f ( x ) d x d y = 1 \int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}f(x)dxdy=1 ∫−∞+∞​∫−∞+∞​f(x)dxdy=1
  3. 若 f ( x , y ) f(x,y) f(x,y) 在點 ( x , y ) (x,y) (x,y) 連續，則 δ 2 F ( x , y ) δ x δ y = f ( x , y ) \frac{\delta^2F(x,y)}{\delta x\delta y}=f(x,y) δxδyδ2F(x,y)​=f(x,y)
  4. 隨機點 ( X , Y ) (X,Y) (X,Y) 落在平面區域 D D D 內的概率 P { ( x , y ) ∈ D } = ∫ ∫ D f ( x , y ) d x d y P\{(x,y)\in D\}={\int\int}_Df(x,y)dxdy P{(x,y)∈D}=∫∫D​f(x,y)dxdy

例題3： 已知隨機變數 X X X 和 Y Y Y 的聯合概率密度為 f ( x , y ) = { C e − ( 2 x + y )     x > 0 , y > 0 0     其 他 } f(x,y)=\begin{Bmatrix}Ce^{-(2x+y)} \space\space\space x>0,y>0 \\ 0 \space\space\space 其他 \end{Bmatrix} f(x,y)={Ce−(2x+y)   x>0,y>00   其他​}

(1) 試求 C C C 的值
(2) P { X < Y } P\{X<Y\} P{X<Y}










答案：

(1)
由 1 = ∫ − ∞ + ∞ ∫ − ∞ + ∞ f ( x , y ) d x d y = ∫ 0 + ∞ ∫ 0 + ∞ C e − ( 2 x + y ) d x d y = 1=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}f(x,y)dxdy=\int_{0}^{+\infty}\int_{0}^{+\infty}Ce^{-(2x+y)}dxdy= 1=∫−∞+∞​∫−∞+∞​f(x,y)dxdy=∫0+∞​∫0+∞​Ce−(2x+y)dxdy= C ∫ 0 + ∞ e − 2 x d x ∫ 0 + ∞ e − y d y = C ( − 1 2 e − 2 y ∣ 0 + ∞ ) ( − e − y ∣ 0 + ∞ ) = C 2 C\int_{0}^{+\infty}e^{-2x}dx\int_{0}^{+\infty}e^{-y}dy=C(-\frac{1}2{}e^{-2y}|_{0}^{+\infty})(-e^{-y}|_{0}^{+\infty})=\frac{C}{2} C∫0+∞​e−2xdx∫0+∞​e−ydy=C(−21​e−2y∣0+∞​)(−e−y∣0+∞​)=2C​ 得 C = 2 C=2 C=2 即 f ( x , y ) = { 2 e − ( 2 x + y )     x > 0 , y > 0 0     其 他 } f(x,y)=\begin{Bmatrix}2e^{-(2x+y)} \space\space\space x>0,y>0 \\ 0 \space\space\space 其他 \end{Bmatrix} f(x,y)={2e−(2x+y)   x>0,y>00   其他​}

(2)
P { X < Y } = ∫ ∫ x < y f ( x , y ) d x d y = ∫ 0 + ∞ d x ∫ x + ∞ 2 e − 2 x − y d y = 2 ∫ 0 + ∞ e − 2 x d x ∫ x + ∞ e − y d y = P\{X<Y\}={\int\int_{x<y}}f(x,y)dxdy=\int_{0}^{+\infty}dx\int_{x}^{+\infty}2e^{-2x-y}dy=2\int_{0}^{+\infty}e^{-2x}dx\int_{x}^{+\infty}e^{-y}dy= P{X<Y}=∫∫x<y​f(x,y)dxdy=∫0+∞​dx∫x+∞​2e−2x−ydy=2∫0+∞​e−2xdx∫x+∞​e−ydy= 2 ∫ 0 + ∞ e − 2 x d x   ∗ ( − e − y ) ∣ x + ∞ = 2 ∫ 0 + ∞ e − 2 x d x   ∗ e − x = 2 ∫ 0 + ∞ e − 3 x d x = 2 ( − 1 3 e − 3 x ) ∣ 0 + ∞ = 2 3 2\int_{0}^{+\infty}e^{-2x}dx \space* (-e^{-y})|_{x}^{+\infty}=2\int_{0}^{+\infty}e^{-2x}dx \space * e^{-x}=2\int_{0}^{+\infty}e^{-3x}dx=2(-\frac{1}{3}e^{-3x})|_{0}^{+\infty}=\frac{2}{3} 2∫0+∞​e−2xdx ∗(−e−y)∣x+∞​=2∫0+∞​e−2xdx ∗e−x=2∫0+∞​e−3xdx=2(−31​e−3x)∣0+∞​=32​

X X X 邊緣概率密度函數： f X ( x ) = ∫ − ∞ + ∞ f ( x , y ) d y f_X(x)=\int_{-\infty}^{+\infty}f(x,y)dy fX​(x)=∫−∞+∞​f(x,y)dy
故 X X X 的邊緣分佈函數 F X ( x ) = ∫ − ∞ x f X ( x ) d x F_X(x)=\int_{-\infty}^{x}f_X(x)dx FX​(x)=∫−∞x​fX​(x)dx

同理：

Y Y Y 邊緣概率密度函數： f Y ( y ) = ∫ − ∞ + ∞ f ( x , y ) d x f_Y(y)=\int_{-\infty}^{+\infty}f(x,y)dx fY​(y)=∫−∞+∞​f(x,y)dx
故 Y Y Y 的邊緣分佈函數 F Y ( y ) = ∫ − ∞ y f Y ( y ) d y F_Y(y)=\int_{-\infty}^{y}f_Y(y)dy FY​(y)=∫−∞y​fY​(y)dy

二. 條件分佈

1. 條件分佈律

P { Y = y j ∣ X = x i } = P { X = x i , Y = y j } P { X = x j } = p i j p i . = p j ∣ i     j = 1 , 2... P\{Y=y_j|X=x_i\}=\frac{P\{X=x_i,Y=y_j\}}{P\{X=x_j\}}=\frac{p_{ij}}{pi.}=p_{j|i}\space\space\space j=1,2... P{Y=yj​∣X=xi​}=P{X=xj​}P{X=xi​,Y=yj​}​=pi.pij​​=pj∣i​   j=1,2...
P { X = x i ∣ Y = y j } = P { X = x i , Y = y j } P { Y = y j } = p i j p . j = i ∣ j     i = 1 , 2... P\{X=x_i|Y=y_j\}=\frac{P\{X=x_i,Y=y_j\}}{P\{Y=y_j\}}=\frac{p_{ij}}{p.j}=_{i|j}\space\space\space i=1,2... P{X=xi​∣Y=yj​}=P{Y=yj​}P{X=xi​,Y=yj​}​=p.jpij​​=i∣j​   i=1,2...

例題4： 設 ( X , Y ) (X,Y) (X,Y) 的概率分佈如下表，試求 X = 2 X=2 X=2 的條件分佈律

x\y012
-1 1 10 \frac{1}{10} 101​ 1 20 \frac{1}{20} 201​ 7 20 \frac{7}{20} 207​
2 3 10 \frac{3}{10} 103​ 1 10 \frac{1}{10} 101​ 1 10 \frac{1}{10} 101​









答案：

  • 首先計算 X = 2 X=2 X=2 的邊緣分佈律為 1 2 \frac{1}{2} 21​。
  • 當 X = 2 X=2 X=2 的條件分佈律為 P { Y = 0 ∣ X = 2 } = 3 10 1 2 = 3 5 , P { Y = 1 ∣ X = 2 } = 1 10 1 2 = 1 5 , P { Y = 2 ∣ X = 2 } = 3 10 1 2 = 1 5 P\{Y=0|X=2\}=\frac{\frac{3}{10}}{\frac{1}{2}}=\frac{3}{5},P\{Y=1|X=2\}=\frac{\frac{1}{10}}{\frac{1}{2}}=\frac{1}{5},P\{Y=2|X=2\}=\frac{\frac{3}{10}}{\frac{1}{2}}=\frac{1}{5} P{Y=0∣X=2}=21​103​​=53​,P{Y=1∣X=2}=21​101​​=51​,P{Y=2∣X=2}=21​103​​=51​

1.4 隨機變數的數位特徵

一. 數學期望的概念

定義1.4.1： 設 離 散 型 隨 機 變 量 設離散型隨機變數 設離散型隨機變量 X X X 的 分 布 律 為 的分佈律為 的分布律為 P { X = x k } = p k     k = 1 , 2... , P\{X=x_k\}=p_k \space\space\space k=1,2..., P{X=xk​}=pk​   k=1,2..., 若 級 數 收 斂 ， 則 稱 若級數收斂，則稱 若級數收斂，則稱 E ( X ) = ∑ k = 1 ∞ x k p k E(X)=\sum_{k=1}^{\infty}x_kp_k E(X)=k=1∑∞​xk​pk​ 為 為 為 X X X 的 數 學 期 望 或 概 率 均 值 ， 簡 稱 均 值 或 期 望 的數學期望或概率均值，簡稱均值或期望 的數學期望或概率均值，簡稱均值或期望。
     \space\space\space\space      設 連 續 型 是 隨 機 變 量 設連續型是隨機變數 設連續型是隨機變量 X X X 的概率密度為 f ( x ) f(x) f(x)， 若 積 分 ∫ ∞ + ∞ x f ( x ) d x 若積分\int_{\infty}^{+\infty}xf(x)dx 若積分∫∞+∞​xf(x)dx 絕 對 收 斂 絕對收斂 絕對收斂， 則 稱 則稱 則稱 E ( X ) = ∫ − ∞ + ∞ x f ( x ) d x E(X)=\int_{-\infty}^{+\infty}xf(x)dx E(X)=∫−∞+∞​xf(x)dx 為 連 續 型 隨 機 變 量 為連續型隨機變數 為連續型隨機變量 X X X 的 數 學 期 望 。 的數學期望。 的數學期望。
     \space\space\space\space      若 若 若 X X X 的 分 布 律 為 的分佈律為 的分布律為 P { X = x k } = p k     k = 1 , 2... , 且 ∫ k = 1 + ∞ g ( x k ) p k P\{X=x_k\}=p_k \space\space\space k=1,2...,且\int_{k=1}^{+\infty}g(x_k)p_k P{X=xk​}=pk​   k=1,2...,且∫k=1+∞​g(xk​)pk​ 絕 對 收 斂 ， 則 函 數 絕對收斂，則函數 絕對收斂，則函數 Y = g ( X ) Y=g(X) Y=g(X) 的 期 望 為 的期望為 的期望為 E ( Y ) = E [ g ( X ) ] = ∑ k = 1 ∞ g ( x k ) p k E(Y)=E[g(X)]=\sum_{k=1}^{\infty}g(x_k)p_k E(Y)=E[g(X)]=k=1∑∞​g(xk​)pk​ 其 中 其中 其中 g g g 為 連 續 函 數 為連續函數 為連續函數。
     \space\space\space\space      若 連 續 型 隨 機 變 量 若連續型隨機變數 若連續型隨機變量 X X X 的概率密度為 f ( x ) f(x) f(x) , 且 ∫ − ∞ + ∞ f ( x ) d x ,且\int_{-\infty}^{+\infty}f(x)dx ,且∫−∞+∞​f(x)dx 絕 對 收 斂 ， 則 函 數 絕對收斂，則函數 絕對收斂，則函數 Y = g ( X ) Y=g(X) Y=g(X) 的 期 望 為 的期望為 的期望為 E ( Y ) = E [ g ( X ) ] = ∫ − ∞ + ∞ g ( x ) f ( x ) d x E(Y)=E[g(X)]=\int_{-\infty}^{+\infty}g(x)f(x)dx E(Y)=E[g(X)]=∫−∞+∞​g(x)f(x)dx

數學期望的性質：

  1. (線性法則)： E ( a X + b ) = a E ( X ) + b E(aX+b)=aE(X)+b E(aX+b)=aE(X)+b
  2. (加法法則): E ( X + Y ) = E ( X ) + E ( Y ) E(X+Y)=E(X)+E(Y) E(X+Y)=E(X)+E(Y)
  3. (乘法法則)：當隨機變數 X , Y X,Y X,Y 相互獨立時 E ( X Y ) = E ( X ) E ( Y ) E(XY)=E(X)E(Y) E(XY)=E(X)E(Y)
  4. (柯西-許瓦茲不等式)： ∣ E ( X Y ) ∣ 2 ≤ E ( X 2 ) E ( Y 2 ) |E(XY)|^2 \leq E(X^2)E(Y^2) ∣E(XY)∣2≤E(X2)E(Y2)

柯西-許瓦茲不等式證明過程

例題5： 設 X X X 的分佈律為

X-2-101
p k p_k pk​ 1 4 \frac{1}{4} 41​ 1 8 \frac{1}{8} 81​ 1 2 \frac{1}{2} 21​ 1 8 \frac{1}{8} 81​

求 Y = X 2 − 1 Y=X^2 -1 Y=X2−1 的數學期望。

二. 方差的概念

定義1.4.2： 設 設 設 X X X 是 一 個 隨 機 變 量 ， 若 是一個隨機變數，若 是一個隨機變量，若 E { [ X − E ( X ) ] 2 } E\{[X-E(X)]^2\} E{[X−E(X)]2} 存 在 ， 則 稱 存在，則稱 存在，則稱 E { [ X − E ( X ) ] 2 } E\{[X-E(X)]^2\} E{[X−E(X)]2} 為 為 為 X X X 的 方 差 ， 記 做 的方差，記做 的方差，記做 D ( X ) D(X) D(X) 或 或 或 V a r ( X ) Var(X) Var(X) 或 或 或 σ x 2 \sigma_x^2 σx2​ 。 即 。即 。即 D ( X ) = V a r ( X ) = E { [ X − E ( X ) ] 2 } = σ x 2 D(X)=Var(X)=E\{[X-E(X)]^2\}=\sigma_x^2 D(X)=Var(X)=E{[X−E(X)]2}=σx2​ 稱 稱 稱 σ x = σ ( X ) = D ( X ) \sigma_x=\sigma(X)=\sqrt{D(X)} σx​=σ(X)=D(X) ​ 為 X X X 的 標 準 差 或 均 方 差 。 的標準差或均方差。 的標準差或均方差。

由方差的性質易得： D ( X ) = E ( X 2 ) − [ E ( X ) ] 2 D(X)=E(X^2)-[E(X)]^2 D(X)=E(X2)−[E(X)]2 E ( X 2 ) = D ( X ) + [ E ( X ) ] 2 E(X^2)=D(X)+[E(X)]^2 E(X2)=D(X)+[E(X)]2









證明過程： D ( X ) = E { [ X − E ( X ) ] 2 } = E { X 2 − 2 X E ( X ) + [ E ( X ) ] 2 } D(X)=E\{[X-E(X)]^2\}=E\{X^2-2XE(X)+[E(X)]^2\} D(X)=E{[X−E(X)]2}=E{X2−2XE(X)+[E(X)]2} 由期望的加法性質 E ( a X + b ) = a E ( x ) + b E(aX+b)=aE(x)+b E(aX+b)=aE(x)+b 可得 D ( X ) = E ( X 2 ) − 2 E ( X ) E ( X ) + [ E ( X ) ] 2 = E ( X 2 ) − [ E ( X ) ] 2 D(X)=E(X^2)-2E(X)E(X)+[E(X)]^2=E(X^2)-[E(X)]^2 D(X)=E(X2)−2E(X)E(X)+[E(X)]2=E(X2)−[E(X)]2

方差是反應資料疏散程度特徵得量。方差大，說明資料疏散；方差小，說明資料集中。

三. 協方差、相關係數

定義1.4.3： 設 設 設 ( X , Y ) (X,Y) (X,Y) 為 二 維 隨 機 變 量 ， 稱 為二維隨機變數，稱 為二維隨機變量，稱 C o v ( X , Y ) = E [ ( X − E ( X ) ) ( Y − E ( Y ) ) ] Cov(X,Y)=E[(X-E(X))(Y-E(Y))] Cov(X,Y)=E[(X−E(X))(Y−E(Y))] 為 為 為 X X X 與 與 與 Y Y Y 的 協 方 差 的協方差 的協方差。

由方差和協方差性質易得 D ( X + Y ) = D ( X ) + D ( Y ) + 2 C o v ( X , Y ) D(X+Y)=D(X)+D(Y)+2Cov(X,Y) D(X+Y)=D(X)+D(Y)+2Cov(X,Y) C o v ( X , Y ) = E ( X Y ) − E ( X ) E ( Y ) Cov(X,Y)=E(XY)-E(X)E(Y) Cov(X,Y)=E(XY)−E(X)E(Y)









證明過程：

  1. C o v ( X , Y ) = E [ ( X − E ( X ) ) ( Y − E ( Y ) ) ] = E [ X Y − Y E ( X ) − X E ( Y ) + E ( X ) E ( Y ) ] = Cov(X,Y)=E[(X-E(X))(Y-E(Y))]=E[XY-YE(X)-XE(Y)+E(X)E(Y)]= Cov(X,Y)=E[(X−E(X))(Y−E(Y))]=E[XY−YE(X)−XE(Y)+E(X)E(Y)]= E ( X Y ) − E ( Y ) E ( X ) − E ( X ) E ( Y ) + E ( X ) ( Y ) = E ( X Y ) − E ( X ) E ( Y ) E(XY)-E(Y)E(X)-E(X)E(Y)+E(X)(Y)=E(XY)-E(X)E(Y) E(XY)−E(Y)E(X)−E(X)E(Y)+E(X)(Y)=E(XY)−E(X)E(Y)
  2. D ( X + Y ) = E [ X + Y − E ( X + Y ) ] 2 = E [ X − E ( X ) + Y − E ( Y ) ] 2 = D(X+Y)=E[X+Y-E(X+Y)]^2=E[X-E(X)+Y-E(Y)]^2= D(X+Y)=E[X+Y−E(X+Y)]2=E[X−E(X)+Y−E(Y)]2= ( E [ X − E ( X ) ] + E [ Y − E ( Y ) ] ) ( E [ X − E ( X ) ] + E [ Y − E ( Y ) ] ) = (E[X-E(X)]+E[Y-E(Y)])(E[X-E(X)]+E[Y-E(Y)])= (E[X−E(X)]+E[Y−E(Y)])(E[X−E(X)]+E[Y−E(Y)])= E [ X − E ( X ) ] 2 + E [ Y − E [ Y ] ] 2 − 2 E [ X − E ( X ) ] E [ Y − E ( Y ) ] = D ( X ) + D ( Y ) − 2 C o v ( X , Y ) E[X-E(X)]^2+E[Y-E[Y]]^2-2E[X-E(X)]E[Y-E(Y)]=D(X)+D(Y)-2Cov(X,Y) E[X−E(X)]2+E[Y−E[Y]]2−2E[X−E(X)]E[Y−E(Y)]=D(X)+D(Y)−2Cov(X,Y)

協方差得基本性質：

  1. C o v ( X , Y ) = C o v ( Y , X ) Cov(X,Y)=Cov(Y,X) Cov(X,Y)=Cov(Y,X)
  2. C o v ( a X , b Y ) = a b C o v ( Y , X ) Cov(aX,bY)=abCov(Y,X) Cov(aX,bY)=abCov(Y,X)
  3. C o v ( X 1 ± X 2 , Y ) = C o v ( X 1 , Y ) ± C o v ( X 2 , Y ) Cov(X_1\pm X_2,Y)=Cov(X_1,Y)\pm Cov(X_2,Y) Cov(X1​±X2​,Y)=Cov(X1​,Y)±Cov(X2​,Y)
  4. ∣ C o v ( X , Y ) ∣ ≤ D ( X ) D ( Y ) |Cov(X,Y)|\leq \sqrt{D(X)}\sqrt{D(Y)} ∣Cov(X,Y)∣≤D(X) ​D(Y) ​
  5. C o v ( X , X ) = D ( X ) Cov(X,X)=D(X) Cov(X,X)=D(X)
  6. 若 X X X 和 Y Y Y 相互獨立，則 C o v ( X , Y ) = 0 Cov(X,Y)=0 Cov(X,Y)=0
  7. C o v ( a X ± b , c Y ± d ) = a c C o v ( X , Y ) Cov(aX\pm b,cY\pm d)=acCov(X,Y) Cov(aX±b,cY±d)=acCov(X,Y)

協方差是反映量隨機變數 X X X 和 Y Y Y 相關關係的特徵量，它與 X X X 與 Y Y Y 是同量綱的，而反應 X X X 與 Y Y Y 相關關係的無量綱的是相關係數。

定義1.4.4： 設 設 設 ( X , Y ) (X,Y) (X,Y) 為 二 維 隨 機 變 量 為二維隨機變數 為二維隨機變量， D ( X ) , D ( Y ) , C o v ( X , Y ) D(X),D(Y),Cov(X,Y) D(X),D(Y),Cov(X,Y) 分 別 為 分別為 分別為 ( X , Y ) (X,Y) (X,Y) 方 差 與 協 方 差 ， 稱 方差與協方差，稱 方差與協方差，稱 ρ X Y = C o v ( X Y ) D ( X ) D ( Y ) \rho_{XY}=\frac{Cov(XY)}{\sqrt{D(X)}\sqrt{D(Y)}} ρXY​=D(X) ​D(Y) ​Cov(XY)​ 為 隨 機 變 量 為隨機變數 為隨機變量 X X X 與 Y Y Y 相 關 系 數 。 相關係數。 相關系數。

相關係數的性質：

  1. ∣ ρ X Y ∣ ≤ 1 |\rho_{XY}|\leq 1 ∣ρXY​∣≤1， ρ \rho ρ 是一個表徵 ( X , Y ) (X,Y) (X,Y) 同線性相關緊密程度的量， ∣ ρ ∣ |\rho| ∣ρ∣ 較大表示 ( X , Y ) (X,Y) (X,Y) 線性相關程度較高，反之較低。
  2. 若 ( X , Y ) (X,Y) (X,Y) 相互獨立，且 D ( X ) , D ( Y ) > 0 D(X),D(Y)>0 D(X),D(Y)>0，則 ρ X Y = 0 \rho_{XY}=0 ρXY​=0。若 ( X , Y ) (X,Y) (X,Y) 的相關係數 ρ X Y = 0 \rho_{XY}=0 ρXY​=0，則稱 X X X 與 Y Y Y 不相關。