高階人工智慧系列(一)——貝葉斯網路、概率推理和樸素貝葉斯網路分類器

2022-11-20 21:01:44

高階人工智慧系列(一)——貝葉斯網路、概率推理和樸素貝葉斯網路分類器

初學者整理,如有錯誤歡迎指正。

原創地址

一、概率論基礎

1.1 樣本空間 Ω

樣本空間是隨機試驗中所有可能的取值的集合。

比如,擲骰子,結果有1-6 六種可能,那麼樣本空間即:

\(Ω = \{1, 2, 3, 4, 5, 6\}\)


1.2 事件空間

樣本空間的一個子集。


1.3 條件概率

簡單地,現有事件A和事件B,
條件概率 P(A|B)表示事件A在事件B發生的條件下發生的概率

條件概率計算公式:

\(P(A|B)\) = \(P(AB) \over P(B)\)

更一般地,條件概率公式可以擴充套件到多條件情況:

\(P(A|B_1,B_2,...,B_n)\) = \(P(A,B_1,B_2,...,B_n) \over P(B_1,B_2,...,B_n)\)

即分子是A和條件的聯合概率,分母是條件的聯合概率。

根據條件概率公式,可得到乘法公式

\(P(AB)\) = \(P(A|B) P(B)\)

\(P(A,B_1,B_2,...,B_n)\) = \(P(A|B_1,B_2,...,B_n) P(B_1,B_2,...,B_n)\)

根據上式可以看出,乘法公式可以鏈式遞迴

觀察上述乘法公式,等式右側仍然包含聯合概率

\(P(B_1,B_2,...,B_n)\)

它仍然可以利用乘法公式進行變換:

\(P(B_1,B_2,...,B_n)\) = \(P(B_1|B_2,...,B_n) P(B_2,...,B_n)\)
\(P(B_2,...,B_n)\) = \(P(B_2|B_3,...,B_n) P(B_3,...,B_n)\)

\(...\)

\(P(B_{n-1},B_n)\) = \(P(B_{n-1}|B_n)P(B_n)\)

整理可得:

\(P(B_1,B_2,...,B_n)\) = \(∏^n_{i=1}P(B_i|B_1,...,B_{i-1})\)


1.4 伯努利大數定律

在日常生活中,我們很自然地會使用頻率去估計一個事件的概率。那麼其背後的理論是什麼?是伯努利大數定律