2-3-3機率-條件機率與貝氏定理

全文

(1)3-3 條件機率與貝氏定理【目標】首先能了解條件機率的意涵，且會使用機率的乘法公式，再者能理解獨立事件的意義及其性質。最後能結合分割原理與條件機率推導出貝氏定理，並能應用之，【定義】 1. 條件機率：設事件 A 發生的機率 P ( A) > 0，則事件 E 相對於事件 A 發生的機率稱為在事件 A 發生的條件下，事件 E 發生的機率，簡稱 E 相對於 A 的條件機率，記為 P( A ∩ E ) 。 P ( E | A) 。由 P ( E | A) 的意義可知為 P ( E | A) = P( A). 註： (1) 由於 E 未必包含於 A ，故事件 E 相對於事件 A 發生的機率，其實是事件 A ∩ E 相對於事件 A 發生的機率。【性質】 1. 條件機率的乘法法則： (1) 當 P ( A) > 0 時， P ( A ∩ B ) = P ( A) P ( B | A) 。 (2) 當 P ( A ∩ B ) > 0 時， P ( A ∩ B ∩ C ) = P( A) P( B | A) P(C | A ∩ B) 。 (3) 當 P( A1 ∩ A2 ∩ L ∩ An −1 ) > 0 時， P( A1 ∩ A2 ∩ L ∩ An ) = P( A1 ) P ( A2 | A1 ) P ( A3 | A1 ∩ A2 ) L P ( An | A1 ∩ A2 ∩ L ∩ An −1 ) 。註： P ( A) ≥ P ( A ∩ B ) > 0 ，故 P ( A) > 0 ，於是 P ( A ∩ B ∩ C ) = P (( A ∩ B ) ∩ C ) = P ( A ∩ B ) P(C | A ∩ B) = P( A) P( B | A) P (C | A ∩ B ) 。. 2.. 條件機率的性質：設 A, B 是事件，且 P ( A) > 0 ， P ( B ) > 0 ，則下列三式的意義相同： (1) P ( A ∩ B ) = P ( A) P ( B ) 。 (2) P ( B | A) = P ( B ) 。 (3) P ( A | B ) = P ( A) 。註： P( A ∩ B) = P( A) P( B) ⇔. P( A ∩ B) = P( B) ⇔ P( B | A) = P( B) 。 P( A). 11.

(2) 【定義】 1. 獨立事件：當事件 A, B 滿足 P ( A ∩ B ) = P ( A) P ( B ) 時，稱事件 A 與 B 獨立，或稱 A, B 為獨立事件。例如： n 個人逐一抽獎時，每人中獎的機率是一樣的，與抽獎的次序無關：在抽獎的問題中，通常為了控制中獎的人數，籤條都是取後不放回。假設籤筒中有 5 支籤，其中恰 2 支有獎。 5 人依序抽籤，令事件 A, B 如下： A ：第 1 人中獎， B ：第 2 人中獎。 2 則 P ( A) = P ( B) = ，抽籤中獎的機率與抽籤的次序無關。然而，第 2 人中獎 5 可分割成兩種情形，即第 1 人中獎且第 2 人中獎及第 1 人不中獎且第 2 人中 2 1 5 4. 3 2 5 4. 1 3 2 + = 。所以第 2 人中獎的機率是將第 1 人 10 10 5 2 中獎及不中獎都考慮進來，才是。如果在第 1 人中獎的條件下，第 2 人中 5 1 2 1 2 獎的機率就是而非了，即 P( B | A) = ≠ = P( B) 。 4 5 4 5. 獎，才有 P( B) = × + × =. 當 5 人依序抽獎時﹐第 1 人先抽，若幸運得獎，則第 2 人更加焦慮，因為他 2 5. 1 4. 中獎的機率由下降為 ﹒反之，若第 1 人未抽中，則第 2 人較為篤定，因 2 5. 2 4. 為他中獎的機率由上升為 =. 1 。所以事件 A 的發生與否會影響到事件 B 2. 發生的機率。如果抽籤時，不控制中獎人數，而將籤條每次取後放回，事件 2 5. A, B 仍分別表第 1 人中獎及第 2 人中獎，則依然有 P( A) = P( B) = ，但此時無. 論第 1人是否中獎，都不影響第 2 人中獎的機率，即 P( B | A) = 2.. 3.. 2 = P( B) ，這就 5. 是事件 A 與 B 獨立的概念。三個事件獨立：設 A, B, C 是事件，若 A, B, C 滿足： (1) P ( A ∩ B ) = P ( A) P ( B ) 。 (2) P ( B ∩ C ) = P ( B ) P (C ) 。 (3) P (C ∩ A) = P (C ) P ( A) 。 (4) P ( A ∩ B ∩ C ) = P ( A) P ( B ) P (C ) 。則稱事件 A, B, C 獨立，或稱 A, B, C 為獨立事件。註：當 A, B, C 為獨立事件時， P (C | A) = P (C ), P (C | B ) = P (C ), P (C | A ∩ B ) = P(C ) ，即 A, B 的發生都不影響 C 發生的機率。同樣的， B, C 不影響 A ； C, A 不影響 B 。換言之， A, B, C 互不影響。此時，三者積事件發生的機率等於各自事件發生機率的乘積。 n 個事件獨立：當 A1 , A2 , L , An 是事件時，若其中任意 k 個事件( 1 ≤ k ≤ n − 1 )的發生都不影響其餘任一事件發生的機率，則這 n 個事件獨立。此時， A1 , A2 , L , An 中任意若干個事件之積事件發生的機率都會等於個別事件發生機率的乘積。特別地， P ( A1 ∩ A2 ∩ L ∩ An ) = P ( A1 ) P ( A2 )L P ( An ) 。 12.

(3) 【性質】 1. 獨立事件： (1)兩事件 A, B 獨立的充要條件是 P( A ∩ B) = P( A) P( B) 。 (2)當 A, B 有一事件的機率為 0 ，則 A, B 為獨立事件。 (3)當 A, B 為獨立事件，且 P( A) > 0 ﹐ P( B) > 0 時， P( A | B) = P( A) 且 P( B | A) = P ( B) 。 (4)當 P( A | B) = P( A) 且 P( B | A) = P( B) 時， A, B 為獨立事件。 (5) A, B 為互斥事件時， P( A ∩ B) = 0 ，此時 A, B 可以是獨立事件，也可以不是獨立事件，但 A, B 為互斥事件且 P( A) > 0 ， P( B) > 0 時， A, B 必不是獨立事. 2.. 件。 (6)兩事件互斥且為獨立事件時，必有一事件的機率為 0 。獨立事件的性質：當 A, B 為獨立事件時， A, B ' 為獨立事件， A' , B 為獨立事件，且 A' , B ' 為獨立事件。註： (1) 當 A, B 為獨立事件時，由於 P ( A ∩ B ′) = P ( A − B ) = P ( A) − P ( A ∩ B ) = P ( A) − P ( A) P ( B ) = P ( A)[1 − P ( B )] = P ( A) P ( B ′). 故 A, B ' 為獨立事件。由此也可知當 A, B 為獨立事件時， A' , B 獨立事件，而 A' , B ' 也是獨立事件。 (2) 假設擲骰子時，各次互不影響，這是個常規性的假設。通常重複某種試驗時，只要每次都回復原狀，而在相同的狀態下執行，我們就假設各次之間是獨立的，有時不再特別聲明。. 13.

(4) 3.. 獨立事件的性質：三事件 A, B, C 獨立時，若其中某些事件改成其餘事件，則可仿二事件的情形證明三事件仍然獨立。例如 A′, B, C 獨立， A′, B ′, C 獨立， A′, B′, C ′ 也獨立。註：三事件 A, B, C ，當 A, B, C 中兩兩為獨立事件時，要確定 A, B, C 否為獨立事件時，必須檢驗 P( A ∩ B ∩ C ) = P( A) P( B) P(C ) 是否成立，因為 P( A ∩ B) = P( A) P( B) 且 P( A ∩ C ) = P( A) P(C ) 且 P( B ∩ C ) = P( B) P(C ) ，不能推論 P( A ∩ B ∩ C ) 與 P( A) P( B) P(C ) 必然相等。例如：設袋中有編號 1～8 的 8 個球，從中任意取一球，令樣本空間 S = {1, 2, 3, 4, 5, 6, 7, 8} ，事件 A, B, C 分別為 A = {1, 2, 3, 4} ， B = {1, 2, 5, 6} ， C = {1, 2, 7, 8} ，則 P( A) = P( B) = P(C ) =. 4 1 = ， 8 2. 2 1 2 1 = ， P( A ∩ B ∩ C ) = = ， 8 4 8 4 得 P( A ∩ B) = P( A) P( B) ， P( B ∩ C ) = P( B) P(C ) ， P(C ∩ A) = P(C ) P( A) 。故 A, B, C 三事件中，兩兩獨立。但是， P( A ∩ B ∩ C ) ≠ P( A) P( B) P(C ) ，故三事件 A, B, C 不獨立。 P( A ∩ B) = P( B ∩ C ) = P(C ∩ A) =. 一般而言， n 個事件中，兩兩獨立時，這 n 個事件未必為獨立事件。【討論】 1. 獨立與互斥的比較：和事件 A ∪ B 的機率. 積事件 A ∩ B 的機率. P ( A ∪ B ) = P ( A) + P( B ) − P ( A ∩ B ). P( A ∩ B) = P( A) P ( B | A). A, B 互斥時， P( A ∪ B) = P( A) + P( B). A, B 獨立時， P ( A ∩ B ) = P ( A) P( B). 14.

(5) 【定義】 1. 分割：設一隨機現象的樣本空間為 S ，若事件 A1 , A2 ,L, An 滿足 (1) A1 , A2 ,L, An 互斥(即兩兩互斥)。 (2) A1 ∪ A2 ∪ L ∪ An = S 。則稱事件 A1 , A2 ,L, An 是樣本空間 S 的一個分割。【原理】 1. 分割原理：設 A1 , A2 ,L, An 是樣本空間 S 的一個分割，其中 P( Ak ) > 0, k = 1,2,L, n ，則對任意事件 E ，恆有 P (E ) = P( A1 ) P( E | A1 ) + P( A2 ) P( E | A2 ) + L + P ( An ) P( E | An ) n. = ∑ P ( Ak ) P ( E | Ak ) k =1. 證明： A1 , A2 , L , An 是樣本空間 S 的一個分割，. 則 E = ( A1 ∩ E ) ∪ ( A2 ∩ E ) ∪ L ∪ ( An ∩ E ) ，且 A1 ∩ E , A2 ∩ E , L , An ∩ E 互斥，故 P ( E ) = P ( A1 ∩ E ) + P ( A2 ∩ E ) + L + P ( An ∩ E ) n. = P ( A1 ) P ( E | A1 ) + P ( A2 ) P ( E | A2 ) + L + P ( An ) P ( E | An ) = ∑ P ( Ak ) P ( E | Ak ) 。 k =1. 2.. 貝氏定理：設 A1 , A2 ,L, An 是樣本空間 S 的一個分割，其中 P( Ak ) > 0, k = 1,2,L, n 。若 E 是一事件，且 P ( E ) > 0 ，則 P( Ai ∩ E ) P ( Ai ) P ( E | Ai ) ， i = 1,2,L , n 。 = n P( Ai | E ) = P( E ) ∑ P( Ak ) P( E | Ak ) k =1. 註：貝氏定理是統計學上統計推論的基礎，在定理中的 P ( Ai ) ， i = 1, 2, L, n 稱為事前機率，必須是已知，在這個基礎下，才能推算事後機率 P ( Ai | E ) ，通常 P ( Ai ) 的值是以過去的經驗為基礎，亦即有事前機率的資訊為依據，才能推算事後機率。. 15.

(6) 【說明】 1. 樣本空間的分割與分割原理： S 為樣本空間， (1) 設 A 是一個事件，則 A ∪ A' = S ，此時 A 與 A' 為 S 的一個分割。任意事件 E ，恆有 P( E ) = P( E ∩ A) + P( E ∩ A' ) = P( A) P( E | A) + P( A' ) P( E | A' ) 。 (2) n 個事件 A1 , A2 , L , An ，若 n 個事件中的任兩事件互斥，且任意事件 E ，若 S 的分割 A1 , A2 , L , An 中，任意的 P ( Ai ) > 0 ， i = 1, 2, L, n ，則 P ( E ) = P ( A1 ) P ( E | A1 ) + P ( A2 ) P ( E | A2 ) + L + P ( An ) P ( E | An ) 。我們處理分割應用的問題時，常用樹狀圖表示，如下：. 2.. 因為樹狀圖的各個分支是互斥的，所以 P (E ) 就是 n 個分支的總和。利用簡單隨機抽樣，若從 n 位學生中任意抽取一位學生，則編號第 i 號的學生，在第 j 次被抽出的機率為何？設 A 表示編號第 i 號的學生在第 j 次被抽出的事件， Ak 表示第 k 次抽到第 i 號學生的事件， k = 1, 2, L , j − 1, j ，則 A = A'1 ∩ A2' ∩L ∩ Aj −1' ∩ Aj' ，其中 Ak' 為 Ak 的餘事件， 1 n −1 ， n n 且對任意 1 < k ≤ j ，如果前 k − 1 次都沒有抽到第 i 號的學生，那麼第 k 次抽出的時候﹐由於已抽走了 k − 1 個學生，在剩下的 n − k + 1 個學生中，抽到第 i 號學生的機率 1 P( Ak | A'1 ∩ A2' ∩ L ∩ Ak −1' ) = ， n − k +1 1 n−k = ﹐ 亦即 P( Ak' | A'1 ∩ A2' ∩ L ∩ Ak −1' ) = 1 − n − k +1 n − k +1. 因為 P( A1 ) = ，所以 P( A'1 ) =. 因此 P( A) = P ( A1 '∩ A2 '∩L ∩ A j −1 '∩ A j ' ). = P( A1 ' ) P( A2 '| A1 ' ) P( A3 '| A1 '∩ A2 ' ) × L × P ( A j −1 ' | A1 '∩ A2 '∩ L ∩ A j − 2 ' ) 1 n n−2 n − j +1 1 × × ×L× = n −1 n −1 n − j + 2 n − j +1 n 從上面的結果可知在執行簡單隨機抽樣時，任何一個人或任何一物件，在任何一個次序上被取的機會都是相同的。如果使用隨機號碼表逐一抽出某些物件，每個物件被取到的機會也是相同的。因此，使用隨機號碼表逐一抽出某些物件，作為抽樣的樣本都具有相同的代表性，符合簡單隨機抽樣的要求。上面的推論與說明是條件機率應用的結果。本課程中尚不涉及抽樣的概念，事實上，抽獎､抽籤､取球的問題都是抽樣應用的問題。 × P ( A j '| A1 '∩ A2 '∩L ∩ A j −1 ' ) =. 16.

(7) 【方法】表示條件機率各種情形之方法： 1. 文氏圖： A. B A∩B. 2.. 3.. 表格： B' 集合 A P ( A ∩ B ' ) = P ( A) P ( B ' | A) A' P ( A'∩ B ' ) = P ( A' ) P ( B ' | A' ) P (B ' ) 計. B P ( A ∩ B ) = P ( A) P ( B | A) P ( A'∩ B ) = P ( A' ) P ( B | A' ) P(B). 機率 A A' 計. B' 0.97 0.94 0.961. B 0.03 0.06 0.39. 計 0.7 0.3 1. 個數 A A' 計. B' 679 282 961. B 21 18 39. 計 700 300 1000. 樹形圖： P ( B | A). 即 P ( A ∩ B ) = P ( A) P ( B | A). P ( B'| A). 即 P ( A ∩ B ' ) = P ( A) P ( B ' | A). P ( B | A' ). 即 P ( A'∩ B ) = P ( A' ) P ( B | A' ). P ( B '| A' ). 即 P ( A'∩ B ' ) = P ( A' ) P ( B ' | A' ). P( A). U P ( A' ). 17. 計 P( A) P ( A' ) U.

(8)