機率公設

定義：令$S$為樣本空間 (sample space)，$\mathcal{E}$為所有可能事件的集合類，$P$是定義在$\mathcal{E}$上的一個實數函數，若$P$滿足下列公設 (axiom)，則稱$P$為機率函數 (probability function)，並稱$P(A)$為事件$A\in\mathcal{E}$的機率：
[A1] 對任意的事件$A$, $0\le P(A)\le 1$。
[A2] $P(S)=1$。
[A3] 若$A_1, A_2, A_3,...$是一個序列的互斥事件 (亦即$A_i\cap A_j =\emptyset$ , $\forall i\ne j$)，則
\[ P(A_1\cup A_2\cup \cdots) = P(A_1) + P(A_2) + P(A_2) +\cdots \]

定理：若$\emptyset$為空集合，則$P(\emptyset)=0$。
證明：令$A$為任意的集合，則$A$與空集合為互斥事件，$A\cup\emptyset = A$。由[A3]可知
\[ P(A) = P(A\cup\emptyset) = P(A) + P(\emptyset) \]
兩邊同減$P(A)$，可得：$P(\emptyset) = 0$。

定理：若$A^c$為事件$A$的補集 (亦即$A\cup A^c = S$，且$A\cap A^c = \emptyset$)，則$P(A^c)=1-P(A)$。
證明：依據補集的定義，$S$可以拆解成兩個互斥的事件$A$與$A^c$，亦即$A\cup A^c = S$。由公設[A2], [A3]可得
\[ 1 = P(S) = P(A\cup A^c) = P(A)+P(A^c) \]
移項之後可得：$P(A^c) = 1- P(A)$。

定理：若$A\subset B$，則$P(A)\le P(B)$。
證明：若$A\subset B$，則$B$可拆解成兩個互斥的事件，事件$A$以及事件$B\cap A^c$ (通常以$B\setminus A$表示$B\cap A^c$)。則
\[ P(B) = P(A)+P(B\setminus A) \]
依據[A1]，$P(B\setminus A)\ge 0$，因此由上式可知：$P(B)\ge P(A)$。

定理：若$A$與$B$為任意兩個事件，則
\[ P(A\setminus B) = P(A) - P(A\cap B) \]
證明：$A$可以拆解成兩個互斥的事件，$A\setminus B$以及$A\cap B$，亦即
\[ A = (A\setminus B)\cup (A\cap B) \]
因此，由[A3]可得
\[ P(A) = P(A\setminus B) + P(A\cap B) \]

定理：假設$A$與$B$為任意兩個事件，則
\[ P(A\cup B) = P(A) + P(B) - P(A\cap B) \]
證明：$A\cup B$可以拆解成兩個互斥的事件：$A\setminus B$以及$B$，則依據[A3]可知
\[ \begin{array}{rcl}
P(A\cup B) & = & P(A\setminus B) + P(B) \\
       & = & P(A) - P(A\cap B) + P(B) \\
       & = & P(A) + P(B) - P(A\cap B) \end{array} \]