隨機程序 Random Processes

在介紹隨機程序(或稱隨機過程)之前，先簡單地回顧一下機率理論。若一個實驗的結果(outcome)無法事先得知，即可稱為隨機實驗(Random Experiment)，這是在機率理論的一個重要基本概念。在一個隨機實驗中，所有可能的結果形成的集合(set)，稱為該實驗的樣本空間，並以$\Omega$表示。樣本空間的任一個子集合(subset)，稱為一個事件(event)，記為$E$。若實驗的結果為某一事件$E$的一個元素，則稱發生該事件。對樣本空間中的每一個事件$E$，我們定義一個集合函數$P(E)$，且該函數滿足下列三個公設(axioms)：

• Axiom 1: $0\le P(E)\le 1$.
• Axiom 2: $P(\Omega) = 1$.
• Axiom 3: 對任意一組事件序列$\{E_i\} = E_1, E_2, E_3,...$ (可以有無限多個)，若對任意的$i\ne j$，$E_i\cap E_j = \emptyset$，亦即$\{E_i\}$為互斥(mutually exclusive)，則\[ P\left(\bigcup_{i=1}^\infty E_i\right) = \sum_{i=1}^\infty P(E_i).\]

若這樣的函數存在，則我們稱$P(E)$為事件$E$發生的機率。令$\mathcal{F}$表示所有可能事件所形成的集合($\mathcal{F}$嚴格說來，必須是一個$\sigma$-field，或者稱為$\sigma$-algebra，不過在這邊暫時可以不管這些，那為何要提這個咧？因為這樣看起來好像比較專業。)，則$(\Omega, \mathcal{F}, P)$這三個物件構成一個機率空間(Probability Space)。這種機率的定義方式，稱為公設式的定義(axiomatic approach)，是數學上最常用的定義方式。公設有人喜歡有人不喜歡，像是在台北市買房子，有的還規定公設至少30%，真是他媽的坑爹啊！數學家則是非常喜歡公設，機率的公設是由俄羅斯的數學家Kolmogorov提出來的，他告訴我們，滿足這三個公設就是機率，也就是說這個世界上只有機率可以同時滿足這三個性質，不需要計算事件發生的頻率，也不需要假設你的實驗公不公平。這種公設式的定義，在數學上隨處可見，有時候不得不說：這些數學家真是他媽的有病啊！不然怎麼在一堆雜亂無章的數學式中，找出這兩、三個規則，並且將它定為不可違背的公設。下面列出機率函數的幾個簡單的性質，利用三個基本公設即可證明。

1. If $E\subset F$, then $P(E)\le P(F)$.
2. $P(E^c) = 1 - P(E)$, where $E^c$ is the complement of $E$.
3. $P(\bigcup_{i=1}^n E_i) = \sum^n_{i=1} P(E_i)$ when the $E_i$ are mutually exclusive.
4. $P(\bigcup_{i=1}^n E_i) \le \sum^n_{i=1} P(E_i)$.

接下來介紹隨機變數(Random Variables)。考慮一個樣本空間$\Omega$，令$\omega$表示一次隨機實驗的結果，隨機變數$X: \Omega\rightarrow\mathbb{R}$是一個函數，指定一個唯一的數值$\xi$給該次實驗結果，亦即$X(\omega) = \xi$(參考圖1)。若$X$的值域為$\mathbb{R}$則稱為連續隨機變數，若$X$的值域為$\mathbb{Z}$或$\mathbb{N}$，則稱為離散隨機變數。事實上，隨機變數還需要滿足另一個條件，如下：\[ P\{X\in A\}=P(X^{-1}(A)). \] 其中$A$為$\mathbb{R}$的一個子集合，$X^{-1}(A)$表示$A$的逆映像(inverse image)，簡單來講就是對任意的$A\subset \mathbb{R}$，其inverse image必須是一個事件，且發生$A$的機率與發生$X^{-1}(A)$的機率相同。同樣地，這個性質可以先暫時不管他，我只是想告訴大家，我很專業！(個屁)

圖1：隨機變數

隨機變數的概念，可以說是近代機率理論的重要基石，有些讀者和同學(包括我也是)一開始可能會覺得隨機變數的概念不容易接受，而且似乎有點多餘，不過是要將每個事件，指定一個數值，為何要特別定義一個函數咧？初學時，其實可以只要先記得隨機變數是一個函數這樣的概念就好了，它的很多好處需要慢慢體會，我自己的認知，隨機變數的概念可以簡化許多機率的問題，任何無法預知(random or stochastic)的東西，經過隨機變數映射之後(也就是隨機試驗的一個"實現", realization)，都變成是"確定性"(deterministic)的東西，一但是確定的東西，我們就可以對他進行微分、積分以及其他複雜的數學運算。這個概念在討論隨機程序時，更能顯示出他的好處。

令$\Omega$為樣本空間(Sample Space)，$T$為實數的一個子集合，代表一個時間區段(time interval)。則隨機程序(random process or stochastic process)可以定義為從product space $T\times\Omega$(亦即兩個變數的函數，其中第一個變數為$T$中的元素，第二個變數為$\Omega$中的元素)映射至$\mathbb{R}^n$的一個函數，使得對任意的$t_j\in T$，$\mathbf{X}(t_j,\cdot)$是一個隨機變數($n=1$時是純量隨機變數，$n>1$為多變量隨機變數)。反之，若固定第二個變數，則對任意的$\omega_i\in\Omega$，$\mathbf{X}(\cdot,\omega_i):=\mathbf{X}(\cdot)$是一個時間函數，稱為樣本函數(sample function)。對固定的 $t_j\in T$，$\omega_i\in\Omega$，則得到$\mathbf{X} (t_j,\omega_i)$是一個確定的向量。

圖2: 隨機程序