Stationary Random Process

在工程上，特別是通訊工程，我們經常碰到隨機程序；而為了處理上的方便，通常會假設隨機程序具有stationary，亦即穩態的特性。何謂穩態，簡單的說就是我們所作的實驗不會因為作實驗的時間不同，而得到不同的結論。例如擲骰子，早上擲和晚上擲，擲出任何一面的機率都是六分之一。當然這樣的假設不一定永遠成立，例如GPS定位，一般而言晚上作實驗定位誤差會比早上作實驗來的小。

以數學的方式來描述穩態特性，假設$X(t+1), X(t+2), ..., X(t+n)$為隨機程序$X$在$n$個時間點上的採樣，其聯合機率密度函數為$f(X(t+1), X(t+2),..., X(t+n))$，則$X(t)$為stationary的條件為：

\[f(X(t+1), X(t+2),..., X(t+n)) \\ \,\,\,\,\,\,\,\, = f(X(t+1+k), X(t+2+k),..., X(t+n+k)) \\ \,\,\,\, \mbox{對所有的$k$均成立 (Equation 1)} \]
(PS: 這樣的寫法並不十分正確，此處僅希望說明stationary的概念，我們就先不管數學嚴不嚴僅吧！)

也就是說，隨機程序的聯合機率密度函數不會隨著時間改變。在線性系統理論中，這有點類似非時變 (time-invariant) 的概念，不過對於一個隨機的東西，稱它是非時變好像有點奇怪，因此比較好的名稱可以說它是shift-invariant。不過，stationary random process跟線性非時變 (Linear Time-Invariant, LTI) 系統有密切的關係：一個高斯白雜訊通過一個線性非時變系統，其輸出必為一個stationary random process。

Equation 1這樣的條件，看起來似乎沒什麼問題，但實際上確不怎麼好用。機率密度函數可以完整描述一個隨機變數，但是實際上並不容易求得隨機變數的機率密度函數，更重要的是在工程應用上，大部份的情況下我們並不需要知道隨機變數或者隨機程序完整的機率密度函數，通常我們僅需要知道它的一階以及二階統計特性 (first- and second-order moment)，亦即所謂的期望值與變異量 (或者叫做協方差)。這就好像電子學裡面的小訊號模型，當系統的交流信號值很小時，我們僅需考慮系統的一階微分項，此時系統的輸入與輸出的關係僅是一個單純的線性映射，這個線性映射就是Two-Port Network，也就是小信號模型。再回到隨機程序的問題，shift-invariant的性質，在一階以及二階統計特性所體現出來的事實就是，期望值必須為常數，以及自相關函數 (autocorrelation) 必須僅與時間差有關 (shift-invariant在三階以上的moment所體現出來的特性則較少在文獻上討論)。這就衍伸出wide-sense stationary (WSS) 的概念，我們稱滿足 (1) 期望值為常數 (2) 自相關函數僅與時間差有關 這兩個特性的隨機程序為 WSS隨機程序。有時為了區分，我們會稱前面介紹的stationary性質為strict-sense stationary (SSS)。很明顯的SSS隨機程序必為WSS隨機程序，反之則未必成立。

這邊需要澄清一下，WSS僅需滿足上面(1)(2)的性質，因此其三階以上統計特性shift-invariant的性質未必滿足。同時，(1)(2)兩個性質是shift-invariant所造成的結果，(1)和(2)之間未必存在因果關係，換句話說，期望值為常數未必自相關函數就會僅與時間差有關，反之，自相關函數僅與時間差有關，未必期望值就會是常數。

接下來我想談一下Wiener Filter以及Kalman Filter的一些觀念。(待續)