Gram-Schmidt正交化與傅立葉轉換之間的關係

正交化是內積空間上的核心觀念，假設有一組獨立的向量集合，則可利用Gram-Schmidt正交化過程，從這組獨立集，造出一組正交集(orthogonal set)以及單範正交集(orthonormal set)。由此方法可推出矩陣的兩種類型QR分解，Gram-Schmidt正交化概念，與傅立葉轉換兩者之間有密不可分的關係。

定理1. (Fourier Coefficient)
設$S=\{\mathbf{v}_1,\mathbf{v}_2,..., \mathbf{v}_k\}$為內積空間$\mathcal{V}$之非零向量正交集，且$\mathbf{v}\in\mbox{span}(S)$。若$\mathbf{v}=\sum^k_{i=1}\alpha_i\mathbf{v}_i$，則
\[\alpha_j = \frac{<\mathbf{v},\mathbf{v}_j>}{\Vert\mathbf{v}_j\Vert^2},\;\;\;\;\mbox{for all }j=1,2,..., k.\]
$\alpha_i$稱為傅立葉係數(Fourier Coefficient)。

定理2.(Gram-Schmidt Orthogonalization Process)
已知$S=\{\mathbf{v}_1,\mathbf{v}_2,..., \mathbf{v}_k\}$為內積空間$\mathcal{V}$之獨立集，則令
\[\begin{array}{rcl}
\mathbf{u}_1 & = & \mathbf{v}_1, \\
\mathbf{u}_2 & = & \mathbf{v}_2 - \frac{<\mathbf{v}_2,\mathbf{u}_1>}{<\mathbf{u}_1,\mathbf{u}_1>}\mathbf{u}_1, \\
\vdots & & \vdots \\
\mathbf{u}_k & = & \mathbf{v}_k - \sum^{k-1}_{i=1} \frac{<\mathbf{v}_k,\mathbf{u}_i>}{<\mathbf{u}_i,\mathbf{u}_i>}\mathbf{u}_i,
\end{array}\]
則$S'=\{\mathbf{u}_1,\mathbf{u}_2,..., \mathbf{u}_k\}$形成非零向量正交集。

假設$S=\{\mathbf{v}_1,\mathbf{v}_2,..., \mathbf{v}_n\}$為內積空間$\mathcal{V}$的一組基底，則可以利用定理2，造出一組正交基底$S'=\{\mathbf{u}_1,\mathbf{u}_2,..., \mathbf{u}_n\}$。依據基底的定義，對於$\mathcal{V}$上的任意向量$\mathbf{v}$，皆可以表示成$\mathbf{v}=\sum^n_{i=1}\alpha_i\mathbf{u}_i$，且
\[\alpha_j = \frac{<\mathbf{v},\mathbf{u}_j>}{\Vert\mathbf{u}_j\Vert^2},\;\;\;\;\mbox{for all }j=1,2,..., n.\]
$\alpha_j$稱為傅立葉係數，實際上就是向量$\mathbf{v}$在基底$\mathbf{u}_j$上的分量大小。現在，我們將這個概念，推廣到訊號空間上。在繼續之前，需要先說明一下向量空間維度的概念。$\mathbb{R}^n$空間的維度為$n$，所代表的意思就是說我們只需要$n$個線性獨立的向量即可完整描述$\mathbb{R}^n$空間，也就是說$\mathbb{R}^n$空間中的任一個向量，都可以用這$n$個向量的線性組合來表示。那麼，訊號空間的維度是多少呢？從線性代數的理論可以證明，訊號空間的維度是無窮大，因此我們需要無限多個基底才能完整描述訊號空間中的任意"向量"(意即信號)。若基底的個數為有限，則僅能以近似的方式表示訊號空間中的向量。

假設$\phi_1(t), \phi_2(t),..., \phi_N(t)$為訊號空間中的一組正交向量，