內積空間

定義：設$(\mathbb{V}, \mathbb{F})$是一個向量空間，$\mathbb{V}$上的內積 (inner product) 是一個函數，記做$\bracket{\cdot}{\cdot}: \mathbb{V}\times\mathbb{V}\rightarrow \mathbb{F}$，且對所有的$\ket{\alpha}, \ket{\beta}, \ket{\gamma}\in\mathbb{V}$，滿足

1. $\bracket{\alpha +\beta}{\gamma} = \bracket{\alpha}{\gamma} + \bracket{\beta}{\gamma}.$
2. $\bracket{a\alpha}{\beta} = a\bracket{\alpha}{\beta}.$
3. $\bracket{\alpha}{\beta} = \bracket{\beta}{\alpha}^*.$ (其中，'*'表示共軛複數。)
4. 若$\ket{\alpha}\ne\ket{0}$，則$\bracket{\alpha}{\alpha} > 0$。

一個具有內積函數的向量空間，稱為內積空間 (inner product space)。

定義：考慮一個內積空間$\mathbb{V}$，若$\bracket{\alpha}{\beta}=0$，則稱此二向量為正交 (orthogonal)。

定義：假設$\mathbb{V}$是一個內積空間，定義$\Vert\alpha\Vert = \sqrt{\bracket{\alpha}{\alpha}}$為$\ket{\alpha}$的長度或範數 (norm)，範數為1的向量稱為單位向量 (unit vector)。

定義：一組基底中，若所有向量的長度皆為1，且兩兩正交，則稱該基底為單範正交基底 (orthonormal basis)。

考慮一個向量空間$\mathbb{V}$，假設$\mathcal{B} = \{\ket{1}, \ket{2}, ..., \ket{n}\}$是$\mathbb{V}$的一組基底，則任意的向量$\ket{\alpha}$, $\ket{\beta}$可以表示為：
\[\ket{\alpha} = \sum_i a_i\ket{i} \]
\[\ket{\beta} = \sum_j b_j\ket{j} \]
由內積的性質可知：
\[ \bracket{\alpha}{\beta} = \sum_i\sum_j a_i^* b_j\bracket{i}{j} \]
若欲進一步推導，則需要知道如何計算$\bracket{i}{j}$。一般而言$\ket{i}$, $\ket{j}$不一定正交，但依據Gram-Schmidt定理，我們一定可以由$\mathcal{B}$造出一組正交基底。

定理：(Gram-Schmidt Orthogonalization Process) 給定一組線性獨立的向量，則必定可以經過適當的線性組合，得到一組單範正交的集合。

我們將在稍後證明上述定理 (應該會吧！)，現在先將其視位正確的，則不失一般性，我們可以假設前述的基底是單範正交基底，亦即
\[\bracket{i}{j} = \delta_{ij} = \left\{\begin{array}{l} 1,\,\,\,\, i=j \\ 0,\,\,\,\, i\ne j\end{array}\right. \]
其中$\delta_{ij}$稱為Kronecker Delta。將此結果代入前一個方程式，可得
\[ \bracket{\alpha}{\beta} = \sum_i a_i^*b_j \]
本文前面曾經提到，當選定基底$\mathcal{B}$時，$\ket{\alpha}$的座標向量可以唯一決定，亦即在此基底之下，$\ket{\alpha}$可以等效地以行向量 (column vector) 來表示：
\[\ket{\alpha}\rightarrow \left[\begin{array}{c} a_1 \\ a_2 \\ \vdots \\ a_n \end{array}\right]  \]
同理，$\ket{\beta}$可以表示為：
\[\ket{\beta}\rightarrow \left[\begin{array}{c} b_1 \\ b_2 \\ \vdots \\ b_n \end{array}\right]  \]
如此一來，內積$\bracket{\alpha}{\beta}$可以等效地寫為$\ket{\alpha}$的行座標向量之共軛轉置與$\ket{\beta}$之行座標向量的矩陣乘積，亦即
\[\bracket{\alpha}{\beta} = [a_1^*,\, a_2^*,\ldots, a_n^*]\left[\begin{array}{c} b_1 \\ b_2 \\ \vdots \\ b_n \end{array}\right] \]
上述的過程可以視為是將抽象的ket-vector，"具體化"成一個$\mathbb{R}^n$空間中的行向量。這個過程也可以反轉過來，想成是將一個行向量，"抽象化"變成一個ket-vector。同樣的道理，我們也可以將每一個列向量 (row vector)，例如上面的$[a_1^*,\, a_2^*,\ldots, a_n^*]$，抽象化成一個"物件"，Paul Dirac稱這個"物件"為bra-vector (出現了！)，並記做$\bra{\alpha}$。也可以等效地想成是將ket-vector $\ket{\alpha}$取其共軛轉置之後，得到bra-vector $\bra{\alpha}$。所以實際上我們有兩個空間，一個是由ket-vector組成，也就是原本的向量空間$\mathbb{V}$，另一個空間是由bra-vector所組成，稱為對偶空間 (dual space)，內積實際上是bras與kets之間的數學運算。可以找到一組向量$\ket{i}$形成kets空間的基底，同樣也可以找到另一組向量$\bra{i}$，形成bras空間的基底。

向量空間

向量空間

定義：向量空間係由兩個集合組成，其中一個集合是由向量 (vectors) $\mathbb{V} = \{\ket{\alpha}, \ket{\beta}, \ket{\gamma},... \}$ 組成，另一個集合是由純量 (scalars) $\mathbb{F} = \{a, b, c, ... \}$ (在量子力學中，通常是複數) 構成。以及兩個二元運算，分別稱為向量加法 (vector addition) 以及純量乘法 (scalar multiplication)，這兩個集合在這兩種運算之下，具備封閉性，且必須滿足下列性質：

向量加法

1. 任意兩個向量相加，得到另一個向量 ：

\[ \ket{\alpha} + \ket{\beta} = \ket{\gamma} \]

2. 向量加法具備交換性 (commutative)：

\[ \ket{\alpha} + \ket{\beta} = \ket{\beta} + \ket{\alpha} \]

3. 向量加法具備結合性 (associative)：

\[\ket{\alpha} + (\ket{\beta} + \ket{\gamma}) = (\ket{\alpha} + \ket{\beta}) + \ket{\gamma} \] 

4. 存在一個向量$\ket{0}$，稱為零向量 (zero or null vector)，滿足下列性質： 

\[ \ket{\alpha} + \ket{0} = \ket{\alpha}, \,\,\,\,\forall\ket{\alpha}\in\mathbb{V} \] 

5. 對$\mathbb{V}$中的每一個向量$\ket{\alpha}$，皆存在一個對應的加法反元數 $\ket{-\alpha}$，使得

\[ \ket{\alpha} + \ket{-\alpha} = \ket{0} \] 

純量乘法

 6. 純量與向量相乘之後，得到另一個向量：

\[ a\ket{\alpha} = \ket{\gamma} \]

7.  純量乘法相對於向量加法，具備分配性 (distributive)：

\[a(\ket{\alpha} + \ket{\beta}) = a\ket{\alpha} + a\ket{\beta} \]

8. 純量加法對純量乘法具備分配性：

\[ (a+b)\ket{\alpha} = a\ket{\alpha}+b\ket{\alpha} \]

9. 一般的乘法與純量乘法具備結合性：

\[ a(b\ket{\alpha}) = (ab)\ket{\alpha} \]

10. 在$\mathbb{F}$中存在一個元素$1$，使得

\[ 1\ket{\alpha} = \ket{\alpha} \]

稱為乘法的單位元素。 

上述這種向量符號，是Paul Dirac發明的，通常也稱為ket  vector，之後會用到另一種向量$\bra{\alpha}$，稱為bra vector (不是那個bra，只是拼法剛好一樣)。需要注意的是，在這種表示方法中，$\alpha$只是一個符號，不是一個數值。舉例來說，$\ket{1}$這個表示方法中，$1$並不是代表數值，他只是一個符號，這個向量的值不一定是$1$。

線性組合、線性相依與線性獨立

定義：假設有一組向量$S=\{\ket{\alpha}, \ket{\beta}, \ket{\gamma}, ... \}$，以及一組純量$\{a, b, c, ... \}$，則
\[ a\ket{\alpha} + b\ket{\beta} +c\ket{\gamma} + \cdots \]
稱為S的一種線性組合 (linear combination)。

定義：若找得到一組不全為零的係數$\{a, b, c, ... \}$，使得
\[ a\ket{\alpha} + b\ket{\beta} +c\ket{\gamma} + \cdots = \ket{0} \]
則稱$S$為線性相依 (linearly dependent)，反之則稱為線性獨立 (linearly independent)。

線性獨立有另一種等效的說法，亦即：若$a\ket{\alpha} + b\ket{\beta} +c\ket{\gamma} + \cdots = \ket{0} $，則此式成立的唯一解是係數全為零的解，$a=b=c=\cdots = 0$。

定義：若向量空間$\mathbb{V}$中的每一個向量，皆可以寫成$S$的線性組合，則稱$S$生成$\mathbb{V}$，記作span$(S)$=$\mathbb{V}$。若該集合$S$又同時為線性獨立集，則$S$為向量空間的一個基底 (basis)，基底這個集合中的向量個數，稱為$\mathbb{V}$的維度 (dimension)，記作dim$\mathbb{V}$。

假設$\mathbb{V}$的維度為$n$，選擇一組適當的基底$\mathcal{B} = \{\ket{e_1}, \ket{e_2},..., \ket{e_n}\}$，則空間中的任一個向量$\ket{\alpha}$可以唯一地表示為
\[\ket{\alpha} = a_1\ket{e_1} + a_2\ket{e_2} + \cdots + a_n\ket{e_n} \]
其中
\[ (a_1, a_2,..., a_n) = \left[\begin{array}{c} a_1 \\ a_2 \\ \vdots \\ a_n \end{array}\right] \]
稱為$\ket{\alpha}$相對於基底$\mathcal{B}$之座標向量 (coordinate vector)，當$\mathcal{B}$選定時，座標向量是唯一的。

Problem：試證明座標向量為唯一。
證明：假設
\[\ket{\alpha} = a_1\ket{e_1} + a_2\ket{e_2} + \cdots + a_n\ket{e_n},\]
且
\[\ket{\alpha} = b_1\ket{e_1} + b_2\ket{e_2} + \cdots + b_n\ket{e_n}.\]
兩式相減可得：
\[\ket{0} = (a_1-b_1)\ket{e_1} + (a_2 - b_2)\ket{e_2} + \cdots + (a_n - b_n)\ket{e_n} \]
若其中某一項係數不為零，例如$a_j \ne b_j$，可將上式同除以$a_j - b_j$並移項之後可得：
\[\ket{e_j} = -\frac{(a_1 - b_1)}{(a_j - b_j)}\ket{e_1} - \frac{(a_2 - b_2)}{(a_j - b_j)}\ket{e_2} - \cdots - \frac{(a_n - b_n)}{(a_j - b_j)}\ket{e_n} \]
此式意味$\ket{e_j}$可以表示為其他$(n-1)$個向量的線性組合，所以$\mathcal{B}$不為基底，此與問題假設矛盾，因此可知所有分量必須相等$a_1 = b_1$, $a_2 = b_3$,..., $a_n = b_n$，亦即座標向量是唯一的。

Exercises

線性代數

1. 對任意的$n\times n$矩陣，皆可以找到$n$個特徵值。(True or False)

2. 求下列$\mathbb{R}^3$空間基底之對偶基底(dual basis)：(a) {(1, 0, 0), (0, 1, 0), (0, 0, 1)} (b) {(1, -2, 3), (1, -1, 1), (2, -4, 7)}.

3. 令$\phi$表示$\mathbf{R}^2$的線性泛函(linear functional)，定義為$\phi(x, y) = x - 2y$。若$T$為下列在$\mathbf{R}^2$上的線性映射，試求$(T^t(\phi))(x, y)$，其中$T^t$表示transpose map(有些書寫為$T^*$)：(a)$T(x, y) = (x, 0)$, (b)$T(x, y) = (y, x+y)$, (c) $T(x, y) = (2x-3y, 5x+2y)$。

4. 令$W$為$\mathbb{R}^4$的子空間，$W=span\{(1, 2, -3, 4), (1, 3, -2, 6), (1, 4, -1, 8)\}$。求$W$的零化集(annihilator)之一組基底。

5. 若$\mathbf{A}$為實對稱正定矩陣，試證明$\mathbf{A}=\mathbf{P}^t\mathbf{P}$，其中$\mathbf{P}$是一個非奇異矩陣。

6. 求$\mathbf{A}$的奇異值分解，其中
\[
\mathbf{A} = \left[\begin{array}{rrr}
 1 & 2 &3 \\
 4 & -2 & -1
\end{array}\right]
\]

7. $\mathbf{A}$是一個regular Markov matrix (每一列加起來皆等於1)
\[
\mathbf{A} = \left[\begin{array}{rrr}
 0.4 & 0.2 & 0.2 \\
 0.1 & 0.7 & 0.2 \\
 0.5 & 0.1 &0.6
\end{array}\right]
\]
求 (a) $\lim_{k\rightarrow\infty}\mathbf{A}^k$ = ? (b) 求$\mathbf{A}$的穩定機率向量(亦即求$\mathbf{p}$，使得$\mathbf{Ap}=\mathbf{p}$)。(思考：這樣的矩陣在通訊上有何用途？什麼條件下穩定機率向量才存在？有什麼用處？)

矩陣函數

假設$\mathbf{A}$是一個$3\times 3$矩陣(為了方便說明，以$3\times 3$為例，實際上任意的方陣皆可)，$f(x)=a_0 + a_1x+\cdots+a_nx^n$是一個$n$階多項式。則矩陣函數$f(\mathbf{A}$定義為：
\[
f(\mathbf{A}) = a_0\mathbf{I} + a_1\mathbf{A}+\cdots+a_n\mathbf{A}^n
\]
簡而言之，就是將$x$以矩陣$\mathbf{A}$代換，注意此時常數項變成$a_0\mathbf{I}$，$\mathbf{I}$是單位矩陣。一般而言，直接將$\mathbf{A}$帶入計算，不是一個很好的方法，如果$\mathbf{A}$矩陣可以對角化，可以利用下述方法處理。若$\mathbf{A}$可對角化，則存在可逆矩陣$\mathbf{Q}$，使得$\mathbf{A}=\mathbf{QD}\mathbf{Q}^{-1}$，其中$\mathbf{D}$為對角矩陣
\[
\mathbf{D}=\left[\begin{array}{ccc} \lambda_1 & 0 & 0 \\ 0 & \lambda_2 & 0 \\ 0 & 0 & \lambda_3 \end{array}\right]
\]
$\lambda_1$、$\lambda_2$以及$\lambda_3$為$\mathbf{A}$的特徵值。將$\mathbf{A}$帶入$f(x)$之中，不難發現
\[
f(\mathbf{A}) = \mathbf{Q}f(\mathbf{D})\mathbf{Q}^{-1}. \hspace{2cm} (1)
\]
而由於$\mathbf{D}$為對角矩陣，經過計算可以發現
\[
f(\mathbf{D}) = \left[\begin{array}{ccc} f(\lambda_1) & 0 & 0 \\ 0 & f(\lambda_2) & 0 \\ 0 & 0 & f(\lambda_3) \end{array}\right].
\]
將上式帶回(1)式中，即可求得$f(\mathbf{A})$，計算已經大幅簡化。

若$f(x)$不為多項式，上述的方法不一定適用，而且除了幾個特殊的函數以外，通常不會成立。其中的一個特殊函數，而且在電機通訊領域常用的函數，也就是指數函數$f(x)=e^x$，也可以用上述的步驟來計算，而且在大學的線性代數，幾乎大概可能說不定或許絕對應該是多半或許考試一定會考。$e^x$在原點附近的泰勒展開式可以寫為
\[
e^x = \sum_{n=-\infty}^{\infty}\frac{x^n}{n!}
\]
可以想成是一個無窮多階的多項式。令$f(x)=e^x$帶入(1)式之後可得
\[
f(\mathbf{A}) = \mathbf{Q}f(\mathbf{D})\mathbf{Q}^{-1}
                           =  \mathbf{Q}\sum_{n=-\infty}^{\infty}\frac{\mathbf{D}^n}{n!}\mathbf{Q}^{-1}
\]
同樣地，因為$\mathbf{D}$是對角矩陣，上式變成
\[
f(\mathbf{A}) = \mathbf{Q}\left[\begin{array}{ccc} e^{\lambda_1} & 0 & 0 \\ 0 & e^{\lambda_2} & 0 \\ 0 & 0 & e^{\lambda_3} \end{array}\right]\mathbf{Q}^{-1}.
\]

線性代數是什麼？

線性代數和微積分應該可以說是一切數學的基礎，而由於數學在理工科系中佔有舉足輕重的地位，因此線性代數與微積分也成了多數理工科系的基礎課程。大多數同學大概都知道微積分在討論的是什麼，可是線性代數咧，線性代數到底是什麼？除了它的英文發音聽起來很像是在罵人之外。

我們其實從小學就開始在學"代數"，例如整數、實數以及多項式等的四則運算，這些都屬於代數的範疇。從比較不專業的角度來看，只要是與數字的四則運算有關的數學，都可以説是"代數"。另一方面，有學過線性代數的同學應該知道，在線性代數中，一個重要的概念就是向量空間。這些東西湊在一起，可以説線性代數討論的就是向量空間裏面，向量的四則運算。這樣的定義還是有點籠統，或許可以從"稍微"數學一點的角度來定義"線性代數"。

數學上，通常將想要討論的對象收集起來，形成一個集合(Set)，再搭配適當定義的二元運算(Binary Operation)，即構成一個代數系統，可以說是一個具備特殊結構的集合。代數系統中，二元運算是一個重要的工具，我們先來看看如何定義二元運算。

定義1：假設$S$是一個非空集合，$S$上的一個二元運算 $\ast : S\times S\rightarrow S$ 是一個函數，其定義域為$S\times S$，值域為$S$，且$\ast$滿足：
\[ a\ast b\in S, \,\,\,\,\, \forall a, b \in S\]
亦即二元運算具備封閉性。

從上述定義，不難發現其實我們小時候學的加法、乘法就是一種二元運算。一個集合，搭配一個合法的二元運算，就構成一個代數系統 (algebraic systems)，或者稱為代數結構 (algebraic structure)。

定義2：令$S$為一個非空集合，$\ast$是$S$上的一個二元運算，則稱$(S, \ast )$為一個代數系統或者代數結構。

若進一步地，該二元運算除了封閉性之外又滿足其他更多的性質，則賦予該代數結構不同的名稱。

定義3：令$S$為一個非空集合，$\ast$是$S$上的一個具有封閉性的二元運算。
(1) 若$\ast$具備結合性 (associative)，亦即
\[a\ast (b\ast c) = (a\ast b)\ast c, \,\,\,\, \forall a, b, c\in S\]
則稱$(S,\ast )$為半群 (semigroup)。

(2) 若$\ast$具備結合性以及單位元素性，亦即

• (結合性) $a\ast (b\ast c) = (a\ast b)\ast c,$ $\forall a, b, c\in S$。且，
• (單位元素性) 對所有的$a\in S$，存在一個元素$e\in S$，使得$a\ast e = e\ast a = a$。(此時稱$e$為$(S, \ast )$的單位元素。)

則稱$(S,\ast )$為單群 (monoid)。

(3) 若$\ast$具備結合性、單位元素性以及反元素性，亦即

• (結合性) $a\ast (b\ast c) = (a\ast b)\ast c,$ $\forall a, b, c\in S$。且，
• (單位元素性) 對所有的$a\in S$，存在一個元素$e\in S$，使得$a\ast e = e\ast a = a$。以及，
• (反元素性) 對任意的$a\in S$，存在$a'\in S$，使得$a\ast a' = a'\ast a = e$。(此時稱$S$具有反元素性，且稱$a'$為$a$的反元素。)

則稱$(S,\ast )$為群 (group)。

另一個重要的性質稱為交換性 (commutative)，定義如下。

定義4：集合$S$上的二元運算$\ast$，若對所有的$a, b\in S$，滿足$a\ast b = b\ast a$，則稱$\ast$具備交換性。

一般而言，半群、單群或者群不一定具備交換性。若確實具備交換性，則分別稱為交換半群，交換單群以及交換群。

群可以說是最基本的代數結構，由群可以再延伸出各種更複雜的代數結構。群僅與一個二元運算有關，接下來我們要介紹更複雜的代數系統，稱為環 (ring)，則是與兩個二元運算有關。這裡我們以$\ast$，以及$+$來表示這兩個二元運算，可以稱$\ast$為乘法運算，以及$+$為加法運算。

定義5：考慮一個非空集合$S$以及兩個二元運算$+$，以及$\ast$，分別稱為加法以及乘法運算。若$(S, +, \ast)$滿足：

1. $(S, +)$為交換群；
2. $(S, \ast)$為半群；
3. $\ast$ 對 $+$ 具備分配性 (distributive)，亦即對所有的$a, b, c\in S$，滿足$a\ast (b+c) = (a\ast b) + (a\ast c)$，且$(a+b)\ast c = (a\ast c)+(b\ast c)$。

則稱$(S, +, \ast )$為環。進一步地，若$\ast$也具備交換性，則稱為交換環。

由於$(S, +)$為交換群，因此具備加法單位元素以及反元素，加法單位元素記為$0$，對任意的$a\in S$，其加法反元素記作$-a$。接下來，介紹另一種結構，稱為體 (field)，我們會用到一個符號，記作$S\backslash \{ 0 \}$，表示$S$集合中，排除掉$0$這個元素。

定義6：考慮一個非空集合$S$以及兩個二元運算$+$，以及$\ast$，分別稱為加法以及乘法運算。若$(S, +, \ast)$滿足：

1. $(S, +)$為交換群；
2. $(S\backslash\{ 0\}, \ast)$為交換群，$0$為加法單位元素；
3. $\ast$ 對 $+$ 具備分配性 (distributive)，亦即對所有的$a, b, c\in S$，滿足$a\ast (b+c) = (a\ast b) + (a\ast c)$，且$(a+b)\ast c = (a\ast c)+(b\ast c)$。

則稱$(S, +, \ast )$為體。

若我們將$+$，$\ast$定義唯一般的加法與乘法，不難發現，$(\mathbb{R}, +, \ast )$以及$(\mathbb{C}, +, \ast )$都是體，這兩個也是在數學上最常用的體。(註：$\mathbb{R}$, $\mathbb{C}$分別代表所有實數以及所有複數所形成的集合。)

接下來，我們來看向量空間 (vector space)，這也是在線性代數中，最重要的一種代數結構。在向量空間中，我們討論的對象進一步變成兩個集合，以及兩個二元運算。

定義7：考慮兩個非空集合$\mathbb{F}$， $V$，以及兩個二元運算，$+: V\times V\rightarrow V$，$\bullet :\mathbb{F}\times V\rightarrow V$；其中，$\mathbb{F}$為一體，$\mathbb{F}$中的元素稱為純量 (scalar)，$V$中的元素稱為向量(vector)，$+$稱為向量加法 (vector addition)，$\bullet$稱為純量積 (scalar multiplication)。向量加法與純量積具備封閉性，亦即對任意的$\mathbf{u}, \mathbf{v}\in V$，存在唯一的向量$\mathbf{u}+\mathbf{v}\in V$，以及對任意的$\alpha\in\mathbb{F}$與任意的$\mathbf{v}\in V$，存在唯一的向量$\alpha\bullet\mathbf{v}$(通常亦簡記為$\alpha\mathbf{v}$) $\in
V$。若$(V, +, \bullet)$滿足下列八個性質，則稱$(V, +, \bullet)$為佈於$\mathbb{F}$上的一個向量空間 ($V$ is a vector space over $\mathbb{F}$)，或者也稱為線性空間。

1. 對所有的$\mathbf{u}, \mathbf{v}\in V$，恆有$\mathbf{u}+\mathbf{v} = \mathbf{v}+\mathbf{u}$。
2. 對任意的$\mathbf{u}, \mathbf{v}, \mathbf{w}\in V$，恆有$(\mathbf{u}+\mathbf{v})+\mathbf{w}=\mathbf{u}+(\mathbf{v}+\mathbf{w})$。
3. 存在一個向量$\mathbf{0}\in V$，使得對所有的$\mathbf{v}\in V$，恆有$\mathbf{v}+ \mathbf{0} = \mathbf{0}+\mathbf{v} = \mathbf{v}$。此時稱$\mathbf{0}$為$V$中的零向量。
4. 對任意的$\mathbf{v}\in V$，存在$\mathbf{x}\in V$，使得$\mathbf{v}+\mathbf{x} = \mathbf{x} + \mathbf{v} = \mathbf{0}$。此時稱$\mathbf{x}$為$\mathbf{v}$的加法反元素，記作$-\mathbf{v}$。
5. 對任意的$\alpha\in\mathbb{F}$，以及所有的$\mathbf{u}, \mathbf{v}\in V$，恆有$\alpha (\mathbf{u}+\mathbf{v}) = \alpha\mathbf{u}+\alpha\mathbf{v}$。
6. 對任意的$\alpha, \beta\in\mathbb{F}$，以及任意的$\mathbf{v}\in V$，恆有$(\alpha + \beta)\mathbf{v} = \alpha\mathbf{v} + \beta\mathbf{v}$。
7. 對任意的$\alpha, \beta\in\mathbb{F}$，以及任意的$\mathbf{v}\in V$，恆有$(\alpha\beta)\mathbf{v} = \alpha (\beta\mathbf{v})$。
8. 對每一個$\mathbf{v}\in V$，$1\bullet\mathbf{v} = 1\mathbf{v} = \mathbf{v}$，其中$1$為$\mathbb{F}$的乘法單位元素。

與前面的群結構比較之下，可以發現事實上$(V, +)$係一個滿足向量加法的交換群。這邊要特別注意，純量積與前面定義的環裡面的乘法運算不同。環裡面的乘法運算，兩個運算元都是取自同一個集合$S$，而向量空間裡面的純量積，運算元分別取自兩個不同的集合$\mathbb{F}$和$V$。這時候，或許讀者會發現一個問題：我是不是可以再定義一個向量乘法運算，使得$V$變成一個環呢？答案是肯定的，這時候$V$就變成一個"Algebra"也就是代數。換句話說，一個向量空間若同時又具備環的結構，就稱為一個代數。

定義8：假設$\mathbb{F}$為一體，$V$為非空集合，$+$以及$\ast$為$V$上的兩個二元運算，分別稱為向量加法以及向量乘法，$\bullet :\mathbb{F}\times V\rightarrow V$為純量積。若

1. $(V, +, \ast )$為環；
2. $(V, +, \bullet )$為佈於$\mathbb{F}$上的向量空間；
3. 對任意的$\alpha\in\mathbb{F}$，以及任意的$\mathbf{u}, \mathbf{v}\in V$，恆有$\alpha (\mathbf{u}\ast\mathbf{v})$ = $(\alpha\mathbf{u})\ast\mathbf{v}$ = $ \mathbf{u}\ast(\alpha\mathbf{v})$。

則稱$(V, +, \ast , \bullet )$為佈於$\mathbb{F}$上的線性代數，或者簡稱為代數。

瞭解代數系統的含義之後，我們來看幾個在線性代數的書中，常用到的algebra。

範例1：令$\mathbb{R}^{n\times n}$表示所有$n\times n$的實數矩陣所形成的集合，若定義$+$, $\ast$分別為矩陣的一般加法與乘法，且定義$\bullet$為矩陣與實數的純量積。則$(\mathbb{R}^{n\times n}, +, \ast, \bullet)$為一個線性代數。

範例2：令$\mathcal{L}(\mathbb{F}^n)$表示所有從$\mathbb{F}^n$映射至$\mathbb{F}^n$的線性映射所形成的集合。定義$+$, $\circ$兩個二元運算如下：
\[ (T+U)(\mathbf{v}) := T(\mathbf{v}) + U(\mathbf{v}), \,\,\, \forall T, U\in \mathcal{L}(\mathbb{F}^n), \forall \mathbf{v}\in\mathbb{F}^n, \\
(T\circ U)(\mathbf{v}) := T(U(\mathbf{v})), \,\,\, \forall T, U\in \mathcal{L}(\mathbb{F}^n), \forall \mathbf{v}\in\mathbb{F}^n.  \]
且定義純量積$\bullet$為：
\[ (\alpha\bullet T)(\mathbf{v}) := \alpha T(\mathbf{v}), \,\,\, \forall T \in \mathcal{L}, \forall \alpha\in\mathbb{F}. \]
則$(\mathcal{L}(\mathbb{F}^n), +, \circ , \bullet )$構成一個線性代數。

大學一年級的線性代數課程，討論的就是矩陣以及線性映射這兩個線性代數。(這句話的結構很像"新阿姆斯特朗旋風噴射阿姆斯特朗砲")


寫的不是很專業，請各位讀者多多批評指教。

Gram-Schmidt正交化與傅立葉轉換之間的關係

正交化是內積空間上的核心觀念，假設有一組獨立的向量集合，則可利用Gram-Schmidt正交化過程，從這組獨立集，造出一組正交集(orthogonal set)以及單範正交集(orthonormal set)。由此方法可推出矩陣的兩種類型QR分解，Gram-Schmidt正交化概念，與傅立葉轉換兩者之間有密不可分的關係。

定理1. (Fourier Coefficient)
設$S=\{\mathbf{v}_1,\mathbf{v}_2,..., \mathbf{v}_k\}$為內積空間$\mathcal{V}$之非零向量正交集，且$\mathbf{v}\in\mbox{span}(S)$。若$\mathbf{v}=\sum^k_{i=1}\alpha_i\mathbf{v}_i$，則
\[\alpha_j = \frac{<\mathbf{v},\mathbf{v}_j>}{\Vert\mathbf{v}_j\Vert^2},\;\;\;\;\mbox{for all }j=1,2,..., k.\]
$\alpha_i$稱為傅立葉係數(Fourier Coefficient)。

定理2.(Gram-Schmidt Orthogonalization Process)
已知$S=\{\mathbf{v}_1,\mathbf{v}_2,..., \mathbf{v}_k\}$為內積空間$\mathcal{V}$之獨立集，則令
\[\begin{array}{rcl}
\mathbf{u}_1 & = & \mathbf{v}_1, \\
\mathbf{u}_2 & = & \mathbf{v}_2 - \frac{<\mathbf{v}_2,\mathbf{u}_1>}{<\mathbf{u}_1,\mathbf{u}_1>}\mathbf{u}_1, \\
\vdots & & \vdots \\
\mathbf{u}_k & = & \mathbf{v}_k - \sum^{k-1}_{i=1} \frac{<\mathbf{v}_k,\mathbf{u}_i>}{<\mathbf{u}_i,\mathbf{u}_i>}\mathbf{u}_i,
\end{array}\]
則$S'=\{\mathbf{u}_1,\mathbf{u}_2,..., \mathbf{u}_k\}$形成非零向量正交集。

假設$S=\{\mathbf{v}_1,\mathbf{v}_2,..., \mathbf{v}_n\}$為內積空間$\mathcal{V}$的一組基底，則可以利用定理2，造出一組正交基底$S'=\{\mathbf{u}_1,\mathbf{u}_2,..., \mathbf{u}_n\}$。依據基底的定義，對於$\mathcal{V}$上的任意向量$\mathbf{v}$，皆可以表示成$\mathbf{v}=\sum^n_{i=1}\alpha_i\mathbf{u}_i$，且
\[\alpha_j = \frac{<\mathbf{v},\mathbf{u}_j>}{\Vert\mathbf{u}_j\Vert^2},\;\;\;\;\mbox{for all }j=1,2,..., n.\]
$\alpha_j$稱為傅立葉係數，實際上就是向量$\mathbf{v}$在基底$\mathbf{u}_j$上的分量大小。現在，我們將這個概念，推廣到訊號空間上。在繼續之前，需要先說明一下向量空間維度的概念。$\mathbb{R}^n$空間的維度為$n$，所代表的意思就是說我們只需要$n$個線性獨立的向量即可完整描述$\mathbb{R}^n$空間，也就是說$\mathbb{R}^n$空間中的任一個向量，都可以用這$n$個向量的線性組合來表示。那麼，訊號空間的維度是多少呢？從線性代數的理論可以證明，訊號空間的維度是無窮大，因此我們需要無限多個基底才能完整描述訊號空間中的任意"向量"(意即信號)。若基底的個數為有限，則僅能以近似的方式表示訊號空間中的向量。

假設$\phi_1(t), \phi_2(t),..., \phi_N(t)$為訊號空間中的一組正交向量，