谱定理推导

正交单位向量

正交单位向量是指既正交又是单位向量的一组向量。其定义包含以下两个条件：

1. 单位向量条件

单位向量是长度为 1 的向量。对于一个向量 ( $\mathbf{v}$ )，满足：
$$\Vert \mathbf{v}\Vert =1\text{或}\sqrt{\mathbf{v}\cdot \mathbf{v}}=1,$$

其中 ( $\Vert \mathbf{v}\Vert$ ) 表示向量的范数，通常为欧几里得范数（2 范数）。

2. 正交条件

两向量正交是指它们的点积为 0。对于两个向量 ( \mathbf{u} ) 和 ( \mathbf{v} )，若：
$$\mathbf{u}\cdot \mathbf{v}=0,$$

则称 ( $\mathbf{u}$ ) 与 ( $\mathbf{v}$ ) 正交。

正交单位向量的定义

一组正交单位向量是一组长度为 1 且两两正交的向量集合。例如，向量 ( ${\mathbf{u}}_1,{\mathbf{u}}_2,\dots ,{\mathbf{u}}_n$ ) 是正交单位向量，当且仅当：

1. ( $\Vert {\mathbf{u}}_i\Vert =1,\forall i$ )（单位向量条件）。
2. ( ${\mathbf{u}}_i\cdot {\mathbf{u}}_j=0,\forall i\ne j$ )（正交条件）。

几何意义

在几何上，正交单位向量是相互垂直且标准化的向量。它们可以用来构造正交基。例如，在三维空间中：

• ( $\mathbf{i}=(1,0,0)$ ),
• ( $\mathbf{j}=(0,1,0)$ ),
• ( $\mathbf{k}=(0,0,1)$ ),

是一组正交单位向量。

应用

正交单位向量在数学和物理中有广泛应用：

1. 正交基：正交单位向量常用于构造正交基，用来简化向量表示和计算。
2. 正交矩阵：正交矩阵的列（或行）是一组正交单位向量。
3. 坐标系：如笛卡尔坐标系的标准基 ( $\mathbf{i},\mathbf{j},\mathbf{k}$ )。
4. 信号处理：正交单位向量用于分解信号成互不相关的分量。

矩阵的秩 (Rank of a Matrix)

矩阵的秩是描述矩阵行或列向量的线性无关性的一个重要量度。
设矩阵 ( $\mathbf{A}$ ) 的大小为 ( $m\times n$ )，秩 ( $\text{rank}(\mathbf{A}$) ) 是以下等价定义之一：

定义：

1. 线性无关的最大数目：
   • ( $\text{rank}(\mathbf{A})$ ) 是矩阵 ( $\mathbf{A}$ ) 的行向量或列向量中线性无关向量的最大数目。
2. 非零子式的最大阶：
   • ( $\text{rank}(\mathbf{A})$ ) 是矩阵 ( $\mathbf{A}$ ) 中非零子式的最大阶。
3. 高斯消元法：
   • ( $\text{rank}(\mathbf{A})$ ) 是矩阵 ($\mathbf{A}$ ) 经行变换后非零行的数目。

性质：

1. 行秩等于列秩：

   • 矩阵的行秩等于列秩。

2. 秩的范围：

   • 若 ( $\mathbf{A}$ ) 的大小为 ( $m\times n$ )，则：
     $$0\le \text{rank}(\mathbf{A})\le \min (m,n).$$

3. 满秩矩阵：

   • 若 ( $\text{rank}(\mathbf{A})=\min (m,n)$ )，则 ( $\mathbf{A}$ ) 为满秩矩阵。

4. 零矩阵的秩：

   • 零矩阵的秩为 0，因为它没有非零向量。

示例：

对于矩阵：
A = [ 1 2 3 4 5 6 7 8 9 ] , \mathbf{A} = \begin{bmatrix} 1 & 2 & 3 \\ 4 & 5 & 6 \\ 7 & 8 & 9 \end{bmatrix}, A= ​147​258​369​ ​,

• 其列向量是线性相关的（第三列可以由前两列线性表示）。

• 经过行变换得到：
  A ∼ [ 1 2 3 0 − 3 − 6 0 0 0 ] . \mathbf{A} \sim \begin{bmatrix} 1 & 2 & 3 \\ 0 & -3 & -6 \\ 0 & 0 & 0 \end{bmatrix}. A∼ ​100​2−30​3−60​ ​.

  非零行数为 2，因此 ( $\text{rank}(\mathbf{A})=2$ )。
  非零行数为 2，因此 ( $\text{rank}(\mathbf{A})=2$ )。

矩阵根和秩的联系

• 矩阵根的秩保持性：
  若 ( ${\mathbf{B}}^k=\mathbf{A}$ )，则 ( $\text{rank}(\mathbf{B})=\text{rank}(\mathbf{A})$ )。矩阵根不会改变矩阵的秩。
• 矩阵秩对可逆性的影响：
  若 ( $\text{rank}(\mathbf{A})=n$ ) 且 ( $\mathbf{A}\in {\mathbb{R}}^{n\times n}$ )，则 ( $\mathbf{A}$ ) 可逆，从而可能存在矩阵根。

矩阵的秩（rank）在几何上有以下主要意义：

1. 线性空间中的几何意义：

矩阵的秩表示矩阵的列向量（或行向量）能够张成的最大线性无关向量的个数。

• 列秩：矩阵列向量张成的列空间的维数，表示这些列向量在几何上可以构成一个几维空间。
• 行秩：矩阵行向量张成的行空间的维数，表示这些行向量在几何上可以构成一个几维空间。

根据 列秩等于行秩定理，矩阵的行秩和列秩总是相等，因此我们通常直接称为“矩阵的秩”。

2. 变换的几何意义：

矩阵可以看作一个线性变换，当该矩阵作用于一个向量空间时：

• 秩等于变换后空间的维数：矩阵将原空间中的向量映射到一个新的空间，这个新空间的维数就是矩阵的秩。
• 如果矩阵的秩是 $r$，说明变换后空间是 $r$ 维。

例如，假设矩阵 $A\in {\mathbb{R}}^{m\times n}$：

• 若 $\text{rank}(A)=n$，表示 $A$ 的列向量是线性无关的，矩阵的列张成了整个 ${\mathbb{R}}^n$。
• 若 $\text{rank}(A)<n$，则存在部分列向量是线性相关的，变换会导致维数降低。

3. 矩阵表示系统的自由度：

对于线性方程组 $A\mathbf{x}=\mathbf{b}$，矩阵 $A$ 的秩揭示了系统解的自由度：

• $\text{rank}(A)=n$（列满秩）：系统有唯一解。
• $\text{rank}(A)<n$：系统可能无解（矛盾）或有无穷多解（欠约束）。

这对应几何上线性方程组解的空间维数。

4. 列向量的线性相关性：

矩阵秩反映了列向量之间的线性相关性：

• 若 $\text{rank}(A)=n$，列向量线性无关。
• 若 $\text{rank}(A)<n$，说明列向量线性相关。

例如，对于 $3\times 3$ 矩阵：

• 如果 $\text{rank}(A)=3$，表示列向量能够构成 ${\mathbb{R}}^3$ 空间的基。
• 如果 $\text{rank}(A)=2$，表示列向量只能张成一个二维平面。

5. 矩阵的秩与几何对象：

在应用中，矩阵的秩也经常用于描述几何对象的维度。例如：

• 图像处理：秩反映图像的结构复杂度，例如低秩矩阵常被用来表示压缩后的图像。
• 机器学习：核矩阵的秩与特征的有效维数相关。

总结：

矩阵的秩在几何上描述了向量张成的空间维度，是线性相关性、线性变换维数、系统解的自由度的核心指标。

特征矩阵和特征值的概念

在线性代数中，特征值和特征向量描述了矩阵的某些内在属性。特征矩阵是特征值分解的产物之一，常用于将矩阵表示为特定的对角化形式。

特征值和特征向量

定义：

对于一个 ( $n\times n$ ) 的矩阵 ( $\mathbf{A}$ )，如果存在一个标量 ( $\lambda$ ) 和非零向量 ( $\mathbf{v}$ )，满足以下条件：

$$\mathbf{Av}=\lambda \mathbf{v},$$
则称：

1. ( $\lambda$ ) 是矩阵 ( $\mathbf{A}$ ) 的特征值。
2. ($\mathbf{v}$ ) 是矩阵 ( $\mathbf{A}$ ) 对应于特征值 ( $\lambda$ ) 的特征向量。

特征值的物理意义

特征值表示矩阵在某些方向上的伸缩因子，而对应的特征向量表示这些方向。特征值和特征向量被广泛应用于振动分析、图像处理、机器学习（如 PCA）等领域。

特征矩阵

特征矩阵是指矩阵 ( $\mathbf{A}$ ) 通过特征值分解后所得到的对角矩阵，它将特征值排列在对角线上。

特征值分解（适用于可对角化矩阵）：
$$\mathbf{A}=\mathbf{Q\Lambda }{\mathbf{Q}}^{-1},$$
其中：

1. ( $\mathbf{Q}$ ) 是由特征向量组成的矩阵（特征向量矩阵）。
2. ( $\mathbf{\Lambda }$ ) 是对角矩阵，称为特征矩阵，其对角线上是 ( $\mathbf{A}$ ) 的特征值：

$$\mathbf{\Lambda }=\text{diag}({\lambda }_1,{\lambda }_2,\dots ,{\lambda }_n).$$

特征值分解的推导

1. 特征方程

从特征值的定义 ( $\mathbf{Av}=\lambda \mathbf{v}$ )，变形为：

$$(\mathbf{A}-\lambda \mathbf{I})\mathbf{v}=0,$$
其中 ( $\mathbf{I}$ ) 是单位矩阵。

为使方程有非零解，矩阵 ( $(\mathbf{A}-\lambda \mathbf{I})$ ) 必须是奇异矩阵，因此其行列式为 0：

$$\det (\mathbf{A}-\lambda \mathbf{I})=0.$$
这是一个关于 ( $\lambda$ ) 的 ( $n$ ) 次多项式，称为特征多项式，其根是 ( $\mathbf{A}$ ) 的特征值。

2. 特征向量求解

对于每个特征值 ( ${\lambda }_i$ )，求解线性方程组：

$$(\mathbf{A}-{\lambda }_i\mathbf{I})\mathbf{v}=0,$$
即可得到对应的特征向量 ( ${\mathbf{v}}_i$ )。

示例：矩阵的特征值与特征矩阵

考虑矩阵：

$$\mathbf{A}=\left[\begin{array}{cc}4& 1\\ 2& 3\end{array}\right].$$

1. 求特征值

特征多项式为：

$$\det (\mathbf{A}-\lambda \mathbf{I})=\det \left[\begin{array}{cc}4-\lambda & 1\\ 2& 3-\lambda \end{array}\right]=(4-\lambda )(3-\lambda )-2\cdot 1.$$
展开得：

$${\lambda }^2-7\lambda +10=0.$$
解得特征值：

$${\lambda }_1=5,{\lambda }_2=2.$$

2. 求特征向量

对于 ( ${\lambda }_1=5$ )：

$$(\mathbf{A}-5\mathbf{I})\mathbf{v}=\left[\begin{array}{cc}-1& 1\\ 2& -2\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]=0.$$
解得 ( ${\mathbf{v}}_1=\left[\begin{array}{c}1\\ 1\end{array}\right]$ )。

对于 ( ${\lambda }_2=2$ )：

$$(\mathbf{A}-2\mathbf{I})\mathbf{v}=\left[\begin{array}{cc}2& 1\\ 2& 1\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]=0.$$
解得 ( ${\mathbf{v}}_2=\left[\begin{array}{c}-1\\ 2\end{array}\right]$ )。

3. 构造特征矩阵

特征向量组成矩阵 ( $\mathbf{Q}$ )：

$$\mathbf{Q}=\left[\begin{array}{cc}1& -1\\ 1& 2\end{array}\right].$$
特征值构成对角矩阵 ( $\mathbf{\Lambda }$ )：

$$\mathbf{\Lambda }=\left[\begin{array}{cc}5& 0\\ 0& 2\end{array}\right].$$
验证分解：

$$\mathbf{A}=\mathbf{Q\Lambda }{\mathbf{Q}}^{-1}.$$

总结

1. 特征值：标量 ( $\lambda$ )，表示矩阵沿特定方向的伸缩因子。
2. 特征向量：与特征值对应的方向。
3. 特征矩阵：对角矩阵 ( $\mathbf{\Lambda }$ )，包含所有特征值。
4. 特征值分解：将矩阵表示为 ( $\mathbf{A}=\mathbf{Q\Lambda }{\mathbf{Q}}^{-1}$ )。

共轭转置

共轭转置（Conjugate Transpose），也称为 Hermitian 转置，在矩阵分析中是对复数矩阵的一种操作，记作 ( $A^H$ ) 或 ( $A^{\ast }$ )。对于一个复矩阵 ( $A$ )，它的共轭转置定义如下：

定义

若 ( $A=[a_{ij}]$ ) 是一个 ( $m\times n$ ) 的复矩阵，则它的共轭转置矩阵 ( $A^H$ ) 是一个 ( $n\times m$ ) 的矩阵，其元素由以下规则给出：
$$(A^H{)}_{ij}=\overline{a_{ji}},$$

即：

1. 对矩阵进行 转置（将行和列交换）。
2. 对每个元素取复共轭（将复数的虚部取反）。

公式化表示为：
$$A^H=(\overline{A}{)}^T=\overline{(A^T)}.$$
其中：

• ( $A^T$ ) 表示矩阵的转置。
• ( $\overline{A}$ ) 表示矩阵中每个元素取复共轭。

特殊情况

• 如果矩阵 ( $A$ ) 的元素全是实数，共轭转置等于普通转置：( $A^H=A^T$ )。
• 如果矩阵 ( $A$ ) 是实对称矩阵，那么 ( $A^H=A$ )。
• 如果矩阵 ( $A$ ) 是复 Hermitian 矩阵（厄米矩阵），则 ( $A^H=A$ )。

示例

实数矩阵

对于实数矩阵
$$A=\left[\begin{array}{cc}1& 2\\ 3& 4\end{array}\right],$$

由于没有复数部分，共轭转置等于转置：
$$A^H=A^T=\left[\begin{array}{cc}1& 3\\ 2& 4\end{array}\right].$$

复数矩阵

对于复数矩阵
$$A=\left[\begin{array}{cc}1+i& 2\\ -i& 3+2i\end{array}\right],$$
其共轭转置是：

1. 转置矩阵：

$$A^T=\left[\begin{array}{cc}1+i& -i\\ 2& 3+2i\end{array}\right].$$

2. 对每个元素取复共轭：

$$A^H=\left[\begin{array}{cc}1-i& 2\\ i& 3-2i\end{array}\right].$$

性质

共轭转置具有以下重要性质：

1. 自反性：($(A^H{)}^H=A$)。
2. 加法性质：($(A+B{)}^H=A^H+B^H$)。
3. 数乘性质：($(cA{)}^H=\overline{c}{A}^H$)，其中 ( c ) 是复数，( $\overline{c}$ ) 是 ( $c$ ) 的复共轭。
4. 乘法性质：($(AB{)}^H=B^H{A}^H$)。
5. 单位矩阵：( $I^H=I$ )（单位矩阵的共轭转置是它自身）。
6. 内积性质：对于两个向量 ( $\mathbf{u},\mathbf{v}$ )，有 ( $({\mathbf{u}}^H\mathbf{v})=\overline{({\mathbf{v}}^H\mathbf{u})}$ )。

几何意义

在复数向量空间中，共轭转置操作与内积密切相关：

• 若 ( $\mathbf{u},\mathbf{v}$ ) 是复数向量，则内积可以表示为 ( ${\mathbf{u}}^H\mathbf{v}$ )。
• 共轭转置是线性代数中定义内积和正交性的重要工具。

应用

1. 线性代数：特征值分解、奇异值分解中常使用共轭转置。
2. 量子力学：复数矩阵（如密度矩阵、哈密顿矩阵）的性质分析。
3. 信号处理：复数矩阵的正交化和正交投影。
4. 机器学习：复数域中的模型训练（如神经网络中的复数权值）。

行列式

行列式（Determinant）是线性代数中的一个重要概念，用来刻画一个方阵的某些代数性质和几何性质。它是一个与矩阵相关的标量值，通常记为 ( $\det (A)$ ) 或 ( $|A|$ )，其中 ( $A$ ) 是矩阵。

定义

行列式仅定义在方阵（行数等于列数的矩阵）上。给定一个 ( $n\times n$ ) 的方阵 ($A=[a_{ij}]$ )，行列式是一个通过特定规则计算出的数值，用以反映矩阵的一些性质，如可逆性、线性相关性等。

小矩阵的行列式

1. 一阶矩阵

对于一个 ( $1\times 1$ ) 矩阵 ( $A=[a_{11}]$ )，行列式为矩阵的唯一元素：
$$\det (A)=a_{11}.$$

2. 二阶矩阵

对于一个 ( $2\times 2$ ) 矩阵 ( $A=\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]$ )，行列式的计算公式是：
$$\det (A)=ad-bc.$$

3. 三阶矩阵

对于一个 ( $3\times 3$ ) 矩阵 ( A = [ a b c d e f g h i ] A = \begin{bmatrix} a & b & c \\ d & e & f \\ g & h & i \end{bmatrix} A= ​adg​beh​cfi​ ​ )，行列式的计算公式是：
$$\det (A)=a(ei-fh)-b(di-fg)+c(dh-eg).$$
此公式可以理解为按第一行展开的结果。

一般情况：高阶矩阵的行列式

对于 ( $n\times n$ ) 的矩阵 ( $A=[a_{ij}]$ )，行列式通过递归展开的方式计算。选择某一行或某一列（通常为第一行）展开：
$$\det (A)=\sum _{j=1}^n(-1{)}^{1+j}{a}_{1j}\det (A_{1j}),$$

其中：

• ( $A_{1j}$ ) 表示从 ( $A$ ) 中去掉第 1 行和第 ( $j$ ) 列得到的 ( $(n-1)\times (n-1)$ ) 子矩阵。
• ( $(-1{)}^{1+j}$ ) 是一个符号因子，决定正负号。

这个方法称为按行（或列）展开法。

行列式的性质

行列式具有以下重要性质：

1. 交换行或列：
   如果交换矩阵的任意两行或两列，行列式的值会变号。
   $$\det (A^{\prime })=-\det (A).$$

2. 同一行或列线性相关：
   如果矩阵的两行（或两列）线性相关，则行列式为零。

3. 加法性质：
   如果将矩阵的某一行（或列）的一个倍数加到另一行（或列），行列式的值不变。

4. 比例因子：
   如果矩阵的某一行（或列）乘以一个常数 ( k )，行列式的值也乘以 ( k )。

5. 对角矩阵、上三角矩阵或下三角矩阵：
   行列式等于对角线元素的乘积：
   $$\det (A)=a_{11}{a}_{22}\cdots a_{nn}.$$

6. 矩阵乘积：
   对于两个 ( $n\times n$ ) 矩阵 ( $A$ ) 和 ( $B$ )，有：
   $$\det (AB)=\det (A)\cdot \det (B).$$

7. 可逆矩阵：
   矩阵 ( $A$ ) 可逆当且仅当 ( $\det (A)\ne 0$ )。

几何意义

1. 线性变换的体积变化：
   行列式的绝对值表示由矩阵 ( A ) 表示的线性变换对单位体积的拉伸或压缩倍数。例如：

   • ( $\det (A)=1$ )：体积不变；
   • ( $\det (A)=0$ )：体积压缩到零，说明矩阵不可逆。

2. 方向性：
   行列式的符号表示线性变换是否翻转了空间的方向（例如从右手系变成左手系）。

例子

例 1：二阶矩阵

$$A=\left[\begin{array}{cc}3& 4\\ 2& 5\end{array}\right].$$

计算行列式：
$$\det (A)=3\cdot 5-4\cdot 2=15-8=7.$$

例 2：三阶矩阵

A = [ 1 2 3 4 5 6 7 8 10 ] . A = \begin{bmatrix} 1 & 2 & 3 \\ 4 & 5 & 6 \\ 7 & 8 & 10 \end{bmatrix}. A= ​147​258​3610​ ​.

按第一行展开：
det ⁡ ( A ) = 1 ∣ 5 6 8 10 ∣ − 2 ∣ 4 6 7 10 ∣ + 3 ∣ 4 5 7 8 ∣ . \det(A) = 1 \begin{vmatrix} 5 & 6 \\ 8 & 10 \end{vmatrix} - 2 \begin{vmatrix} 4 & 6 \\ 7 & 10 \end{vmatrix} + 3 \begin{vmatrix} 4 & 5 \\ 7 & 8 \end{vmatrix}. det(A)=1 ​58​610​ ​−2 ​47​610​ ​+3 ​47​58​ ​.
分别计算子矩阵的行列式：
∣ 5 6 8 10 ∣ = 5 ⋅ 10 − 6 ⋅ 8 = 50 − 48 = 2 , \begin{vmatrix} 5 & 6 \\ 8 & 10 \end{vmatrix} = 5 \cdot 10 - 6 \cdot 8 = 50 - 48 = 2, ​58​610​ ​=5⋅10−6⋅8=50−48=2,

∣ 4 6 7 10 ∣ = 4 ⋅ 10 − 6 ⋅ 7 = 40 − 42 = − 2 , \begin{vmatrix} 4 & 6 \\ 7 & 10 \end{vmatrix} = 4 \cdot 10 - 6 \cdot 7 = 40 - 42 = -2, ​47​610​ ​=4⋅10−6⋅7=40−42=−2,

∣ 4 5 7 8 ∣ = 4 ⋅ 8 − 5 ⋅ 7 = 32 − 35 = − 3. \begin{vmatrix} 4 & 5 \\ 7 & 8 \end{vmatrix} = 4 \cdot 8 - 5 \cdot 7 = 32 - 35 = -3. ​47​58​ ​=4⋅8−5⋅7=32−35=−3.

代入：
$$\det (A)=1\cdot 2-2\cdot (-2)+3\cdot (-3)=2+4-9=-3.$$

总结

行列式是用来描述方阵的重要工具，它反映了矩阵的一些代数性质（如可逆性）和几何性质（如线性变换对空间的作用）。掌握行列式的定义、性质和计算方法，对深入理解线性代数中的线性变换和空间几何变换有重要意义。

奇异矩阵

奇异矩阵（Singular Matrix）是线性代数中的一个概念，指的是行列式值为零的矩阵，或者等价地，没有逆矩阵的矩阵。以下是对奇异矩阵的详细解释：

奇异矩阵的定义

一个 ( $n\times n$ ) 的方阵 ( $A$ ) 被称为奇异矩阵，如果它不满秩，即：
$$\text{rank}(A)<n,$$
或者其行列式为零：
$$\det (A)=0.$$
与之相对，非奇异矩阵（Non-Singular Matrix）是指行列式不为零的矩阵，其秩等于 ( $n$ )。

奇异矩阵的等价条件

矩阵 ( $A$ ) 是奇异矩阵，等价于以下任何一种情况成立：

1. ( $\det (A)=0$ )。
2. ( $A$ ) 不可逆（即不存在矩阵 ( $B$ )，使得 ( $AB=BA=I$ )）。
3. ( $A$ ) 的列向量或行向量线性相关（至少有一列是其他列的线性组合）。
4. ( $A\mathbf{x}=0$ ) 存在非零解（齐次线性方程组有无穷多解）。
5. ( $A$ ) 的特征值中至少有一个为零。

几何意义

在几何上，奇异矩阵可以理解为某种“压缩”变换：

1. 一个非奇异矩阵对应于将 ( $n$ )-维空间的点映射到 ( $n$ )-维空间内的一种变换，且不会将空间“压缩”到更低维度。
2. 奇异矩阵则将 ( $n$ )-维空间压缩到更低维的空间。例如：
   • 将 ( ${\mathbb{R}}^3$ ) 的点映射到一个平面或一条直线上。
   • 将 ( ${\mathbb{R}}^2$ ) 的点映射到一条直线或一个点。

这种“压缩”现象源于矩阵的列向量或行向量线性相关。

奇异矩阵的性质

1. 行列式为零：($\det (A)=0$)。
2. 不可逆性：奇异矩阵没有逆矩阵。
3. 线性相关性：奇异矩阵的列向量或行向量存在线性相关关系。
4. 零特征值：奇异矩阵至少有一个特征值为零，因此其特征多项式具有 ( $\lambda =0$ ) 的根。
5. 零行列式的原因：奇异矩阵的行列式为零，可以由以下原因导致：
   • 存在全零行或全零列。
   • 存在某行或某列是其他行或列的线性组合。

例子

例 1：简单奇异矩阵

$$A=\left[\begin{array}{cc}1& 2\\ 2& 4\end{array}\right].$$

• 行列式：
  $$\det (A)=1\cdot 4-2\cdot 2=0.$$

• 列向量 ( $\left[\begin{array}{c}1\\ 2\end{array}\right]$ ) 和 ( $\left[\begin{array}{c}2\\ 4\end{array}\right]$ ) 线性相关。

例 2：非奇异矩阵对比

$$B=\left[\begin{array}{cc}1& 2\\ 3& 4\end{array}\right].$$

• 行列式：
  $$\det (B)=1\cdot 4-2\cdot 3=-2\ne 0.$$

• 列向量线性无关，因此 ( $B$ ) 是非奇异矩阵。

奇异矩阵的实际应用

1. 线性方程组的解：
   • 若系数矩阵是奇异矩阵，则方程组可能无解或有无穷多解。
   • 若系数矩阵是非奇异矩阵，则方程组有唯一解。
2. 线性变换：
   • 奇异矩阵对应的变换会“压缩”空间，使维度降低。
3. 机器学习：
   • 在回归分析中，奇异矩阵可能导致不可逆的协方差矩阵，需进行正则化处理。
4. 数值计算：
   • 奇异矩阵可能导致矩阵求逆失败，需使用伪逆（Moore-Penrose伪逆）。

总结

奇异矩阵是指不可逆的方阵，其本质特性是列向量或行向量的线性相关性。这使得它在许多应用中会导致解的不确定性或空间的降维。理解奇异矩阵及其性质对于线性代数的学习和实际问题的求解都十分重要。

谱定理的推导

谱定理是线性代数和功能分析中的一个重要定理，它描述了对于某些类型的矩阵或线性算符，可以将其分解为特征值和特征向量的组合形式。谱定理在许多领域都有应用，尤其是在量子力学、数值分析、统计学等领域。

谱定理有两种主要的形式：

• 对称矩阵的谱定理
• 线性算符的谱定理

我们首先从对称矩阵的谱定理开始推导。

1. 对称矩阵的谱定理

对于一个实对称矩阵 ( $\mathbf{A}\in {\mathbb{R}}^{n\times n}$ )，谱定理表明该矩阵可以通过正交变换对角化，即存在一个正交矩阵 ( $\mathbf{Q}$ ) 和一个对角矩阵 ( $\mathbf{D}$ )，使得：

$$\mathbf{A}=\mathbf{QD}{\mathbf{Q}}^{\top }$$
其中：

• ( $\mathbf{Q}$ ) 是由矩阵 ( $\mathbf{A}$ ) 的特征向量组成的正交矩阵。
• ( $\mathbf{D}$ ) 是对角矩阵，包含矩阵 ( $\mathbf{A}$ ) 的特征值。

1.1 特征值和特征向量

谱定理的前提是矩阵 ( $\mathbf{A}$ ) 是对称矩阵。根据线性代数的基本理论，对于对称矩阵 ( $\mathbf{A}$ )，总是存在一组正交的特征向量 ( ${\mathbf{v}}_1,{\mathbf{v}}_2,\dots ,{\mathbf{v}}_n$ )，以及对应的实特征值 ( ${\lambda }_1,{\lambda }_2,\dots ,{\lambda }_n$ )，使得：

$$\mathbf{A}{\mathbf{v}}_i={\lambda }_i{\mathbf{v}}_i,i=1,2,\dots ,n$$
这意味着我们可以将矩阵 ( $\mathbf{A}$ ) 的特征向量 ( ${\mathbf{v}}_1,{\mathbf{v}}_2,\dots ,{\mathbf{v}}_n$ ) 组成一个矩阵 ( $\mathbf{Q}$ )：

$$\mathbf{Q}=[{\mathbf{v}}_1{\mathbf{v}}_2\dots {\mathbf{v}}_n]$$
由于对称矩阵的特征向量是正交的，因此 ( $\mathbf{Q}$ ) 是一个正交矩阵，满足：

$${\mathbf{Q}}^{\top }\mathbf{Q}=\mathbf{I}$$

1.2 对角化

由于 ( $\mathbf{A}$ ) 是对称矩阵，其特征向量是线性无关的，可以通过正交化得到一组正交基。根据特征值分解定理，可以将矩阵 ( $\mathbf{A}$ ) 对角化为：

$$\mathbf{A}=\mathbf{QD}{\mathbf{Q}}^{\top }$$
其中 ( $\mathbf{D}$ ) 是一个对角矩阵，其对角元素就是矩阵 ( $\mathbf{A}$ ) 的特征值 ( ${\lambda }_1,{\lambda }_2,\dots ,{\lambda }_n$ )。

1.3 结论

因此，谱定理告诉我们，任何实对称矩阵 ( $\mathbf{A}$ ) 都可以通过正交矩阵对角化，即存在正交矩阵 ( $\mathbf{Q}$ ) 和对角矩阵 ( $\mathbf{D}$ )，使得：

$$\mathbf{A}=\mathbf{QD}{\mathbf{Q}}^{\top }$$
其中，( $\mathbf{Q}$ ) 的列是矩阵 ( $\mathbf{A}$ ) 的单位特征向量，( $\mathbf{D}$ ) 是一个包含特征值的对角矩阵。

2. 线性算符的谱定理

谱定理不仅适用于矩阵，也适用于线性算符。在函数分析中，谱定理可以描述自伴算符（即等于其共轭转置的算符）的性质。假设我们有一个自伴算符 ( T ) 定义在希尔伯特空间 ( H ) 上，谱定理表明：

$$T={\int }_{\sigma (T)}\lambda dE(\lambda )$$
其中 ( $\sigma (T)$ ) 是算符 ( $T$ ) 的谱（特征值的集合），( $E(\lambda )$ ) 是与特征值 ( $\lambda$ ) 相关的投影算符。谱定理告诉我们，任何自伴算符 ( $T$ ) 都可以通过谱分解表示为特征值和特征向量的积分。

3. 推导过程总结

1. 对称矩阵具有一组正交的特征向量，可以通过这些特征向量构造一个正交矩阵 ( $\mathbf{Q}$ )。
2. 矩阵 ( $\mathbf{A}$ ) 可以表示为 ( $\mathbf{A}=\mathbf{QD}{\mathbf{Q}}^{\top }$ )，其中 ( $\mathbf{D}$ ) 是包含特征值的对角矩阵。
3. 该分解过程证明了实对称矩阵可以对角化，并且特征向量可以选择为正交的。

4. 特别注意

• 谱定理适用于所有的实对称矩阵，但不适用于所有矩阵。对于一般矩阵，可能需要使用更广泛的分解方法（如奇异值分解）。
• 谱定理对于理解矩阵的几何和代数性质非常重要，尤其是在优化、信号处理和数据分析等领域。

谱定理是线性代数中的一个重要结果，它说明了对称矩阵的对角化性质。以下是谱定理的具体表述及其推导过程。

谱定理的表述

对于一个实对称矩阵 ( $A\in {\mathbb{R}}^{n\times n}$ )：

1. ( $A$ ) 的特征值都是实数。
2. ( $A$ ) 存在一个正交矩阵 ( $Q$ )（即 ( $Q^{T}Q=I$ )），使得 ( $Q^{T}AQ=\Lambda$ )，其中 ( $\Lambda$ ) 是一个对角矩阵，对角线上的元素为 ( $A$ ) 的特征值。
3. ( $Q$ ) 的列向量是 ( $A$ ) 的特征向量，且彼此正交。

换句话说，实对称矩阵可以通过正交变换对角化。

详细推导过程

1. 特征值为实数

对于任意一个实对称矩阵 ( $A$ )，令 ( $\lambda$ ) 是 ( $A$ ) 的一个特征值，( $\mathbf{v}$ ) 是对应的特征向量，满足
$$A\mathbf{v}=\lambda \mathbf{v}.$$
取上述方程的共轭转置：
$${\mathbf{v}}^{H}A={\lambda }^{\ast }{\mathbf{v}}^H,$$
其中 ( ${\mathbf{v}}^H$ ) 是 ( $\mathbf{v}$ ) 的共轭转置，( ${\lambda }^{\ast }$ ) 是 ( $\lambda$ ) 的共轭。

由于 ( $A$ ) 是实对称矩阵，有 ( $A^T=A$ ) 且 ( $A$ ) 的元素是实数，因此
$${\mathbf{v}}^{T}A={\mathbf{v}}^{H}A.$$
将 ( $A\mathbf{v}=\lambda \mathbf{v}$ ) 左乘 ( ${\mathbf{v}}^H$ )，得：
$${\mathbf{v}}^{H}A\mathbf{v}=\lambda {\mathbf{v}}^H\mathbf{v}.$$
将 ( ${\mathbf{v}}^{H}A={\lambda }^{\ast }{\mathbf{v}}^H$ ) 右乘 ( $\mathbf{v}$ )，得：
$${\mathbf{v}}^{H}A\mathbf{v}={\lambda }^{\ast }{\mathbf{v}}^H\mathbf{v}.$$
因为 ( ${\mathbf{v}}^{H}A\mathbf{v}$ ) 是实数，所以 ( $\lambda ={\lambda }^{\ast }$ )，即 ( $\lambda$ ) 为实数。

2. 特征向量正交性

设 ( ${\lambda }_1$ ) 和 ( ${\lambda }_2$ ) 是 ( $A$ ) 的两个不同特征值，( ${\mathbf{v}}_1$ ) 和 ( ${\mathbf{v}}_2$ ) 是对应的特征向量。由特征方程，有：
$$A{\mathbf{v}}_1={\lambda }_1{\mathbf{v}}_1,A{\mathbf{v}}_2={\lambda }_2{\mathbf{v}}_2.$$
取 ( ${\mathbf{v}}_1^T$ ) 和 ( ${\mathbf{v}}_2$ ) 的内积：
$${\mathbf{v}}_1^{T}A{\mathbf{v}}_2={\lambda }_2{\mathbf{v}}_1^T{\mathbf{v}}_2.$$
又因 ( $A$ ) 对称，( $A^T=A$ )，有：
$$(A{\mathbf{v}}_1{)}^T{\mathbf{v}}_2={\lambda }_1{\mathbf{v}}_1^T{\mathbf{v}}_2.$$
因此，
$${\lambda }_1{\mathbf{v}}_1^T{\mathbf{v}}_2={\lambda }_2{\mathbf{v}}_1^T{\mathbf{v}}_2.$$
由于 ( ${\lambda }_1\ne {\lambda }_2$ )，只能有
$${\mathbf{v}}_1^T{\mathbf{v}}_2=0.$$
这表明不同特征值对应的特征向量正交。

3. 正交对角化

设 ( $A$ ) 的特征值为 ( ${\lambda }_1,{\lambda }_2,\dots ,{\lambda }_n$ )，对应的单位特征向量为 ( ${\mathbf{v}}_1,{\mathbf{v}}_2,\dots ,{\mathbf{v}}_n$ )。因为这些特征向量正交且可归一化，可以构造一个正交矩阵
$$Q=[{\mathbf{v}}_1,{\mathbf{v}}_2,\dots ,{\mathbf{v}}_n],$$
满足 ( $Q^{T}Q=I$ )。

将 ( $A$ ) 用特征向量矩阵 ( $Q$ ) 对角化：
Q T A Q = [ v 1 T v 2 T ⋮ v n T ] [ A v 1 A v 2 ⋯ A v n ] = [ λ 1 0 ⋯ 0 0 λ 2 ⋯ 0 ⋮ ⋮ ⋱ ⋮ 0 0 ⋯ λ n ] . Q^T A Q = \begin{bmatrix} \mathbf{v}_1^T \\ \mathbf{v}_2^T \\ \vdots \\ \mathbf{v}_n^T \end{bmatrix} \begin{bmatrix} A \mathbf{v}_1 & A \mathbf{v}_2 & \cdots & A \mathbf{v}_n \end{bmatrix} = \begin{bmatrix} \lambda_1 & 0 & \cdots & 0 \\ 0 & \lambda_2 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & \lambda_n \end{bmatrix}. QTAQ= ​v1T​v2T​⋮vnT​​ ​[Av1​​Av2​​⋯​Avn​​]= ​λ1​0⋮0​0λ2​⋮0​⋯⋯⋱⋯​00⋮λn​​ ​.
这完成了对称矩阵的正交对角化，证明了谱定理。

总结

谱定理为实对称矩阵提供了一个对角化的过程，可以将矩阵分解为其特征向量和特征值的形式，这在许多实际应用中非常有用。通过谱定理，我们可以将复杂的矩阵运算转化为简单的对角矩阵运算，从而大大简化计算过程。

谱定理从以下几个核心性质推导而来：

1. 对称矩阵的特征值是实数；
2. 不同特征值对应的特征向量正交；
3. 特征向量可以构成一组正交基，用于构造正交矩阵 ( $Q$ )，实现对角化。

这些性质揭示了对称矩阵的优良特性，并在许多实际问题中具有重要应用。