范数与希尔伯特空间

范数和希尔伯特空间

按向量诱导定义的矩阵范数

矩阵范数由向量范数诱导而来，常见有 1 范数、∞ 范数、2 范数。

1️⃣ 矩阵的 1-范数

定义：

$\|A\|_1 = \max_{1 \le j \le n} \sum_{i=1}^m |a_{ij}|$

即 矩阵各列元素绝对值之和的最大值。

📘 举例：

$A = \begin{bmatrix} 1 & -2\\ 3 & 4 \end{bmatrix} \Rightarrow \|A\|_1 = \max(|1|+|3|, |-2|+|4|) = \max(4, 6)=6$

2️⃣ 矩阵的 ∞-范数（无穷范数）

定义：

$\|A\|_\infty = \max_{1 \le i \le m} \sum_{j=1}^n |a_{ij}|$

即 矩阵各行元素绝对值之和的最大值。

📘 举例：

$A = \begin{bmatrix} 1 & -2\\ 3 & 4 \end{bmatrix} \Rightarrow \|A\|_\infty = \max(|1|+|-2|, |3|+|4|) = \max(3, 7)=7$

3️⃣ 矩阵的 2-范数（谱范数）

定义：

$\|A\|_2 = \sqrt{\lambda_{\max}(A^*A)}$

其中 $\lambda_{\max}$ 表示矩阵 $A^*A$ 的最大特征值。

即 矩阵的最大奇异值（largest singular value）。

📘 举例：
若 $A = \begin{bmatrix}3 & 4\\ 0 & 0\end{bmatrix}$ ，
则

$A^T A = \begin{bmatrix} 9 & 12\\ 12 & 16 \end{bmatrix} \Rightarrow \lambda_{\max} = 25 \Rightarrow \|A\|_2 = \sqrt{25} = 5$

在矩阵分析、信号处理、线性算子理论中，当人们不特别说明时，说「矩阵范数」往往默认是谱范数（operator norm 或 2-范数）：

$\|A\|_2 = \sigma_{\max}(A)$

也就是 矩阵的最大奇异值。

因为它有明确的几何意义：

$\|A\|_2 = \max_{\|x\|_2 = 1} \|Ax\|_2$

——表示线性变换 $A$ 对任意单位向量 $x$ ，所能放大的最大比例。

所以可以理解为：

谱范数描述矩阵“在所有方向上放大向量的最大伸缩能力”。

Frobenius 范数（欧几里得范数）

定义：

$\|A\|_F = \sqrt{\sum_{i=1}^{m}\sum_{j=1}^{n}|a_{ij}|^2}$

即所有元素平方和的平方根。

它等价于向量化矩阵后的 2 范数，也等价于所有奇异值平方和的平方根：

$\|A\|_F = \sqrt{\sigma_1^2 + \sigma_2^2 + \cdots + \sigma_r^2}$

📘 举例：

$A = \begin{bmatrix} 1 & -2\\ 3 & 4 \end{bmatrix} \Rightarrow \|A\|_F = \sqrt{1^2 + (-2)^2 + 3^2 + 4^2} = \sqrt{30}$

比较与关系

$\|A\|_2 \le \|A\|_F \le \sqrt{r}\|A\|_2$

（r 为矩阵秩）

不同范数反映矩阵不同的“尺度”：

$\|A\|_1$ ：列的最大权重
$\|A\|_\infty$ ：行的最大权重
$\|A\|_2$ ：在任意方向上对向量放大的最大倍数
$\|A\|_F$ ：整体能量

类比信号系统：

如果把矩阵看作一个线性滤波器，则谱范数对应 最大增益（peak gain），而 Frobenius 范数对应 整体能量（RMS功率）。

概念	数学表达	物理或几何意义
谱范数 $\vert\vert A\vert\vert_2$	最大奇异值	最大增益 / 最大能量放大方向
Frobenius 范数	$\sqrt{\sum_i \sigma_i^2}$	总体能量（RMS）
1-范数 / ∞-范数	最大列和 / 最大行和	最大加权能量流量（较粗糙）

奇异值分解与谱分解的关系

谱分解（Eigen / Spectral decomposition）

$A = \sum_i \lambda_i |v_i\rangle \langle v_i|$

对象：方阵（尤其是 Hermitian 矩阵）
意义：把算符分解为一组本征态的叠加， $\lambda_i$ 是特征值（谱线位置）， $|v_i\rangle$ 是本征向量（谱线模式）。
奇异值分解（SVD）

$A = \sum_i \sigma_i |u_i\rangle \langle v_i|$

对象：任意矩阵（不必 Hermitian，不必方阵）
意义：把任意线性映射分解为“输入模式 → 输出模式”的加权叠加， $\sigma_i$ 是伸缩系数（谱线幅度）。

所以从结构上看，SVD 确实是谱分解的一种广义化。

核心区别：谱分解作用于 $A$ ，SVD 作用于 $A^\dagger A$

项	谱分解	奇异值分解
作用对象	方阵 $A$ ，尤其是Hermitian	任意矩阵 $A$
分解形式	$A = V\Lambda V^\dagger$	$A = U \Sigma V^\dagger$
值的类型	特征值 $\lambda_i$ ，可正可负	奇异值 $\sigma_i \ge 0$
基的关系	同一组正交基	两个不同空间的正交基
几何含义	旋转 + 拉伸 + 反射	旋转 + 拉伸 + 旋转

物理类比

数学量	物理意义
特征值 $\lambda_i$	谱线的位置（频率 / 本征能量）
奇异值 $\sigma_i$	谱线的幅度（能量强度）
特征向量 / 奇异向量	模态（模式形状）

算符 $A$ 的作用就像是一组「谱模式」的叠加，每条谱线对应输入模态 $|v_i\rangle$ 到输出模态 $|u_i\rangle$ 的能量通道，增益为 $\sigma_i$

数学关系：SVD 是谱分解的平方根版本

从公式上看：

$A^\dagger A = V\, \Sigma^2\, V^\dagger$

这实际上是一个谱分解：
- $A^\dagger A$ 是 Hermitian；
- 它的特征值是 $\sigma_i^2$ 。
于是：

SVD 可以看作是对 $A^\dagger A$ 进行谱分解，再对特征值开平方。

更精确表述：

SVD 是对 $A^\dagger A$ （能量算符）的谱分解，其奇异值是谱线的振幅（能量平方根）。

希尔伯特空间

很多人初学 Hilbert 空间（希尔伯特空间）都会先从 “ $L^2$ ” 的印象出发，以为它的定义就是“平方无穷可积”，但那其实只是 Hilbert 空间的一类具体实现。

Hilbert 空间是一个带有内积的、完备的线性空间。

正式地说：

一个复线性空间（或实线性空间） $\mathcal{H}$ ，若配备了一个内积

$\langle x, y \rangle : \mathcal{H} \times \mathcal{H} \to \mathbb{C}$

满足：

线性性： $\langle ax_1 + bx_2, y\rangle = a\langle x_1, y\rangle + b\langle x_2, y\rangle$

共轭对称： $\langle x, y\rangle = \overline{\langle y, x\rangle}$

正定性： $\langle x, x\rangle \ge 0$ ，且 $=0$ 当且仅当 $x=0$