线性代数：内积空间

发表于 2023-08-18 分类于大学课程 Waline：本文字数： 3k 阅读时长 ≈ 11 分钟

内积空间

现将「长度」、「距离」的概念推广到一般的线性空间中。距离可以看作是长度的派生概念，而长度又可以看成是内积的派生概念。这里给出复数域上内积的定义，因为实数域可以看成是复数域的特例。

存在某种规则，使得复数域上的线性空间\(V\)中任意一组有序向量\(\{\boldsymbol{\alpha},\boldsymbol{\beta}\}\)，都唯一地对应一个复数，记为\((\boldsymbol{\alpha},\boldsymbol{\beta})\)，适合如下4条规则：

\((\boldsymbol{\alpha},\boldsymbol{\beta})=\overline{(\boldsymbol{\beta},\boldsymbol{\alpha})}\)
\((\boldsymbol{\alpha}+\boldsymbol{\beta},\boldsymbol{\gamma})=(\boldsymbol{\alpha},\boldsymbol{\gamma})+(\boldsymbol{\beta},\boldsymbol{\gamma})\)
\((c\boldsymbol{\alpha},\boldsymbol{\beta})=c(\boldsymbol{\alpha},\boldsymbol{\beta})\)，\(c\)为任一复数
\((\boldsymbol{\alpha},\boldsymbol{\alpha})\ge 0\)且等号成立当且仅当\(\boldsymbol{\alpha}=0\)

则称在\(V\)上定义了一个内积，\((\boldsymbol{\alpha},\boldsymbol{\beta})\)是\(\boldsymbol{\alpha}\)与\(\boldsymbol{\beta}\)的内积。有限维实内积空间称为Euclid空间或欧氏空间，有限维复内积空间称为酉空间。

例如两个列向量\(\boldsymbol{\alpha}=(x_1,x_2,\cdots,x_n)',\,\boldsymbol{\beta}=(y_1,y_2,\cdots,y_n)'\)，若是\(n\)维实列向量空间\(\mathbb{R}_n\)上的，则标准内积定义为 \[ (\boldsymbol{\alpha},\boldsymbol{\beta})=x_1 y_1 + x_2 y_2 + \cdots + x_n y_n \]

若是\(n\)维复列向量空间\(\mathbb{C}_n\)上的，则标准内积定义为 \[ (\boldsymbol{\alpha},\boldsymbol{\beta})=x_1\overline{y}_1 + x_2\overline{y}_2 + \cdots + x_n\overline{y}_n \]

再例如，\(V\)是\(\left[a,b\right]\)区间上连续函数全体构成的线性空间，\(f(t),g(t)\in V\)，定义 \[ (f,g)=\int_a^b f(t)g(t)\mathrm{d}t \]

是一个内积，于是\(V\)成为无限维实内积空间。

有了内积的概念后，可以定义向量的长度（或范数）。向量\(\alpha\)的长度（或范数）定义为 \[ \lVert\boldsymbol{\alpha}\rVert = (\boldsymbol{\alpha},\boldsymbol{\alpha})^{\frac{1}{2}} \]

利用范数可定义内积空间两个向量的距离。设\(\boldsymbol{\alpha},\boldsymbol{\beta}\in V\)，\(\boldsymbol{\alpha}\)与\(\boldsymbol{\beta}\)之间的距离 \[ d(\boldsymbol{\alpha},\boldsymbol{\beta}) = \lVert\boldsymbol{\alpha}-\boldsymbol{\beta}\rVert \]

内积与范数之间满足的如下关系称为Cauchy-Schwarz不等式 \[ \left\vert (\boldsymbol{\alpha},\boldsymbol{\beta}) \right\vert\le\lVert\boldsymbol{\alpha}\rVert \cdot \lVert\boldsymbol{\beta}\rVert \]

当\(V\)是实内积空间时，非零向量\(\boldsymbol{\alpha}\)与\(\boldsymbol{\beta}\)之间的夹角满足 \[ \cos\theta=\frac{(\boldsymbol{\alpha},\boldsymbol{\beta})}{\lVert\boldsymbol{\alpha}\rVert \lVert\boldsymbol{\beta}\rVert} \]

如果\((\boldsymbol{\alpha},\boldsymbol{\beta})=0\)，则称\(\boldsymbol{\alpha}\)与\(\boldsymbol{\beta}\)垂直或正交，用\(\boldsymbol{\alpha}\perp\boldsymbol{\beta}\)来表示，此时\(\boldsymbol{\alpha}\)与\(\boldsymbol{\beta}\)的夹角为\(90^\circ\)。

内积的表示和正交基

现研究给定有限维内积空间下的一组基后，如何用坐标向量来表示向量的内积。具体来说，\(\{\boldsymbol{v}_1,\boldsymbol{v}_1,\cdots,\boldsymbol{v}_n\}\)是内积空间\(V\)的一组基，如果 \[ (\boldsymbol{v}_i,\boldsymbol{v}_j)=g_{ij}(i,j=1,2,\cdots,n) \] \[ \boldsymbol{\alpha}=a_1\boldsymbol{v}_1+a_2\boldsymbol{v}_2+\cdots+a_n\boldsymbol{v}_n \] \[ \boldsymbol{\beta}=b_1\boldsymbol{v}_1+b_2\boldsymbol{v}_2+\cdots+b_n\boldsymbol{v}_n \]

利用向量内积的性质，当\(V\)是欧氏空间（实内积空间）时， \[ (\boldsymbol{\alpha},\boldsymbol{\beta})=(\sum_{i=1}^n a_i\boldsymbol{v_i}, \sum_{j=1}^n b_j\boldsymbol{v_j})=\sum_{i,j=1}^n a_i g_{ij} b_j \]

写成矩阵形式 \[ (\boldsymbol{\alpha},\boldsymbol{\beta}) =(a_1,a_2,\cdots,a_n) \left( \begin{matrix} g_{11} & g_{12} & \cdots & a_{1n}\\ g_{21} & g_{22} & \cdots & a_{2n}\\ \vdots & \vdots & \ddots & \vdots\\ g_{n1} & g_{n2} & \cdots & a_{nn}\\ \end{matrix} \right) \left( \begin{array}{c} b_1\\ b_2\\ \vdots\\ b_n\\ \end{array} \right) \]

其中矩阵 \[ \boldsymbol{G}= \left( \begin{matrix} g_{11} & g_{12} & \cdots & a_{1n}\\ g_{21} & g_{22} & \cdots & a_{2n}\\ \vdots & \vdots & \ddots & \vdots\\ g_{n1} & g_{n2} & \cdots & a_{nn}\\ \end{matrix} \right) = \left( \begin{matrix} (\boldsymbol{v}_1,\boldsymbol{v}_1) & (\boldsymbol{v}_1,\boldsymbol{v}_2) & \cdots & (\boldsymbol{v}_1,\boldsymbol{v}_n)\\ (\boldsymbol{v}_2,\boldsymbol{v}_1) & (\boldsymbol{v}_2,\boldsymbol{v}_2) & \cdots & (\boldsymbol{v}_2,\boldsymbol{v}_n)\\ \vdots & \vdots & \ddots & \vdots\\ (\boldsymbol{v}_n,\boldsymbol{v}_1) & (\boldsymbol{v}_n,\boldsymbol{v}_2) & \cdots & (\boldsymbol{v}_n,\boldsymbol{v}_n)\\ \end{matrix} \right) \]

称为基向量\(\{\boldsymbol{v}_1,\boldsymbol{v}_1,\cdots,\boldsymbol{v}_n\}\)的Gram矩阵或内积空间\(V\)在给定基下的度量矩阵。于是便得到内积在给定基下的表示 \[ (\boldsymbol{\alpha},\boldsymbol{\beta})=\boldsymbol{x}'\boldsymbol{G}\boldsymbol{y} \]

其中\(\boldsymbol{x},\boldsymbol{y}\)分别是向量\(\boldsymbol{\alpha},\boldsymbol{\beta}\)在给定基下的坐标向量。容易验证\(\boldsymbol{G}\)是正定实对称矩阵。由此看出，若给定\(n\)维欧式空间的一组基，则欧式空间上的内积和\(n\)阶正定实对称矩阵一一对应。

设\(V\)是酉空间（复内积空间），用\(\boldsymbol{H}\)表示\(V\)在给定基下的度量矩阵，则有 \[ (\boldsymbol{\alpha},\boldsymbol{\beta})=\boldsymbol{x}'\boldsymbol{H}\overline{\boldsymbol{y}} \]

其中\(\boldsymbol{x},\boldsymbol{y}\)分别是向量\(\boldsymbol{\alpha},\boldsymbol{\beta}\)在给定基下的坐标向量，\(\boldsymbol{H}\)是正定Hermite矩阵。

那么，很自然地会提出这样的问题：\(V\)中是否存在一组基，它的Gram矩阵是单位阵\(\boldsymbol{I}_n\)？如果存在，那么在这组基下的内积表示会特别简单。此时度量矩阵\(\boldsymbol{G}=\boldsymbol{I}_n\)或\(\boldsymbol{H}=\boldsymbol{I}_n\)，则有 \[ (\boldsymbol{v}_i,\boldsymbol{v}_j)=0(i\ne j),\,(\boldsymbol{v}_i,\boldsymbol{v}_i)=1 \]

把内积空间中满足上面条件的一组基称为标准正交基。在标准正交基下，度量矩阵就是单位阵。内积空间中线性无关的一组向量可通过Gram-Schmidt正交化方法转化成一组正交基。所以，任一有限维内积空间均有标准正交基。

\(U\)是内积空间\(V\)的子空间，令 \[ U^{\perp}=\{\boldsymbol{v}\in V \vert (\boldsymbol{v},U)=0\} \]

容易验证\(U^{\perp}\)是\(V\)的子空间，\(U^{\perp}\)称为\(U\)的正交补空间。可以得到结论，\(V=U\oplus U^{\perp}\)，且\(U\)上任一组标准正交基均可扩张为\(V\)上的标准正交基，很明显，\(U\)的一组标准正交基和\(U^{\perp}\)的一组标准正交基一起组成\(V\)的一组标准正交基。

若对任意的\(\boldsymbol{\alpha}\in V_i\)和任意的\(\boldsymbol{\beta}\in V_j(j\ne i)\)均有\((\boldsymbol{\alpha},\boldsymbol{\beta})=0\)，则称子空间\(V_i\)和\(V_j\)正交。若\(V=V_1+V_2+\cdots+V_k\)且\(V_i\)两两正交，则称\(V\)是\(V_i(i=1,2,\cdots,k)\)的正交和，记为 \[ V=V_1\perp V_2\perp\cdots\perp V_k \]

正交和一定是直和，而且任一子空间\(V_i\)必与其余子空间的和正交。

伴随算子

内积空间的线性变换称为线性算子。对于内积空间\(V\)上的线性算子\(\boldsymbol{\varphi}\)，若存在\(V\)上的线性算子\(\boldsymbol{\varphi}^*\)，使得 \[ (\boldsymbol{\varphi}(\boldsymbol{\alpha}),\boldsymbol{\beta})=(\boldsymbol{\alpha},\boldsymbol{\varphi}^*(\boldsymbol{\beta})) \]

对一切\(\boldsymbol{\alpha},\boldsymbol{\beta}\in V\)都成立，则称\(\boldsymbol{\varphi}^*\)是\(\boldsymbol{\varphi}\)的伴随算子。可以证明，伴随算子是唯一的。

内积空间\(V\)中的线性算子\(\boldsymbol{\varphi}\)在标准正交基下的表示矩阵为\(\boldsymbol{A}\)，如果\(V\)是酉空间，则\(\boldsymbol{\varphi}^*\)在同一组基下的表示矩阵为\(\overline{\boldsymbol{A}}'\)，即共轭转置；如果\(V\)是欧氏空间，那么\(\boldsymbol{\varphi}^*\)的表示矩阵为\(\boldsymbol{A}'\)，即转置。

正交变换和酉变换

设\(V\)和\(U\)是数域\(\mathbb{K}\)上的内积空间，\(\mathbb{K}\)是实数域或复数域，\(\boldsymbol{\varphi}\)是\(V \to U\)的线性映射。若对任意\(\boldsymbol{x},\boldsymbol{y}\in V\)，有 \[ (\boldsymbol{\varphi}(\boldsymbol{x}),\boldsymbol{\varphi}(\boldsymbol{y}))=(\boldsymbol{x},\boldsymbol{y}) \]

则称\(\boldsymbol{\varphi}\)是\(V \to U\)的保持内积的线性映射。又若\(\boldsymbol{\varphi}\)是同构线性映射，则称\(\boldsymbol{\varphi}\)是\(V \to U\)的保积同构。\(\boldsymbol{\varphi}\)保持向量的长度和向量间的距离。而且可以证明，若\(\boldsymbol{\varphi}\)是\(V \to U\)的保持范数的线性映射，则\(\boldsymbol{\varphi}\)保持内积。

进一步地，\(V\)和\(U\)都是\(n\)维内积空间（同为实空间或复空间），若\(\boldsymbol{\varphi}\)是\(V \to U\)的线性映射，则下面命题等价：

\(\boldsymbol{\varphi}\)保持内积
\(\boldsymbol{\varphi}\)是保积同构
\(\boldsymbol{\varphi}\)将任一组标准正交基变成\(U\)的一组标准正交基
\(\boldsymbol{\varphi}\)将某一组标准正交基变成\(U\)的一组标准正交基

而且，\(V\)和\(U\)同构的充要条件是它们具有相同的维数。

若\(V\)是欧氏空间，则\(V\)上保持内积的线性变换\(\boldsymbol{\varphi}\)称为正交变换或正交算子；若\(V\)是酉空间，则\(V\)上保持内积的线性变换\(\boldsymbol{\varphi}\)称为酉变换或酉算子。这两种线性变换都是将一组标准正交基变成另一组标准正交基。\(\boldsymbol{\varphi}\)是正交变换或酉变换的充要条件是\(\boldsymbol{\varphi}\)非异，且 \[ \boldsymbol{\varphi}^{-1}=\boldsymbol{\varphi}^* \]

若\(n\)阶实方阵\(\boldsymbol{A}\)满足\(\boldsymbol{A}'=\boldsymbol{A}^{-1}\)，则称\(\boldsymbol{A}\)是正交矩阵。若\(n\)阶复方阵\(\boldsymbol{C}\)满足\(\overline{\boldsymbol{C}}'=\boldsymbol{C}^{-1}\)，则称\(\boldsymbol{C}\)是酉矩阵。若\(\boldsymbol{\varphi}\)是欧式空间（酉空间）\(V\)上的正交变换（酉变换），则\(\boldsymbol{\varphi}\)在\(V\)的任意一组标准正交基下的表示矩阵为正交矩阵（酉矩阵）。

自伴随算子

现在有类似的问题，在什么条件下内积空间上的线性变换在一组基下的表示矩阵有比较简单的形状。设\(n\)维内积空间\(V\)在两组标准正交基下的表示矩阵分别为\(\boldsymbol{A}\)和\(\boldsymbol{A}\)，两组基之间的过渡矩阵为\(\boldsymbol{P}\)。若\(V\)是欧氏空间，则两组标准正交基之间的过渡矩阵\(\boldsymbol{P}\)是正交矩阵，矩阵\(\boldsymbol{A}\)与\(\boldsymbol{B}\)正交相似，有 \[ \boldsymbol{B}=\boldsymbol{P}^{-1}\boldsymbol{A}\boldsymbol{P}=\boldsymbol{P}'\boldsymbol{A}\boldsymbol{P} \]

若\(V\)是酉空间，则两组标准正交基之间的过渡矩阵\(\boldsymbol{P}\)是酉矩阵，矩阵\(\boldsymbol{A}\)与\(\boldsymbol{B}\)酉相似，有 \[ \boldsymbol{B}=\boldsymbol{P}^{-1}\boldsymbol{A}\boldsymbol{P}=\overline{\boldsymbol{P}}'\boldsymbol{A}\boldsymbol{P} \]

一般的矩阵寻找正交（酉）标准型很困难，于是接下来讨论一类特殊的矩阵：Hermite矩阵和实对称矩阵。若内积空间\(V\)上的线性变换\(\boldsymbol{\varphi}\)满足\(\boldsymbol{\varphi}^{\ast}=\boldsymbol{\varphi}\)，则称\(\boldsymbol{\varphi}\)是自伴随算子。若\(\boldsymbol{\varphi}\)是欧式空间，\(\boldsymbol{\varphi}\)称为对称算子或对称变换；若\(\boldsymbol{\varphi}\)是酉空间，\(\boldsymbol{\varphi}\)称为Hermite算子或Hermite变换。

设\(V\)是\(n\)维酉空间，\(\boldsymbol{\varphi}\)是\(V\)上的自伴随算子，则\(\boldsymbol{\varphi}\)的特征值全是实数，且属于不同特征值的特征向量互相正交。类似地，Hermite矩阵的特征值全部都是实数，实对称矩阵的特征值也全是实数，这两种矩阵属于不同特征值的特征向量互相正交。由此得到如下结论：设\(V\)是\(n\)维内积空间，\(\boldsymbol{\varphi}\)是\(V\)上的自伴随算子，则存在\(V\)的一组标准正交基，使得\(\boldsymbol{\varphi}\)在这组基下的表示矩阵为实对角阵，且这组基恰为\(\boldsymbol{\varphi}\)的\(n\)个线性无关的特征向量。

类似地，对于矩阵也有相应的结论。若\(\boldsymbol{A}\)是Hermite矩阵，则存在酉矩阵\(\boldsymbol{P}\)，使得\(\overline{\boldsymbol{P}}'\boldsymbol{A}\boldsymbol{P}\)为实对角阵，即Hermite矩阵酉相似于实对角阵。又若\(\boldsymbol{A}\)是实对称矩阵，则存在正交矩阵\(\boldsymbol{P}\)，使得\(\boldsymbol{P}'\boldsymbol{A}\boldsymbol{P}\)为实对角阵，即实对称矩阵正交相似于实对角阵。上述两种情况中的矩阵\(\boldsymbol{P}\)的\(n\)个列向量恰为矩阵\(\boldsymbol{A}\)的\(n\)个两两正交且长度等于\(1\)的特征向量。实对称（Hermite）矩阵的特征值是实对称（Hermite）矩阵正交（酉）相似的全系不变量。

基于上面的结论，可得到实二次型的正定性与矩阵特征值之间的关系：\(f(\boldsymbol{x})=\boldsymbol{x}'\boldsymbol{A}\boldsymbol{x}\)是\(n\)变元实二次型，\(f\)是正定型当且仅当矩阵\(\boldsymbol{A}\)的特征值全为正数，\(f\)是负定型当且仅当矩阵\(\boldsymbol{A}\)的特征值全为负数，\(f\)是半正定型当且仅当矩阵\(\boldsymbol{A}\)的特征值全非负，\(f\)是半负定型当且仅当矩阵\(\boldsymbol{A}\)的特征值全非正。