矩阵微积分及其应用(一)—— 极限

2021年5月14日 168点热度 1人点赞 0条评论

引言

在线性代数的学习中,我们学习了线性映射线性空间等一些核心知识,但是完全没有涉及类似于数学分析中的极限、微积分等运算,但是,在研究优化问题以及人工智能算法的时候,这些运算又是必不可少的。比如,在图像处理、模式识别等领域常常需要利用特定的线性变换将高维向量压缩成低维向量或者将低维向量还原为高维向量,并且使误差尽可能小,描述此类问题的数学模型是:

相当于求以矩阵$U$为自变量的函数
$$
J(U)=
\begin{Vmatrix}
U \alpha - \beta
\end{Vmatrix}
,\quad
其中U\in R^{m \times n},\alpha \in R^n,\beta \in R^m
$$
在约束条件$U^TU=I$或$UU^T=I$下的最小值点(矩阵)。

解决这种优化问题的一个可行方法就是求矩阵函数$J(U)$关于未知矩阵$U$的导数,这就需要研究矩阵的微积分。微积分的理论建立在极限之上,极限以距离为基础。所以我们需要首先定义矩阵的距离,而上一章中矩阵的范数就是一种距离,一切都顺理成章了。类比数学分析中极限和微积分的理论,我们可以讨论矩阵函数的微分和积分。

1 向量序列和矩阵序列的极限

微积分理论的建立,是以极限理论为基础的。所以,我们首先讨论一下向量和矩阵序列的极限运算。

1.1 向量序列的极限

定义 1.1(按范数收敛) 设$x^{(k)},x \in C^n(k=1,2,\cdots)$,若
$$
\begin{Vmatrix}
x^{(k)}-x
\end{Vmatrix}
\rightarrow 0, \quad k \rightarrow +\infty
\tag{1.1}
$$
记为
$$
\lim_{x \to + \infty}x^{(k)}=x \tag{1.2}
$$

$$
x^{(k)} \to x, \quad k \to +\infty \tag{1.3}
$$
由向量范数之间的等价关系可知,在某一向量范数意义下收敛,在其他向量范数意义下也一定收敛。

定义 1.2 若赋范线性空间中任一收敛向量序列的极限均属于此赋范线性空间,则称此赋范线性空间为完备的赋范线性空间,或称为巴拿赫(Banach)空间

在巴拿赫空间中,柯西收敛原理成立。

定理1.1 设$x^{(k)}=(x_{1}^{(k)},x_{2}^{(k)},\cdots,x_{n}^{(k)})^T,x=(x_{1},x_{2},\cdots,x_{n})\in C^n$,则此向量序列$x^{(k)}$收敛于$x$的充要条件为:每一个坐标分量序列$x_{i}^{(k)}$收敛于$x_{i}$,即
$$
\lim_{k \to +\infty}x_{i}^{(k)}=x_{i},\quad i=1,2,\cdots ,n\quad(\text{按坐标收敛}) \tag{1.4}
$$

1.2 矩阵序列的极限

由于$n$阶矩阵可以看作是一个$n \times n$维向量,其收敛性可以和$C^n$中的向量一样考虑。所以,我们可以按照矩阵各个元素序列的同时收敛来规定矩阵序列的收敛性。

定义 1.3 设有矩阵序列${A^{(k)}}$,其中$A^{(k)}=(a_{ij}^{(k)}) \in C^{n \times n}$ ,且当$a_{ij}^{(k)} \to a_{ij}$,则称$A^{(k)}$收敛,并把矩阵$A=(a_{ij})$叫做${A^{(k)}}$的极限,或称${A^{(k)}}$收敛于$A$,记为
$$
\lim_{k \to +\infty}A^{(k)}=A \quad 或 \quad A^{(k)} \to A \tag{1.5}
$$
不收敛的矩阵序列称为发散的。

关于矩阵序列的极限运算有下述性质:

性质 1
$$
\begin{equation}
\text{设} \quad \lim_{k \to +\infty}A^{(k)}=A,\lim_{k \to +\infty}B^{(k)}=B,\quad 则
\end{equation}\\
\lim_{k \to +\infty}(aA^{(k)}+bB^{(k)})=aA+bB, \quad a,b \in C
$$
性质 2
$$
\text{设} \quad \lim_{k \to +\infty}A^{(k)}=A,\lim_{k \to +\infty}B^{(k)}=B,\quad A^{(k)},B^{(k)} \in C^{n \times n},则\\
\lim_{k \to +\infty}A^{(k)}B^{(k)}=AB
$$
性质 3
$$
设\lim_{k \to +\infty}A^{(k)}=A,且A^{(k)}(k=1,2,\cdots),A均可逆,则{(A^{(k)})^{-1}}也收敛,且 \\
\lim_{k \to +\infty}(A^{(k)})^{-1}=A^{-1}
$$
定理 1.2 设有矩阵序列${A^{(k)}}:A,A^2,\cdots,A^k,\cdots,$则$\lim_{k \to +\infty}A^k$=0的充分必要条件是矩阵$A$的所有特征值的模都小于$1$,即$A$的谱半径小于$1$,即
$$
\rho(A)<1 \tag{1.6}
$$

agedcat_xuanzai

这个人很懒,什么都没留下

文章评论