【线性代数】直观理解伪逆矩阵

文摘   2024-09-10 08:01   荷兰  

伪逆矩阵(Pseudoinverse)是一个我最近才学习的线代概念,最一开始的时候,我在对于伪逆的理解方面碰到了一些困难,今天再重新阅读教科书后才想通了对伪逆的直观理解。如果你也对伪逆矩阵似懂非懂,或者不满于自己目前对其的理解水平,不妨来看看我的这篇总结笔记吧!


1 直观理解矩阵和逆矩阵

我在之前的文章中已经提到过,任何矩阵A都可以看作是某种“线性变换”。具体来说,当我们用A左乘x,也就是Ax时,其实就可以把A看作是一种“扭曲射线”,它将x所在的整个空间进行扭曲,所以也顺带着将x进行变化。如果你无法理解我上述的比喻,可以先看看公众号中的《【可视化理解特征向量】线代老师教不明白的,我来教!》。

那么逆矩阵是什么呢?逆矩阵A-1就是A这一“扭曲射线”的解药!当我们对x所在的空间施加矩阵A对应的扭曲射线时,x被连带着扭曲成了Ax;紧接着,我们对这一空间施加解药A-1,空间复原,x也变回了A-1Ax=x。当然,你也可以把向量x想象成柯南,那么某特定矩阵A就是把他变成小学生的毒药,而对应的逆矩阵A-1就是让他变回大人的解药!

我们也可以通过动画来看看矩阵和逆矩阵的功效,假如有如下矩阵A及其逆矩阵A-1,以及向量x

我们可以可视化线性变换/“空间扭曲”过程Ax

以及“施加解药”的过程A-1Ax

以上就是对矩阵和逆矩阵的直观理解,我们知道,并非所有的矩阵都可逆,确切来说,只有当某m*n矩阵为方阵(m=n)并且满秩(r=m=n)时,该矩阵才可逆。那么,我们如何直观理解一些不可逆矩阵呢?


2 直观理解不可逆矩阵

不可逆其实是一个我们在中学时期生物课就学过的概念,生物老师在课上曾经提到:蛋白质的热变换是不可逆。用大白话来说,就是生鸡蛋可以煮成熟鸡蛋,但熟鸡蛋不能反生。

我们可以把这个“不可逆”的概念过渡到对不可逆矩阵的理解中来:给定矩阵A与向量x,当我们对x施加A的变换/扭曲后,如果我们无法找到某个特定矩阵,使其复原,这时我们就说A(这一线性变换)不可逆

那么怎么样的变换会是不可逆的呢?我们先给出答案:“降维打击”是不可逆的。现在我们具体来看什么是“降维打击”:

上述动图完美描述了一次“降维打击”:原先的二维空间(由x轴和y轴张成),被变换成了一根数轴,也就是说被降维成了1维空间。而原先躺在二维空间中的一条向量,也被压缩进了一维空间中——降维打击导致它某个方向的分量缩减为0。而比较遗憾的是,在线性代数中,这个变为0的部分是无法挽回的,或者说我们没有办法把已经降维了的空间重新抬升回原来的维度。所以我们无法找到这次“降维打击”对应矩阵A的逆矩阵,矩阵A不可逆。

以上是对不可逆的直观理解,接下来我们就可以来看看,如何直观理解某不可逆矩阵A的伪逆矩阵A+


3 直观理解伪逆矩阵A+

由于缺乏比较好的可视化工具,并且我自己今天比较懒得手动绘图,所以以下文字描述可能会有一些抽象。看完后希望有更清晰的可视化呈现的读者可以给我留言,我可以再出一期可视化的呈现(也可以一个知识点写两期推文哈哈哈)

我们刚刚提到,某个矩阵A不可逆,是由于当我们进行Ax变换时,Ax的某个分量降低为0,这个“降维”的过程是无法挽回的。但是想象一下,还是在一个二维空间中,假如某个向量x被打击的分量本身就为0(比如,它就是一个躺在y轴上的向量)。这时,即使我们进行Ax变换,我们无非只是使原来就为0的分量保持为0。换句话说,我们并没有做出某些无法挽回的变换,夺去x原来有的某个部分(因为这个部分原来就没有)。所以反过来说,我们做的变换是可以挽回的,而这个挽回的过程就是A的伪逆矩阵A+

总结一下,对于某不可逆矩阵A,我们可以将其理解为某种“降维打击”,这种降维打击施加的影响往往是不可逆的!但我们总是可以找到一些向量,这些向量因为本身就“躺”在特定的空间里(这个空间实际上就是A的行空间,具体原因不在此赘述),它们对A所施加的“降维”是免疫的。而这时A对它们的变换由于失去降维的特性,也就可逆了,这一可逆的变换就蕴含在A+中。


如上,就是关于可逆矩阵的直观理解的所有内容。如果你希望我做一期可视化呈现的话,请在文章底部给我留言,谢谢!

PsychoStatisticia
一个统计学研究者的个人天地
 最新文章