奇异值分解（SVD）原理总结

科技 2024-11-22 10:05 中国香港

点击下方“深度学习爱好者”，选择加p"星标"或“置顶”

前言

奇异值分解（SVD）在降维，数据压缩，推荐系统等有广泛的应用，任何矩阵都可以进行奇异值分解，本文通过正交变换不改变基向量间的夹角循序渐进的推导SVD算法，以及用协方差含义去理解行降维和列降维，最后介绍了SVD的数据压缩原理。Q

1. 正交变换

2. 特征值分解含义

3. 奇异值分解

4. 奇异值分解例子

5. 行降维和列降维

6. 数据压缩

7. SVD总结

1. 正交变换

正交变换公式：

上式表示：X是Y的正交变换，其中U是正交矩阵，X和Y为列向量。

下面用一个例子说明正交变换的含义：

假设有两个单位列向量a和b，两向量的夹角为θ，如下图：

现对向量a，b进行正交变换：

，的模：

由上式可知和的模都为1。

和的内积：

由上式可知，正交变换前后的内积相等。

和的夹角：

比较（2）式和（3）式得：正交变换前后的夹角相等，即：

因此，正交变换的性质可用下图来表示：

正交变换的两个重要性质：

1）正交变换不改变向量的模。

2）正交变换不改变向量的夹角。

如果向量和是基向量，那么正交变换的结果如下图：

上图可以得到重要结论：基向量正交变换后的结果仍是基向量。基向量是表示向量最简洁的方法，向量在基向量的投影就是所在基向量的坐标，我们通过这种思想去理解特征值分解和推导SVD分解。

2. 特征值分解的含义

对称方阵A的特征值分解为：

其中U是正交矩阵，是对角矩阵。

为了可视化特征值分解，假设A是2×2的对称矩阵，，。（2.1）式展开为：

用图形表示为：

由上图可知，矩阵A没有旋转特征向量，它只是对特征向量进行了拉伸或缩短（取决于特征值的大小），因此，对称矩阵对其特征向量（基向量）的变换仍然是基向量（单位化）。

特征向量和特征值的几何意义：若向量经过矩阵变换后保持方向不变，只是进行长度上的伸缩，那么该向量是矩阵的特征向量，伸缩倍数是特征值。

3. SVD分解推导

我们考虑了当基向量是对称矩阵的特征向量时，矩阵变换后仍是基向量，但是，我们在实际项目中遇到的大都是行和列不相等的矩阵，如统计每个学生的科目乘积，行数为学生个数，列数为科目数，这种形成的矩阵很难是方阵，因此SVD分解是更普遍的矩阵分解方法。

先回顾一下正交变换的思想：基向量正交变换后的结果仍是基向量。

我们用正交变换的思想来推导SVD分解：

假设A是M*N的矩阵，秩为K，Rank(A)=k。

存在一组正交基V：

矩阵对其变换后仍是正交基，记为U：

由正交基定义，得：

上式展开：

∴ （3.2）式得：

即假设成立。

图形表示如下：

正交向量的模：

单位化正交向量，得：

结论：当基向量是的特征向量时，矩阵A转换后的向量也是基向量。

用矩阵的形式表示（3.3）式：

V是N*K矩阵，U是M*K矩阵，是M*K的矩阵，需要扩展成方阵形式：

将正交基扩展空间的正交基，即U是M*M方阵。

将正交基扩展成空间的正交基，其中是矩阵A的零空间，即：

对应的特征值=0，是M*N对角矩阵,V是N*N方阵

因此（3.4）式写成向量形式为：

得：

（3.5）式写成向量形式：

令：

则：

A = XY

因为X和Y分别是列满秩和行满秩，所以上式是A的满秩分解。

（3.5）式的奇异矩阵的值是特征值的平方根，下面推导奇异值分解的U和V：

即V是的特征向量构成的矩阵，称为右奇异矩阵。

即U是的特征向量构成的矩阵，称为左奇异矩阵。

小结：矩阵A的奇异值分解：

其中U是的特征向量构成的矩阵，V是的特征向量构成的矩阵，奇异值矩阵的值是特征值的平方根。

3. 奇异值分解的例子

本节用一个简单的例子来说明矩阵是如何进行奇异值分解的。矩阵A定义为：

4. 行降维和列降维

本节通过协方差的角度去理解行降维和列降维，首先探讨下协方差的含义：

单个变量用方差描述，无偏方差公式：

两个变量用协方差描述，协方差公式：

多个变量（如三个变量）之间的关系可以用协方差矩阵描述：

相关系数公式：

由上式可知，协方差是描述变量间的相关关系程度：

1）协方差cov(x,y) > 0时，变量x与y正相关；

2）协方差cov(x,y)<0时，变量x与y负相关；

3）协方差cov(x,y)=0时，变量x与y不相关；

变量与协方差关系的定性分析图：

现在开始讨论和的含义：

假设数据集是n维的，共有m个数据，每一行表示一例数据，即：

表示第i个样本，表示第j维特征，表示第i个样本的第j维特征。

由上式可知，是描述各特征间相关关系的矩阵，所以的正交基V是以数据集的特征空间进行展开的。

数据集A在特征空间展开为：

由上一篇文章可知，特征值表示了在相应特征向量的信息分量。特征值越大，包含矩阵的信息分量亦越大。

若我们选择前r个特征值来表示原始数据集，数据集A在特征空间展开为：

（4.2）式对列进行了降维，即右奇异矩阵V可以用于列数的压缩，与PCA降维算法一致。

行降维：

由上式可知：是描述样本数据间相关关系的矩阵，因此，左奇异矩阵U是以样本空间进行展开，原理与列降维一致，这里不详细介绍了。

若我们选择前r个特征值来表示原始数据集，数据集A在样本空间展开为：

因此，上式实现了行降维，即左奇异矩阵可以用于行数的压缩。

5. 数据压缩

本节介绍两种数据压缩方法：满秩分解和近似分解

矩阵A的秩为k，A的满秩分解：

满秩分解图形如下：

由上图可知，存储X和Y的矩阵比存储A矩阵占用的空间小，因此满秩分解起到了数据压缩作用。

若对数据再次进行压缩，需要用到矩阵的近似分解。

矩阵A的奇异值分解：

若我们选择前r个特征值近似矩阵A，得：

如下图：

我们用灰色部分的三个小矩阵近似表示矩阵A，存储空间大大的降低了。

6. SVD总结

任何矩阵都能进行SVD分解，SVD可以用于行降维和列降维，SVD在数据压缩、推荐系统和语义分析有广泛的应用，SVD与PCA的缺点一样，分解出的矩阵解释性不强。

参考：

https://blog.csdn.net/zhongkejingwang/article/details/43053513

https://www.cnblogs.com/pinard/p/6251584.html

下载1：Pytoch常用函数手册
在「深度学习爱好者」公众号后台回复：Pytorch常用函数手册，即可下载全网第一份Pytorch常用函数手册，涵盖Tensors介绍、基础函数介绍、数据处理函数、优化函数、CUDA编程、多线程处理等十四章章内容。
下载2：Python视觉实战项目52讲
在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。

交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~

http://mp.weixin.qq.com/s?__biz=MzU1OTYzNjg5OQ==&mid=2247570745&idx=3&sn=55d963f9f0b3cce19c47ca4c3ad3f772

深度学习爱好者

分享机器学习、深度学习和Python等知识与原理，每天分享深度学习与计算机视觉领域的经典和最新的论文总结，带读者一起跟踪前言科技！

最新文章

微调 YOLO 做车辆、人员、交通标志检测 | 附代码+数据集

【魔改Mamba系列】视觉Mamba和多尺度多频率特征融合，实现遥感图像分割：

使用视觉语言模型（VLMs）进行目标检测

招生信息 | 加州大学圣地亚哥分校Dr. Lianhui Qin招收NLP方向博士

【魔改Mamba系列】Mamba-YOLO-World: 将 YOLO-World 与 Mamba 结合用于开放词汇检测

视觉Transformer同架构设计和训练技巧

美国教授痛心：UC伯克利GPA 4.0计算机本科生，毕业即失业？ML博士直呼太卷后悔转行

医图论文 Arxiv'24 | TP-UNet：用于医学图像分割的时间提示引导UNet

知识蒸馏综述：代码整理

招生信息 | 波士顿学院Dr. Yuan Yuan实验室开放人工智能方向多个博后、博士、硕士及本科生岗位

【魔改YOLO系列】Hyper-YOLO: 利用超图计算增强目标检测

思考 | 什么时候不要使用神经网络？

招生信息 | 英国贝尔法斯特女王大学Dr. Shuyan Li团队招生

【魔改YOLO系列】YOLO-Claw：快速准确的鸡爪检测方法

你是几级调参侠？

博士招生 | 深圳理工大学人工智能学院客座研究生招聘

【魔改YOLO系列】YOLO-PPA：YOLO中引入并行块感知注意力实现高效交通标志检测

使用YOLO World进行高性能目标检测

招生信息 | 香港城市大学Dr. Su Wen招收统计学习方向博士生

【魔改YOLO系列】Hyper-YOLO: 超图计算与YOLO结合实现目标检测

奇异值分解（SVD）原理总结

Nature打破传统！“天才大神”展示深度学习＋视觉成像的全新思路！将颠覆传统研究！

招生信息 | 英国贝尔法斯特女王大学计算机系Shi Xinming博士团队招募

知乎高赞：为什么编程语言会发展出“类型”？

约翰霍普金斯大学PENSA实验室Sijia Geng 博士招生

【魔改Mamba系列】混合Mamba算法在少样本分割中的应用

收藏 | 卷积神经网络压缩方法总结

招生信息 | 新加坡NUS计算机工程系Jin Yueming教授招收博士及博士后

【魔改Mamba系列】UNetMamba：一种用于高分辨率遥感图像语义分割的高效UNet类Mamba模型

使用零样本目标检测识别物体 | 附代码

独自一人，怒发顶会！！

招生信息 | 香港科技大学（广州）丁宁宁教授实验室博士招生

【魔改Mamba系列】CAMS: 基于Mamba的无卷积和无注意力的图像分割

特征选择的通俗讲解！

招生信息 | 新泽西理工学院计算学院信息学系Dr. Chenxi Yuan 招募博士

【魔改Mamba系列】RemoteDet-Mamba：用于遥感图像中多模态目标检测的混合Mamba-CNN网络

kaggle图像分割实战要点与技巧总结

博士招生 | 南京大学智能科学与技术学院，范琦老师招收2025年入学的博士生，以及实习生、科研助理

【魔改Mamba系列】Sigma: 用于多模态语义分割的孪生Mamba网络

一篇文章梳理清楚 Python 多线程与多进程

【魔改Mamba系列】混合Mamba算法在少样本分割中的应用

知识蒸馏综述：蒸馏机制

招生信息 | 墨尔本大学计算与信息系统学院 Dr. Ting Dang 诚招博士生

【魔改Mamba系列】DSDFormer: 一种创新的Transformer-Mamba框架，用于鲁棒高精度驾驶员分心识别

图像处理——过程全解析，配图超详细！

博士招生 | 埃默里大学计算机科学系Dr. Guo Zhichun实验室博士生招生

【魔改YOLO系列】无源域自适应YOLO目标检测

一博士狂编200多篇SCI发表，被揭发后畏罪自杀...网友：堪称史诗级学术骗局！

大模型经典著作《大语言模型基础与前沿》

博士招生 | UIUC 计算机科学系实验室博士生、博士后招募

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉