哈喽，我是小白~
今儿和大家聊聊关于Numpy在线性代数中的应用~
Numpy 的线性代数操作简化了矩阵运算和数据变换，使得高效处理大规模数据成为可能。通过矩阵分解和求解线性方程，它支撑了回归、降维等核心算法，同时加速了模型的训练与预测。Numpy 的稳定性和速度大大提升了实验的精度和计算性能，使机器学习研究更具实用性。
往期 Numpy 合集
1. 矩阵乘法（np.dot / np.matmul / @ 操作符）
矩阵乘法是一种符合线性变换的运算，定义为矩阵 的第 行和矩阵 的第 列之间的内积。假设 是 矩阵， 是 矩阵，则乘积 是一个 矩阵，其中
应用场景
神经网络前向传播：用于计算权重矩阵和输入的加权和。 特征提取：矩阵乘法可用于将输入数据映射到特征空间。 旋转、缩放等线性变换：在图像处理和计算机视觉中广泛应用。
Python 实现
import numpy as np
# 定义矩阵 A (m x n) 和 B (n x p)
A = np.array([[1, 2, 3], [4, 5, 6]])
B = np.array([[7, 8], [9, 10], [11, 12]])
# 使用 np.dot 计算矩阵乘积
result_dot = np.dot(A, B)
# 使用 np.matmul 计算矩阵乘积
result_matmul = np.matmul(A, B)
# 使用 @ 操作符计算矩阵乘积
result_at = A @ B
print("Result using np.dot:\n", result_dot)
print("Result using np.matmul:\n", result_matmul)
print("Result using @:\n", result_at)
使用 np.dot、np.matmul和@操作符可以完成相同的矩阵乘法操作。在矩阵乘法中， A的列数必须等于B的行数。np.matmul支持多维数组的批处理，而np.dot主要适用于二维矩阵。结果 C是一个 矩阵，每个元素代表 的行和 的列的内积。
2. 矩阵转置（np.transpose / .T）
矩阵的转置是将矩阵的行变为列、列变为行。例如，对于矩阵 的元素 ，其转置矩阵 中的元素为 。
应用场景
调整数据方向：如在机器学习中，将数据从行向量变为列向量。 对称性检查：在优化算法中，检查某些矩阵是否为对称矩阵。 简化矩阵运算：如在相似度计算中，将相同维度的数据转置来简化计算。
Python 实现
# 定义一个矩阵
A = np.array([[1, 2, 3], [4, 5, 6]])
# 使用 np.transpose 进行矩阵转置
A_T = np.transpose(A)
# 使用 .T 属性进行矩阵转置
A_T_alternate = A.T
print("Original Matrix A:\n", A)
print("Transposed Matrix A_T:\n", A_T)
转置后的矩阵形状从 变为 。 在计算中，经常将矩阵转置以匹配相乘矩阵的形状要求，或用于对称性处理。
3. 矩阵求逆（np.linalg.inv）
对于一个方阵 ，其逆矩阵 满足 ，其中 是单位矩阵。求逆的前提是矩阵 非奇异，即行列式不为 0。
应用场景
线性回归的闭式解：通过逆矩阵求解参数。 求解线性方程组：通过矩阵求逆来得到方程组的解。 逆变换：在图像处理中求解逆变换矩阵。
Python 实现
# 定义一个方阵 A
A = np.array([[4, 7], [2, 6]])
# 使用 np.linalg.inv 求逆矩阵
A_inv = np.linalg.inv(A)
# 验证 A * A_inv 是否为单位矩阵
identity_matrix = np.dot(A, A_inv)
print("Matrix A:\n", A)
print("Inverse of A (A_inv):\n", A_inv)
print("Verification (A * A_inv):\n", identity_matrix)
A的逆矩阵A_inv满足 。验证求解的逆矩阵是否正确的方法是计算 是否等于单位矩阵 I。
4. 特征值和特征向量（np.linalg.eig）
对于方阵 ，特征值 和特征向量 满足方程 。特征向量表示矩阵的方向性，而特征值表示矩阵在该方向上的缩放程度。
应用场景
主成分分析（PCA）：使用特征值和特征向量提取数据的主方向。 数据聚类和分类：分析数据分布的主要方向。
Python 实现
# 定义一个方阵 A
A = np.array([[3, 1], [0, 2]])
# 使用 np.linalg.eig 计算特征值和特征向量
eigenvalues, eigenvectors = np.linalg.eig(A)
print("Eigenvalues:\n", eigenvalues)
print("Eigenvectors:\n", eigenvectors)
特征值和特征向量在降维算法中用于表征数据的重要方向。 特征值大的对应方向表示数据在该方向上方差大，即该方向上数据的变化信息更多。
5. 奇异值分解 (SVD)（np.linalg.svd）
SVD 是将矩阵分解为 ，其中 和 是正交矩阵， 是奇异值构成的对角矩阵。SVD 可以表示任何矩阵的最优低秩近似。
应用场景
降维：在推荐系统和信息检索中用于数据压缩。 图像压缩：将图像数据分解为低维近似，减少存储空间。
Python 实现
# 定义一个矩阵 A
A = np.array([[3, 1, 1], [-1, 3, 1]])
# 进行奇异值分解
U, S, Vt = np.linalg.svd(A)
print("U:\n", U)
print("Singular values (S):\n", S)
print("Vt:\n", Vt)
U和Vt是两个正交矩阵，奇异值S描述了矩阵在各方向的尺度。通过截取较大的奇异值，可以得到低维近似，从而实现降维。
6. 范数计算（np.linalg.norm）
范数是表示矩阵或向量“长度”的度量。常见范数包括：
L1 范数：元素绝对值之和。 L2 范数：欧几里得范数（元素平方和的平方根）。 无穷范数：元素绝对值的最大值。
应用场景
正则化：控制模型复杂度，防止过拟合。 距离度量：用于衡量数据之间的相似度或差异性。
Python 实现
# 定义向量 v
v = np.array([3, 4])
# 计算 L2 范数
norm_l2 = np.linalg.norm(v, ord=2)
# 计算 L1 范数
norm_l1 = np.linalg.norm(v, ord=1)
print("L2 Norm of v:", norm_l2)
print("L1 Norm of v:", norm_l1)
L2 范数计算的是向量在空间中的“长度”。 L1 范数常用于稀疏模型，如 Lasso 回归。
好的，我们接着来深入介绍剩余的线性代数操作。以下是每个操作的详细功能、数学背景、应用场景和 Python 实现的解析：
7. 解线性方程组（np.linalg.solve）
在方程组 中， 是系数矩阵， 是未知向量， 是已知的常数向量。解方程组的目的是找到满足这个方程的向量 。前提是 必须是一个方阵且非奇异。
求解方法基于消元法，或通过矩阵的逆来得到 （实际计算时不会直接使用逆矩阵，因为会带来数值不稳定性）。
应用场景
线性回归：在闭式解的求解中，线性方程组求解用于计算参数向量。 物理仿真：在力学、热力学等领域，用于求解平衡方程。 电路分析：在计算电流、电压等变量时需要求解线性方程组。
Python 实现
# 定义系数矩阵 A 和常数向量 b
A = np.array([[3, 1], [1, 2]])
b = np.array([9, 8])
# 使用 np.linalg.solve 求解方程组 Ax = b
x = np.linalg.solve(A, b)
print("Solution x:\n", x)
这里 x是方程组的解，表示满足 和 的值。np.linalg.solve是一种高效的方法，比直接求逆矩阵更稳定。在实际中，求解方程组有时也可以通过 QR 分解等方法得到更精确的解。
8. 矩阵行列式（np.linalg.det）
行列式（determinant）是一个标量，通常记为 或 ，用于判断矩阵是否可逆。对于 方阵 ，其行列式通过递归展开和计算主对角线元素和次对角线元素的乘积之差得到。
行列式的性质：
如果行列式为 0，矩阵不可逆，即奇异矩阵。 行列式的绝对值代表线性变换对体积的缩放因子。
应用场景
判断可逆性：如果行列式为 0，则矩阵不可逆。 线性相关性检测：行列式为 0 表示矩阵的行向量或列向量线性相关。 面积和体积计算：在几何中，通过行列式计算多维形状的面积或体积。
Python 实现
# 定义一个 2x2 方阵 A
A = np.array([[1, 2], [3, 4]])
# 使用 np.linalg.det 计算行列式
determinant = np.linalg.det(A)
print("Determinant of A:", determinant)
行列式的值为 -2，这表示该矩阵是非奇异矩阵，可以求逆。 行列式的绝对值在几何上表示线性变换对二维平面的面积或三维空间体积的缩放效果。
9. 内积和外积（np.inner 和 np.outer）
内积（dot product）：两个向量 和 的内积定义为对应元素的乘积之和。它描述了两个向量在相同方向上的“相似性”。
外积（outer product）：两个向量 和 的外积是一个矩阵，每个元素为 ，可以理解为向量 和 的笛卡尔积。
应用场景
内积： 在机器学习中用于计算相似度，例如余弦相似度。 用于神经网络中的加权和。 外积： 在张量运算中生成高维度数据结构。 在量子力学和图像处理中的特征构造。
Python 实现
# 定义两个向量 a 和 b
a = np.array([1, 2, 3])
b = np.array([4, 5, 6])
# 计算内积
inner_product = np.inner(a, b)
# 计算外积
outer_product = np.outer(a, b)
print("Inner Product of a and b:", inner_product)
print("Outer Product of a and b:\n", outer_product)
内积：结果为 32，相当于 。 外积：结果为一个 矩阵，其中每个元素为 。
10. Cholesky 分解（np.linalg.cholesky）
Cholesky 分解是一种将对称正定矩阵分解为下三角矩阵的乘积的方法，适用于加速求解线性方程组。对于对称正定矩阵 ，可以找到一个下三角矩阵 ，使得 。
应用场景
加速线性方程组求解：Cholesky 分解可以快速求解具有特定结构的方程组。 最优化算法：在二次规划和牛顿法等优化算法中，经常需要求解正定矩阵的线性方程组。 统计学：在多元正态分布中，用 Cholesky 分解生成相关性矩阵。
Python 实现
# 定义一个对称正定矩阵 A
A = np.array([[4, 2], [2, 3]])
# 使用 np.linalg.cholesky 进行 Cholesky 分解
L = np.linalg.cholesky(A)
# 验证 A 是否等于 L * L^T
reconstructed_A = L @ L.T
print("Cholesky Decomposition L:\n", L)
print("Reconstructed A from L * L^T:\n", reconstructed_A)
L是一个下三角矩阵，满足 。Cholesky 分解适用于正定矩阵，如协方差矩阵，它比 LU 分解更高效。
总结
以上详细介绍了 Numpy 中常用的十大线性代数操作。总结它们的应用场景和典型用途如下：
| 操作 | 数学背景 | 主要应用场景 |
|---|---|---|
| 矩阵乘法 | 线性变换 | 神经网络前向传播，特征提取 |
| 矩阵转置 | 行列交换 | 数据对齐，简化矩阵运算 |
| 矩阵求逆 | 满秩方阵逆 | 线性回归闭式解，逆变换 |
| 特征值和特征向量 | 方向性分析 | PCA，数据降维 |
| 奇异值分解 (SVD) | 矩阵低秩分解 | 数据降维，图像压缩 |
| 范数计算 | 向量和矩阵长度度量 | 正则化，距离度量 |
| 解线性方程组 | 方程组求解 | 数据拟合，物理仿真 |
| 行列式 | 矩阵可逆性和体积缩放分析 | 可逆性判断，面积/体积计算 |
| 内积和外积 | 向量相似性，张量生成 | 相似度计算，特征构造 |
| Cholesky 分解 | 正定矩阵分解 | 加速求解方程组，最优化算法 |
这些操作不仅仅在理论上有广泛应用，在实际的机器学习模型构建、数据预处理。
下面，咱们通过上面的一些方法，和大家聊一个案例。
完整案例
我们将使用虚拟数据集展示矩阵分解（SVD）、线性回归、以及范数计算等多个操作，并通过绘制多种图形（在同一图中）来展示数据分析的结果。这个案例可以帮助我们了解特征的重要性、数据的相似性和线性回归模型的拟合效果及误差分布。
我们生成一个包含三个特征的虚拟数据集，并执行以下步骤：
**奇异值分解 (SVD)**：用于确定数据中每个特征的重要性。 特征标准化：通过矩阵范数对数据进行标准化，以便将不同尺度的特征统一。 线性回归建模：利用标准化后的特征预测目标变量。 残差分析：检查预测结果与真实值之间的差异。
Python 代码实现
import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression
from sklearn.preprocessing import StandardScaler
# 设置随机种子
np.random.seed(42)
# 生成虚拟数据集：1000个样本，3个特征
X = np.random.rand(1000, 3)
# 生成目标变量，线性关系 + 噪声
y = 5 * X[:, 0] - 3 * X[:, 1] + 2 * X[:, 2] + np.random.randn(1000) * 0.5
# Step 1: 使用SVD分解X，查看奇异值（各特征的重要性）
U, s, VT = np.linalg.svd(X, full_matrices=False)
# Step 2: 对特征矩阵X进行标准化，以便线性回归和范数计算
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)
# Step 3: 计算不同范数，观察特征在不同尺度下的分布情况
l2_norms = np.linalg.norm(X_scaled, ord=2, axis=0)
l1_norms = np.linalg.norm(X_scaled, ord=1, axis=0)
# Step 4: 使用线性回归拟合标准化后的数据
model = LinearRegression()
model.fit(X_scaled, y)
y_pred = model.predict(X_scaled)
residuals = y - y_pred # 计算残差
# 绘图
fig, ax = plt.subplots(1, 2, figsize=(16, 6))
# 图1：SVD奇异值分析
ax[0].bar(range(1, len(s) + 1), s, color='royalblue', edgecolor='k', label="Singular Values (Importance of Features)")
ax[0].set_title("Singular Values from SVD", fontsize=14)
ax[0].set_xlabel("Feature Index")
ax[0].set_ylabel("Singular Value")
ax[0].legend()
# 图2：标准化特征的范数与残差分析
# 画出特征的L1和L2范数
width = 0.35
indices = np.arange(len(l2_norms))
ax[1].bar(indices - width/2, l2_norms, width=width, color='orange', label="L2 Norm")
ax[1].bar(indices + width/2, l1_norms, width=width, color='teal', label="L1 Norm")
# 在同一个图中绘制残差分布（以紫色显示）
ax[1].scatter(indices + 1.5 * width, residuals[:3], color="purple", edgecolor="k", alpha=0.6, label="Sample Residuals")
# 图例、标题、轴标签
ax[1].set_title("Feature Norms and Residual Analysis", fontsize=14)
ax[1].set_xlabel("Feature Index")
ax[1].set_ylabel("Norm Value / Residuals")
ax[1].legend()
plt.show()
数据生成：生成一个包含三个特征的虚拟数据集，目标值 为三个特征的线性组合加上噪声。 奇异值分解（SVD）：通过 SVD 获得奇异值，帮助分析数据中每个特征的重要性。 范数计算：计算各特征的 L1 和 L2 范数，便于观察特征的分布特性和对模型的影响。 线性回归与残差计算：使用线性回归拟合标准化后的数据，获得残差，以分析模型拟合误差。
图1：展示了奇异值分解 (SVD) 的结果，条形图中的每个奇异值表示每个特征的重要性。奇异值越大，表示该特征在数据中的重要性越高。 图2：显示了标准化后特征的 L1 和 L2 范数（橙色和青色柱形图），以及残差的分布（紫色散点）。L1 和 L2 范数表明了特征的尺度差异和对模型的影响。残差点展示预测值与真实值的差异，有助于观察模型的预测误差大小。
往期 Numpy 合集
