奇异值分解 （SVD）

什么是 SVD？

奇异值分解是一种矩阵分解方法，它将矩阵 A 分解为三个分量：

哪里：

• U 是正交矩阵 （m x m）
• Σ 是包含奇异值 （m x n） 的对角矩阵
• V^T 是另一个正交矩阵 V （n x n） 的转置

Σ 中的奇异值揭示了矩阵的重要属性，例如其秩，并允许我们执行矩阵近似、噪声过滤和其他数据操作任务。

SVD 的特性

• 正交矩阵：U 和 V 都是正交矩阵，这意味着它们的列是相互垂直的。
• 奇异值：Σ 的对角线项是矩阵 A 的奇异值，始终为非负值。
• 应用： SVD 通常用于机器学习，用于降维 （PCA）、数据压缩和协作过滤。

分步示例：手动计算 SVD

为了更好地理解 SVD，让我们手动计算一个简单的 2x2 矩阵的 SVD。

给定矩阵：

第 1 步：查找特征值和特征向量

计算 “A transpose a” 和 “a A transpose” 的特征值和特征向量

第 2 步：构建 V 和 U

“A 转置 a” 的特征向量形成矩阵 V，“a A 转置”的特征向量形成矩阵 U。

第 3 步：计算 Σ

“A transpose a” 的非零特征值的平方根给出了奇异值，这些值填充了 Σ 的对角线。

最终结果：

本手册示例说明了 SVD 如何将矩阵分解为其核心组件，从而揭示其结构和秩。

Python 中的 SVD （NumPy）

Python 的 NumPy 库使计算 SVD 变得容易。以下是使用 numpy.linalg.svd 分解矩阵的方法

import numpy as np

# Define a matrix A
A = np.array([[3, 2], 
              [2, 3]])

# Perform SVD
U, S, Vt = np.linalg.svd(A)

# Display the results
print("U Matrix:\n", U)
print("Singular Values:", S)
print("V Transpose:\n", Vt)

输出：

U Matrix:
 [[-0.70710678 -0.70710678]
 [-0.70710678  0.70710678]]

Singular Values: [5. 1.]

V Transpose:
 [[-0.70710678 -0.70710678]
 [-0.70710678  0.70710678]]

重建原始矩阵

为了验证分解的正确性，我们可以使用 U、Σ 和 V^T 矩阵重建矩阵 A。

# Reconstruct the original matrix A
S_diag = np.diag(S)
A_reconstructed = U @ S_diag @ Vt

print("Reconstructed Matrix A:\n", A_reconstructed)

输出：

Reconstructed Matrix A:
 [[3. 2.]
 [2. 3.]]

这证实了：

SVD 在机器学习中的应用

1. 降维

• SVD 用于主成分分析 （PCA） 以降低数据集的维度。通过仅保留最大的奇异值，我们可以压缩数据，同时保留其大部分重要结构。
• 示例：在高维数据集上应用 SVD 并将其用于图像压缩。

2. 降噪

• SVD 可以通过消除表示噪声分量的较小奇异值来帮助减少数据集中的噪声。
• 示例：使用 SVD 对图像进行去噪。

3. 协同过滤

• 在推荐系统中，SVD 用于分解用户项目矩阵并预测缺失的评级。
• 示例：Netflix 电影推荐系统。

示例：使用 SVD 进行图像压缩

让我们应用 SVD 来压缩图像。我们将仅保留前 k 个奇异值并重建图像。

# pip install scikit-image

import matplotlib.pyplot as plt
from skimage import data, color
from skimage.io import imshow

# Load a grayscale image
image = color.rgb2gray(data.astronaut())

# Perform SVD
U, S, Vt = np.linalg.svd(image, full_matrices=False)

# Retain the top k singular values
k = 50
S_k = np.zeros((k, k))
np.fill_diagonal(S_k, S[:k])

# Reconstruct the image
compressed_image = U[:, :k] @ S_k @ Vt[:k, :]

# Plot the original and compressed image
plt.figure(figsize=(10, 5))
plt.subplot(1, 2, 1)
imshow(image)
plt.title("Original Image")

plt.subplot(1, 2, 2)
imshow(compressed_image)
plt.title(f"Compressed Image (k={k})")
plt.show()

输出：

此代码演示了如何使用 SVD 来减小图像的大小，同时保持大部分视觉信息。