Truncated SVD：用32个系数还原月球
文章深入探讨了 Truncated SVD 在数据降维与图像压缩中的神奇应用。作者通过一张1024x1024的月球灰度图演示，仅保留前32个奇异值，就能以16倍的压缩比完美重构图像，而误差微乎其微。这揭示了 PCA 和 SVD 的核心魔力：数据的主要信息往往集中在前几个主成分中，后续的高频细节对整体感知影响甚微。文章还对比了矩形、旋转图形等不同案例，展示了算法在简单与复杂结构下的表现差异，并提及了 Bart Wronski 在纹理压缩领域的实践。无论是理解数据本质还是优化存储，Truncated SVD 都提供了一种优雅的数学视角。
这证明了前几个分量捕捉了 M 中绝大多数的信息，而后续的分量仅承载了高频或低幅度的细微细节。
- bee_rider
如果你想要截断 SVD，那么随机化 SVD 很有可能让你满意。
论文《Finding structure with randomness: Probabilistic algorithms for constructing approximate matrix decompositions》（Halko, Martinsson, and Tropp）就在 arxiv 上。它通常相当易懂（虽然有点数学味），但也为许多常见用例提供了很好的伪代码。
- thearn4
这让我想起了我博士研究时期的一点往事，那时我经常思考 SVD 及其在离散积分算子中的应用。
顺便提一句，关于作者的脚注：如果有任何人对截断 SVD 及其在卷积的低秩近似中的应用感兴趣，这里有一篇我关于该主题的非常过时的论文！:)
https://www.sciencedirect.com/science/article/abs/pii/S01689...
- akilat90
几年前，我刚开始接触 PCA，并在互联网论坛上读了一些相关资料。
当我在博客中看到那个动画时，我立刻就知道那是来自 stats stack exchange 用户“amoeba”的。这虽然很随机，但事实证明我的记忆是准确的：https://stats.stackexchange.com/a/140579