从零手写 K-Fold CV:n=100 时的意外发现
Cross-Validation From Scratch and a Surprise at n=100

教科书告诉我们,LOOCV 偏差最低但方差最高,而 5 折交叉验证则相反。为了验证这一经典理论,我从零开始用 R 语言手写了 K-Fold 交叉验证代码,并在模拟数据上进行了测试。当样本量 n=1000 时,理论完美成立;但令人惊讶的是,当样本量降至 n=100 时,偏差和方差的排序竟然完全颠覆了传统认知。这篇文章不仅展示了如何手动实现交叉验证,更揭示了小样本场景下统计规律的微妙变化,提醒我们在实际应用中对经典理论保持审慎。
教科书说 LOOCV 的偏差最低但方差最高,但在样本量 n=100 时,这一规律竟然不再成立。