医微客 - 岭回归

岭回归

临床研究

1970-01-01

7177 0

一、问题与数据

在前期推送的有关多重线性回归的内容中，我们讨论了当自变量之间存在多重共线性时，可以采用变量剔除和逐步回归的方法，对自变量进行一定的筛选，从而避免在模型拟合时出现多重共线性的问题。

但不管是变量剔除还是逐步回归，往往有时候会出现我们所研究的重点因素被剔除了模型，或者该因素估计的偏回归系数与实际明显相反的情况，此时所得出的结论可靠度也较差。当我们希望能够建立因变量与某个给定自变量的回归模型，但在模型中又出现自变量多重共线性时，应该如何进行处理呢？

今天我们讨论处理多重共线性的一种常用方法--岭回归。

岭回归

岭回归（Ridge Regression）在1962年首次提出，是采用改进的普通最小二乘法，用于处理自变量多重共线性问题的一种有偏估计回归方法。岭回归放弃了普通最小二乘法的无偏估计，损失了部分信息，因此岭回归方程的R²通常会稍低于普通最小二乘法回归，但其估计的偏回归系数往往更接近真实的情况，从而提高了回归模型的稳定性和可靠性，对于病态数据的修复和拟合，具有较好的效果。

岭参数K值

岭回归的原理较为复杂，简单来说就是通过在正规方程中引入一个有偏常数，通常称为岭参数（K值），从而求得回归估计量。当K=0时即为最小二乘法估计，由于岭回归为有偏估计，K的取值应尽可能小，才能确保更接近于最小二乘法的无偏估计，因此岭回归分析的一个重要问题就是确定岭参数K的最适宜取值。

岭迹分析确定K值

当岭参数K值发生变化时，我们可以将各个自变量的岭迹曲线描绘出来，即对每个自变量绘制出随K值变化而引起岭回归估计值变化的曲线，称作为岭迹图，如图1所示。通过岭迹图分析，根据曲线的变化形状来确定适宜的K值。

一般要求当各个自变量的回归系数的岭轨迹基本趋于稳定，用最小二乘法估计时符号不合理的回归系数，其岭估计的符号变得合理，残差平方和增长不太多时，此时对应的K值就是要寻找的最适宜的K值。此外也可以应用方差膨胀因子法，选择的K值使得岭回归估计的所有自变量VIF<10。

图1. 岭迹图

岭回归变量选择

在岭回归中，对自变量的选择可以遵循以下几个参考原则：

1. 在岭回归的计算中，由于其回归系数是已经经过标准化了，可以直接比较不同自变量标准化回归系数的大小，因此可以剔除标准化回归系数比较稳定，且绝对值很小的自变量，因为这些自变量对因变量的影响较小。

2. 通过岭迹图分析，当K值较小时标准化回归系数并不小，随着K值的增加，标准化回归系数很不稳定，迅速趋近于0，对于此类自变量可以考虑予以剔除。

3. 根据上述两个原则，在剔除部分变量后，需要再次进行岭回归分析，根据剔除变量后的拟合效果再做相应的调整。

以上是对岭回归基本知识的一个简单介绍，大家最关心的还是如何通过SPSS软件来实现岭回归分析。很遗憾，SPSS并没有直接提供进行岭回归分析的对话框界面，不过没关系，其实SPSS已经为我们提供了一套名为Ridge Regression.sps的程序，隐藏在安装目录中，可以直接进行简单的调用就能实现岭回归的分析。

研究问题

某研究人员测量了97名受试者的某项生理指标（Y），并收集了他们的性别（Gender）、总胆固醇（CHO）、低密度脂蛋白胆固醇（LDL）、甘油三酯（TG）、C反应蛋白（CRP）等资料，拟探讨这些因素对指标Y的影响。

二、对问题分析

共线性诊断

针对该研究问题，判断是一个较为典型的回归分析，因此我们首先构建标准的多重线性回归模型，并进行自变量的共线性诊断（具体操作过程请参照前期推送的多重线性回归的内容）。

结果显示，CHO与LDL的相关系数为0.862（P<0.001），呈现高度相关性，同时CHO和LDL的Tolerance均<0.2，VIF值均>5，提示这两个变量之间存在多重共线性。同时，结合专业知识，CHO和LDL对指标Y的影响应为负向影响，但是回归模型估计的偏回归系数却显示，LDL为负向影响，CHO为正向影响，与实际情况矛盾，也提示两者存在多重共线性的问题，因此考虑使用岭回归的方法来进行处理。

普通最小二乘法得到的回归方程如下：

Y=1.705*Gender + 1.393*CHO - 1.433*LDL + 0.938*TG + 0.613* CRP + 22.633