缺失数据

相关概念

在介绍缺失数据的解决方案之前，需要明确几个相关的统计概念：

完全随机缺失的

假设一个特殊变量Y有缺失数据。如果Y缺失数据的概率与Y本身的值或在该数据组中任何其他变量的值都无关的话，那么Y的数据就是完全随机缺失的（MCAR）。

随机缺失的

如果在分析中控制了其他变量后，Y缺失数据的概率与Y值无关，则称Y的数据为随机缺失（MAR）的，即：
Pr（Y missing|Y，X）=Pr（Y missing|X）。

可忽略的

如果数据位MAR且管制缺失数据过程的参数与要估计的参数无关，则缺失数据的机制是可忽略的。在某些情况下，MAR和可忽略性可以视为相等的条件。

不可忽略的

如果数据不是MCAR或MAR，则说缺失数据机制是不可忽略的。

缺失数据解决方案

解决缺失数据问题的方法主要有：成列删除、成对删除、虚拟变量调整、插补、多重插补和最大似然。

虚拟变量调整

虚拟变量调整或缺失指标方法：假设某变量X有一些缺失数据，X为回归分析中数个自变量的其中一个，那么可以建立一个虚拟变量D，如果X存在数据缺失则D=1，否则D=0。同时建立一个变量X'，使得当不存在数据缺失时X'=X，否则X'等于一个任意常数c。回归因变量Y于X'、D及其他在预设模型中的所有变量。
虚拟变量调整方法的优点是：它使用了所有可用的关于缺失数据的信息。
虚拟变量调整方法的缺点是：它通常会产生有偏误的系数估计值。

插补

插补方法的基本原理是：以某些合理的猜测插补或替代缺失值，然后再接着按没有缺失数据的情况进行分析。但是，按照完整数据的情况分析插补数据会低估标准误、高估检验统计量。

多重插补

多重插补法（MI）具有与最大似然法相同的最适特性，但却排除了某些局限性。特别是当数据为MAR时，正确使用多重插补会产生一致的、渐近有效且渐近正态的估计值。多重插补的另一个优势是，它几乎可以被任何一种数据或模型所使用，且分析可以利用未修改的、传统的软件执行。不过，多重插补也有缺点，它的执行可能很麻烦也很容易出错，最严重的是每次使用多重插补时，都会产生不同的估计值。

不可忽略的缺失数据

任何有关不可忽略的缺失数据的方法都应伴随一个敏感性分析，因为根据假设的模型，结果可能变化很大，故试验一貌似有理范围的模型并看它们是否产生相同的结果是很重要的。