SPSS异常值剔除.docx

离群值（箱图／探索）.值与框的上下边界的距离在1.5倍框的长度到3倍框的长度之间的个案。框的长度是内距。
极端值（箱图）.值距离框的上下边界超过3倍框的长度的个案。
在回归模型诊断里面，一般称预测值与实际值的偏差为"残差",残差有几种表示方法:标准化残差, 学生化残差等等，按照需要取一种残差，再按照某种标准取一个阀值来限定异常点，只要那个点的残差大于阀值，就可以认为它是异常点。
data下拉菜单里有define variable properties,把变量选到右边的框里，点continue，在新窗口中有变量在样本中的所有取值，要定义某个值是异常值，就把相应的missing框勾上就ok啦~~~然后再处理数据时这些值就已经被剔除，不参与分析了

一、采用数据探索过程探测异常值

　　SPSS菜单实现程序为: 主菜单-->“Analyze”-->“Descriptive Statistics”-->“Explore……”选项-->“Statistics”按钮-->选中“Outliers”复选框。输出结果中将列出5个最大值和5个最小值作为异常的嫌疑值。
一般数组应遵循正态分布，但一列数组中有可能会出现异常值，从而影响数据的方差和统计结果，因此挡在SPSS中输入数据后，首先要检查数据中是否存在异常值。方法如下：

1. 选择想要观察的数据，此处我们选择normal 列中的数据进行查看

2. 进入菜单栏中“分析”→“描述统计”→“探索”

3. 将“normal”数组放入因变量列表中

4. 点击“探索”窗口中的“统计量”，点掉“描述性”，选择“界外值”和“百分位数”

5. 点击“探索”窗口中“绘制”，选择“直方图”，去掉“茎叶图”

6. 选择结束后点击“探索”窗口“确定”查看结果：
（1） 百分位数图：
百分位数

百分位数
5
10
25
50
75
90
95
加权平均（定义 1）
normal
16.8172
16.8172
17.8396
19.3810
26.0281
29.3039
29.3039
Tukey 的枢纽
normal

18.2784
19.3810
23.8990

（2） 以50%左右两个百分位数（即四分位数25和75下方的加权平均值）的加权平均值计算最高和最低临界值，使用计算公式如下：
Upper=Q3+(2.2*(Q3-Q1))
Lower=Q1-(2.2*(Q3-Q1))
此处Q3=26.0281, Q1=17.8396
计算后，Upper=44.0428，Lower=-0.1751
（3） 查看“极值”表格：
极值

案例号
值
normal
最高
1
20
29.30
2
22
29.30
3
24
29.30
4
46
29.30
5
47
29.30a
最低
1
81
16.82
2
78
16.82
3
75
16.82
4
57
16.82
5
54
16.82b
a. 上限值表中仅显示一部分具有值 29.30 的案例。
b. 下限值表中仅显示一部分具有值 16.82 的案例。

如果有最高值查过Upper，或最低值小于Lower值，则被视为Outliers, 即异常值。由图中看，此列数组并无异常值

　　二、采用箱线图（boxplot）探测异常值

箱线图比较直观、形象易于理解，因此它在统计分析中占有非常重要的地位。
　　 1. 利用上述的数据探测过程，在“Explore”对话框中单击“Plots”，出现如图2所示的对话框，通过“Boxplots”方框可以确定箱线图的生成方式。“Factor levels together”复选框表示将要为每个因变量创建一个箱线图，“Dependent together”复选框表示将为每个分组变量水平创建箱线图，“None”复选框表示不创建箱线图。
　　 2. 直接利用SPSS中的画图功能实现箱线图，SPSS给出了两种箱线图，一种是基本箱线图，另一种是交互式箱线图。基本箱线图的SPSS菜单实现为:点击主菜单中的“Graphs”选项，在弹出的一级菜单中选择“Boxplot……”选项。交互式箱形图的SPSS菜单实现为:点击主菜单中的“Graphs”选项，在弹出的一级菜单中点击“Interactive”选项，在弹出的二级菜单中选择“Boxplot……”选项。下面仍以A公司雇员分工种的开始工资为例构造基本箱线图(如图3)。箱线图中的“○”表示可疑的异常值，此处异常值的确定采用的是“五数概括法”，即:变量值超过第75百分位点和25百分位点上变量值之差的1.5倍(箱体上方)或变量值小于第75百分位点和25百分位点上变量值之差的1.5倍(箱体下方)的点对应的值。

三、SPSS 14 后的新功能 Data > Validation：？？？如何设置。。。

四、Z分标准化法（3δ法）：±3δ 以外的数据为高度异常值，应予剔除。
  在异常数据的删除方法中，最常用的就是拉依达准则法，即我们所熟知的3δ法，也就是把一组观测数据中与平均值的偏差超过两倍标准差范围的数据剔除。spss中的步骤如下：
一、analyze >> descriptive statistics >>descriptives>>  选择变量（列）到右边的框里>>点选save standardized values as variables >>选择ok
二、在data里选中select cases，之后选择if相关，点按钮设置，进入后输入-2<=变量&变量<=2,continue,之后Unselected casees are filtered 或者deleted,然后OK

五、数据异常值的检验

　　SPSS中没有提供直接检验异常数据的工具，但是使用SPSS能使异常值的检验工作变得非常方便。通过SPSS中的Frequencies等过程，可以对指定变量的数据同时得到均值、方差等统计量，代入上述的公式，结合查表，很快就能得出检验结果。在多个异常数据下，使用SPSS更显方便，因为剔除前一个异常数据后，需要对剩余的数据重新计算均值和方差，如果数据很多，用手工计算将是很烦琐的事情，而且准确度不高。而通过SPSS，只需要重新选择数据以后，重复一次Frequencies过程的操作就可以了。
分别对含异常值和删去异常值两种情况下的数据进行分析，并比较后才能增加可信度，避免误删。

六、SPSS中异常值的剔除

发现异常值后，把大于等于最小异常值或小于等于最大异常值的值用Data主菜单里的Cases Select子菜单里的条件设置按钮，就可以自动剔除异常值。