第29课 完全随机
设计
领导形象设计圆作业设计ao工艺污水处理厂设计附属工程施工组织设计清扫机器人结构设计
Kruskal-Wallis秩和检验
1、 完全随机设计的Kruskal-Wallis秩和检验
方差分析过程关注三个或更多总体的均值是否相等的问题,数据是被假设成具有正态分布和相等的方差,此时F检验才能奏效。但有时采集的数据常常不能完全满足这些条件。象两两样本比较时,我们不妨尝试将数据转换成秩统计量,因为秩统计量的分布与总体分布无关,可以摆脱总体分布的束缚。在比较两个以上的总体时,广泛使用非参数的Kruskal-Wallis秩和检验,它是对两个以上的秩样本进行比较,本质上它是两样本时的Wilcoxon秩和检验方法在多于两个样本时的推广。
Kruskal-Wallis秩和检验,首先要求从总体中抽取的样本必须是对立的,然后将所有样本的值混合在一起看成是单一样本,再把这个单一的混合样本中值从小到大排序,序列值替换成秩值,最小的值给予秩值1,有结值时平分秩值。将数据样本转换成秩样本后,再对这个秩样本进行方差分析,但此时我们构造的统计量KW不是组间平均平方和除以组内平均平方和,而是组间平方和除以全体样本秩方差。这个KW统计量是我们判定各组之间是否存在差异的有力依据。
设有
组样本,
是第
组样本中的观察数,
是所有样本中的观察总数,
是第
组样本中的秩和,
是第
组样本中的第
个观察值的秩值。需要检验的原假设为各组之间不存在差异,或者说各组的样本来自的总体具有相同的中心或均值或中位数。在原假设为真时,各组样本的秩平均应该与全体样本的秩平均
比较接近。所以组间平方和为
组间平方和
(29.1)
恰好是刻划这种接近程度的一个统计量,除以全体样本秩方差,可以消除量纲的影响。样本方差的自由度为
。所以全体样本的秩方差为
全体样本的秩方差=
=
=
=
=
(29.2)
因此,Kruskal-Wallis秩和统计量KW
(29.3)
如果样本中存在结值,需要调整公式(29.3)中的KW统计量,校正系数C为
(29.4)
其中
第j个结值的个数。调整后的KWc统计量为
(29.5)
如果每组样本中的观察数目至少有5个,那么样本统计量KWc非常接近自由度为
的卡方分布。因此,我们将用卡方分布来决定KWc统计量的检验。
例29.1某制造商雇用了来自三个本地大学的雇员作为管理人员。最近,公司的人事部门已经收集信息并考核了年度工作成绩。从三个大学来的雇员中随机地抽取了三个独立样本,见表29.1中的第2、4、6列所示。制造商想知道是否来自这三个不同的大学的雇员在管理岗位上的表现有所不同。
表29.1 来自三个不同大学雇员得分及统一秩值
雇员
大学A
统一编秩
大学B
统一编秩
大学C
统一编秩
1
25
3
60
9
50
7
2
70
12
20
2
70
12
3
60
9
30
4
60
9
4
85
17
15
1
80
15.5
5
95
20
40
6
90
18.5
6
90
18.5
35
5
70
12
7
80
15.5
75
14
秩和
组A秩和
95
组B秩和
27
组C秩和
88
为了计算KW统计量,我们首先必须将来自三个大学的20名雇员统一按考核成绩编排秩指,见表29.1中的第3、5、7列所示。本例中,
7,
6,
7,
20,
95,
27,
88,
3,
三个总体的考核成绩分布是相同的。我们用(29.3)式计算KW统计量为
用(29.4)式计算校正系数C,从表29.1中我们可以发现,相等成绩值和相等的个数分别为60分3个,70分3个,80分2个,90分2个。所以
调整后的KWc为
查表可知道,自由度为
卡方分布,在
显著水平下,分布的上尾临界值为5.99,由于8.98>5.99,所以拒绝原假设。因此秩和最低的B组至少与秩和最高的A组是不同的。
2、 freq频数过程
Freq频数过程可以生成单向和n向的频率表和交叉表。对于双向表(二维表),该过程计算检验统计量和关联度。对于n向表,该过程进行分层分析,计算每一层和交叉层的统计量。这些频数也能够输出到SAS数据集里。
1. freq过程说明
proc freq过程一般由下列语句控制:
proc freq data=数据集 <选项>;
by 变量列表 ;
tables 交叉表的表达式 选项>;
weight 变量;
output
<输出统计量列表>;
run ;
该过程proc freq语句是必须的。其余语句是供选择的。另外该过程只能使用一个output语句。
2. proc freq语句的选项
· order=freq/data/internal/formatted——规定变量水平的排列次序 。freq表示按频数下降的次序,data表示按输入数据集中出现的次序,internal表示按非格式化值的次序(缺省值),formatted按格式化值的次序。
· formachar(1,2,7)=’三个字符’——规定用来构造列联表的轮廓线和分隔线的字符。缺省值为formachar(1,2,7)=’|-+’,第一个字符用来表示垂直线,第二个字符用来表示水平线,第三个字符用来表示水平与垂直的交叉线。
· page——要求freq每页只输出一张表。否则按每页行数允许的空间输出几张表。
· noprint——禁止freq过程产生所有输出。
3. by语句
一个by语句能够用来得到由by变量定义的分组观察分别进行分析。过程要求输入的数据集已按by变量排序。
4. tables语句
可以包括多个tables语句。如果没有tables语句,对数据集中的每个变量都生成一个单向频数表。如果tables语句没有选项,则计算tables语句中规定变量每个水平的频数、累计频数、占总频数的百分比及累计百分比。
Tables语句中的交叉表的表达式,请参见第二章第二节proc tabulate过程中的table语句的用法。
Tables语句中的主要选项如下:
· all——要求计算所有选项的检验和度量,包括chisq、measures和cmh。
· chisq——要求对每层是否齐性或独立性进行卡方检验,包括pearson卡方、似然比卡方和Mantel-Haenszel卡方。并计算依赖于卡方统计量的关联度,包括phi系数、列联系数和Cramer V。对于2×2联列表还自动计算Fisher的精确检验。
· cmh——要求Cochran-Mantel-Haenszel卡方统计量,用于2维以上表时,检验行变量和列变量是否有线性相关。
exact——要求对大于2×2表计算Fisher的精确检验。Fisher的精确检验是假设行与列的边缘频数固定,并且零假设为真时,各种可能的表的超几何概率之和。
· measures——要求计算若干个有关相关的统计量几它们的渐近标准误差。
alpha=p——设定100(1-p)%置信区间。缺省值为alpha=0.05。
· scores=rank/table/ridit/modridit——定义行/列得分的类型以便用于cmh统计量和pearson相关中。在非参数检验中,一般常用scores=rank,用于指定非参数分析的秩得分。
cellchi2——要求输出每个单元对总卡方统计量的贡献。
cumcol——要求在单元中输出累计列百分数。
· expected——在独立性(或齐性)假设下,要求输出单元频数的期望值。
· deviation——要求输出单元频数和期望值的偏差。
missprint——要求所有频数表输出缺失值的频数。
· missing——要求把缺失值当作非缺失值看待,在计算百分数及其他统计量时包括它们。
out=输出数据集——建立一个包括变量值和频数的输出数据集。
· sparse——要求输出在制表要求中变量水平的所有可能组合的信息。
· list——以表格形式打印二维表。
· nocum/norow/nocol/nofreq/noprint——分别不输出累计频率数、行百分率、列百分率、单元频数、频数表。
5. weight语句
通常每个观察对频数计数的贡献都是1。然而当使用weight语句时,每个观察对频数计数的贡献为这个观察对应的权数变量的值。
6. output语句
该语句用于创建一个包含由proc freq过程计算的统计量的SAS数据集。由output语句创建的数据集可以包括在tables语句中要求的任意统计量。当有多个tables语句时,output语句创建的数据集的内容相应于最后要求的那个表。
3、 实例分析
例29.1的SAS程序如下:
data study.colleges ;
do group=1 to 3;
input n;
do i=1 to n;
input x @@;
output;
end;
end;
cards;
7
25 70 60 85 95 90 80
6
60 20 30 15 40 35
7
50 70 60 80 90 70 75
;
proc npar1way data=study.colleges wilcoxon;
class group;
var x;
run;
程序说明:建立输入数据集colleges ,数据的输入和完全随机化方差分析的数据输入完全相同,先输入本组数据的总数,然后输入组中每个数据。分组变量为group,共有三组取值为1、2和3。输入变量为x,存放每组中的数据。过程步调用npar1way 过程,后面用选择项wilcoxon,当样本数大于2个时,自动进行多样本的Kruskal-Wallis秩和检验。class语句后给出分组变量名group,var语句后给出要分析的变量x。主要结果见表29.2所示。
表29.2 用npar1way过程进行多样本比较的Kruskal-Wallis秩和检验输出结果
结果说明:组1、组2和组3的秩和(Sum of Scores)分别为95.0、27.0和88.0。原假设(组1、组2和组3的总体分布相同)为真时,期望秩值(Expected)分别为(95+27+88)×7/(7+6+7)=73.50、(95+27+88)×6/(7+6+7)=63.00和(95+27+88)×7/(7+6+7)=73.50,各组的标准差(Std Dev)分别为12.5718985、12.0786894、12.5718985。每组平均得分(Mean Score)分别为95/7=13.5714286、27/ 6=4.50和88/7=12.5714286。按公式(29.5)调整后多样本的Kruskal-Wallis秩和检验统计量为8.9839 ,用自由度为DF=3-1=2的卡方分布近似,得到大于近似卡方检验统计量8.9839的概率为p =0.0112<0.05,拒绝原假设。结论为各组的总体分布的差异是有统计学意义的。根据平均秩和的结果,组1的最高,组2的最低,因此至少组1和组2的差异是显著的。
例29.1的SAS程序我们还可以采用freq过程,在tables语句中选项用scores=rank和cmh,查看第二项统计量既为Kruskal-Wallis检验,程序如下:
程序CHAP4_04_2.SAS
proc freq data=study.colleges formachar= '|----|+--';
tables group*x /scores=rank cmh ;
run;
程序说明:freq过程选项formachar= '|----|+--',用来构造表格的轮廓线和分隔线的字符,由于不同操作系统中,符号编码可能有所不同,所以缺省值可能不符合你的要求,需要你重新定义一下。Tables group*x语句,把组变量group中3个不同大学,与成绩变量x中14个分组成绩(最小值为15,最大值为95,间隔为5,共14组),构成了一个单层3行14列二维交叉频率表,选项scores=rank指定为非参数秩得分的情况,选项cmh计算Cochran-Mantel-Haenszel卡方统计量。主要结果见表29.3所示。
表29.3 用freq过程对每层秩得分进行Kruskal-Wallis秩和检验的输出结果
结果说明:输出一张单层的3行×14列的频数表,行列交叉单元中的第一个值为单元频数(Frequency),即两个变量group和x的组合值出现的频数,第二个值为单元百分数(Percent),即出现的频数在总频数中的百分比,第三个值为行百分数(Row Pct),即出现的频数在所在行总频数中的百分比,第四个值为列百分数(Col Pct),即出现的频数在所在列总频数中的百分比。
cmh统计量假定各层是独立的,并且每层的周边总和是固定的。原假设为任一层中的行变量与列变量不相关。本例中只有一层。当原假设为真时,cmh统计量渐近卡方分布。第一项cmh统计量为相关统计量,由Mantel和Haenszel提出,首先要求行变量或列变量是有序的。原假设为每一层的行变量与列变量不线性相关,自由度始终为1,卡方值为0.101,p=0.751>0.05,因此不能拒绝group和x不线性相关。第二项cmh统计量为ANOVA统计量,首先要求列变量x是有序的。原假设为每一层的3个行的x平均得分是相等的,本例只有一层,且得分指定scores=rank选项,即用秩得分方法,因此就是Kruskal-Wallis秩和检验统计量,自由度为行数减1,即3-1=2,渐近自由度为2的卡方分布,KW= 8.984,p=0.011<0.05,拒绝3个行的x平均得分是相等的。第三项cmh统计量为一般相关统计量,不要求行变量或列变量是有序的。原假设为每一层的行变量与列变量不相关,自由度为(3-1)×(14-1)=26,修正的pearson卡方统计量为23.222,p=0.620>0.05,不能拒绝不相关。
TABLE OF GROUP BY X
GROUP X
Frequency|
Percent |
Row Pct |
Col Pct | 15| 20| 25| 30| 35| 40| 50| Total
---------+--------+--------+--------+--------+--------+--------+--------+
1 | 0 | 0 | 1 | 0 | 0 | 0 | 0 | 7
| 0.00 | 0.00 | 5.00 | 0.00 | 0.00 | 0.00 | 0.00 | 35.00
| 0.00 | 0.00 | 14.29 | 0.00 | 0.00 | 0.00 | 0.00 |
| 0.00 | 0.00 | 100.00 | 0.00 | 0.00 | 0.00 | 0.00 |
---------+--------+--------+--------+--------+--------+--------+--------+
2 | 1 | 1 | 0 | 1 | 1 | 1 | 0 | 6
| 5.00 | 5.00 | 0.00 | 5.00 | 5.00 | 5.00 | 0.00 | 30.00
| 16.67 | 16.67 | 0.00 | 16.67 | 16.67 | 16.67 | 0.00 |
| 100.00 | 100.00 | 0.00 | 100.00 | 100.00 | 100.00 | 0.00 |
---------+--------+--------+--------+--------+--------+--------+--------+
3 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 7
| 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 5.00 | 35.00
| 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 14.29 |
| 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 100.00 |
---------+--------+--------+--------+--------+--------+--------+--------+
Total 1 1 1 1 1 1 1 20
5.00 5.00 5.00 5.00 5.00 5.00 5.00 100.00
(Continued)
| 60| 70| 75| 80| 85| 90| 95| Total
---------+--------+--------+--------+--------+--------+--------+--------+
1 | 1 | 1 | 0 | 1 | 1 | 1 | 1 | 7
| 5.00 | 5.00 | 0.00 | 5.00 | 5.00 | 5.00 | 5.00 | 35.00
| 14.29 | 14.29 | 0.00 | 14.29 | 14.29 | 14.29 | 14.29 |
| 33.33 | 33.33 | 0.00 | 50.00 | 100.00 | 50.00 | 100.00 |
---------+--------+--------+--------+--------+--------+--------+--------+
2 | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 6
| 5.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 30.00
| 16.67 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 |
| 33.33 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 |
---------+--------+--------+--------+--------+--------+--------+--------+
3 | 1 | 2 | 1 | 1 | 0 | 1 | 0 | 7
| 5.00 | 10.00 | 5.00 | 5.00 | 0.00 | 5.00 | 0.00 | 35.00
| 14.29 | 28.57 | 14.29 | 14.29 | 0.00 | 14.29 | 0.00 |
| 33.33 | 66.67 | 100.00 | 50.00 | 0.00 | 50.00 | 0.00 |
---------+--------+--------+--------+--------+--------+--------+--------+
Total 3 3 1 2 1 2 1 20
15.00 15.00 5.00 10.00 5.00 10.00 5.00 100.00
SUMMARY STATISTICS FOR GROUP BY X
Cochran-Mantel-Haenszel Statistics (Based on Rank Scores)
Statistic Alternative Hypothesis DF Value Prob
1 Nonzero Correlation 1 0.101 0.751
2 Row Mean Scores Differ 2 8.984 0.011
3 General Association 26 23.222 0.620
Total Sample Size = 20
N P A R 1 W A Y P R O C E D U R E
Wilcoxon Scores (Rank Sums) for Variable X
Classified by Variable GROUP
Sum of Expected Std Dev Mean
GROUP N Scores Under H0 Under H0 Score
1 7 95.0 73.5000000 12.5718985 13.5714286
2 6 27.0 63.0000000 12.0786894 4.5000000
3 7 88.0 73.5000000 12.5718985 12.5714286
Average Scores Were Used for Ties
Kruskal-Wallis Test (Chi-Square Approximation)
CHISQ = 8.9839 DF = 2 Prob > CHISQ = 0.0112
上海财经大学经济信息管理系IS/SHUFE
Page 1 of 8
_1097526359.unknown
_1097528274.unknown
_1097606240.unknown
_1097606324.unknown
_1097607090.unknown
_1098126584.unknown
_1097607235.unknown
_1097606543.unknown
_1097606293.unknown
_1097606148.unknown
_1097606185.unknown
_1097529081.unknown
_1097526657.unknown
_1097527748.unknown
_1097527920.unknown
_1097526929.unknown
_1097526447.unknown
_1097526498.unknown
_1097526395.unknown
_1097521243.unknown
_1097521343.unknown
_1097525152.unknown
_1097526017.unknown
_1097523352.unknown
_1097505235.unknown
_1097521215.unknown
_1097521150.unknown
_1097505401.unknown
_1092941490.unknown
_1092942070.unknown
_1097505090.unknown
_1092942686.unknown
_1092942013.unknown
_1092941077.unknown