资源描述
单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第二章 统计数据的收集,第一部分 数据的计量与类型,第二部分 统计数据的收集,数据的计量与类型,第二章统计数据的收集,数据的计量尺度,(对研究对象计量的不同精确程度):,定类尺度,定序尺度,定距尺度,定比尺度,数据的计量与类型,第二章统计数据的收集,数据的类型,定性数据定量数据,变量 变量值,连续变量离散变量,数据的计量与类型,第二章统计数据的收集,绝对数、相对数,数据的表现形式,统计数据的收集,第二章统计数据的收集,产生/收集数据 P,roducing/collecting data,二手数据:图书馆、互联网,一手数据:,观察 observation,试验 experiment,“数据!数据!数据!”他不耐烦地喊道,“我不能做无米之炊。”,Sherlock Holmes,(歇洛克.福尔摩斯),观察研究,Observational Studies,在只观测不干扰的情形下收集信息,Jane Goodall在坦桑尼亚的冈贝国家公园观察野生黑猩猩行为:是否素食动物?食物中肉类的比重?多久猎食一次?单独或集体行动?多少只一起行动?只有雄性还是雌、雄都有?,通常无法进行试验,技术或道德原因,例2-1:高压线会让儿童得白血病吗?,电流产生磁场,所以生活在有电环境里,会使人暴露在磁场。住在高压线附近,会增加这种暴露程度。实验室中的研究显示,强烈磁场会干扰活细胞。但是住在高压电线附近,接触到较弱的磁场,影响又如何?有些数据显示,似乎住在这些地方的儿童,会有较多的人患上属于血癌的白血病。,我们不能安排孩子去暴露在磁场下来做试验。而要较多和较少暴露在磁场下的儿童罹患白血病的比例也有点困难,因为白血病很罕见,而且居住位置除了磁场暴露程度不同之外,也可能有,许多其它差异。,例2-1,(续),:高压线会让儿童得白血病吗?,可行的方法是从已经得了白血病得儿童着手,把他们和未得病的儿童比较。我们可以检视许多可能的原因,例如食物、杀虫剂、饮水、磁场等等,看看有白血病和无白血病的儿童,在这些项目中,有哪些不同。在这些大规模研究中,有一些显示似乎应对磁场作进一步研究。,有人花了5年和$500万,对磁场作了极为仔细的研究。研究者比较了638个白血病患儿和620个非患儿。他们到这些儿童家里,在其卧房、其它房间及房子的,例2-1,(续),:高压线会让儿童得白血病吗?,前门处都测量了磁场强度。不仅对儿童住家附近的高压电线资料作了记录,还对儿童母亲在怀孕时住处附近的高压电线资料作了记录。结论是,除了巧合之外,并没有证据显示磁场和儿童白血病有相关关系。,Source:David S.Moore,Statistics:Concepts and Controversies,5th Ed.,2001,数据来源,Where Do Data Come From?,总体,我们想研究的对象全体,样本,普查(census),试图取得总体中每个个体的信息,抽样调查(sample survey),是从某个特定的总体中抽取样本,根据样本提供的信息做出关于总体的结论,抽样调查,Sample Survey,总体,是我们想研究的对象全体,若我们想要了解关于全国大专学生的信息,那么全国大专生就是我们的总体,即使抽样时受限制只能在一所大学里进行,总体仍然不变。要想从样本中得出什么结论来,必须知道样本代表的总体是什么,样本,只包括我们取得信息的那些个体,你不必吃完整头牛,才知道肉是老的。,普查,Census,普查(census),是试图把整个总体纳入样本的抽样调查,中国的5次人口普查:53、64、82、90、2000,美国从1790开始,每10年做一次的人口普查(宪法规定),抽样调查 vs.普查,普查需要耗费大量人力、财力、物力&时间,负得起费用,也担不起时间如中CPS每月失业统计如用普查,就要等下年而非下月知道结果,在一些调查中样本将被毁坏而无法通过普查,烟花、灯丝测试,抽样调查 vs.普查(续),适当确定的小规模样本能提供比普查更精确的数据,清点零件库存时与其叫一个不耐烦的职员,不如精心安排的抽样来得准确,但有些时候只能依靠普查,需要详细的地方数据:如美国人口普查一个功能就是为选区划分提供依据,例2-2:一次“以整个总体为样本”的企图,美国人口普查局的经历告诉我们,普查只能,“试图”,把整个总体纳入样本。普查局估计,1990年的人口普查漏掉了 1.8%的全国人口。漏掉的人口中包括黑人的族裔的4.6%,且大多住在内陆(inner cities)。,即使由政府强大资源作后盾,普查也无法达到完美无瑕。,试验,Experiments,试验(experiment),时会刻意对某些个体(处理组)加上某项处理(treatment),以期能观察其反应,并结果与对照组(control)做比较,阿斯匹林能降低心脏病的风险吗?,仅靠观察还不够还要施加某项处理,如果除了处理这一点外,处理组与对照组完全相同,则两组的反应差别就很可能归因于处理的效果,试验(续),Experiments,然而,如果处理组还有其它因素不同于对照组,则这些因素的影响就与处理的效果相混淆,为了保证处理组与对照组相同,调研者随机将试验对象分到处理组与对照组随机对照试验,只要有可能,给对照组一种性质中性但看上去很像处理的安慰剂,在双盲试验中,试验对象不知道自己在对照组还是处理组,那些评估反应的人也不知道,这样就防止了反应中或是评估中的有偏,例2-3:职业培训政策有否助益?,一些失业人员会参加政府组织的职业培训,来提高自己的工作技能。但这项政策是否真的有帮助,是不是应该将所有失业人员都纳入这一计划?仅靠观察研究无法告诉我们这项政策的效果:仅仅对比参加和未参加就业培训的人,观察其后来的就业和收入,所下的结论未必正确。因为他们原先就可能存在许多差别(如:已受过较多的教育、价值观和动机不同),一些失业人员会参加政府组织的职业培训,来提高自己的工作技能。但这项政策是否真的有帮助,是不是应该将所有失业人员都纳入这一计划?仅靠观察研究无法告诉我们这项政策的效果:仅仅对比参加和未参加就业培训的人,观察其后来的就业和收入,所下的结论未必正确。因为他们原先就可能存在许多差别(如:已受过较多的教育、价值观和动机不同),例2-3,(续),:,职业培训政策有否助益?,一些失业人员会参加政府组织的职业培训,来提高自己的工作技能。但这项政策是否真的有帮助,是不是应该将所有失业人员都纳入这一计划?仅靠观察研究无法告诉我们这项政策的效果:仅仅对比参加和未参加就业培训的人,观察其后来的就业和收入,所下的结论未必正确。因为他们原先就可能存在许多差别(如:已受过较多的教育、价值观和动机不同),精心设计的试验能帮助我们回答这一问题。在失业人员中,选择两组相似的人(年龄、教育程度、婚姻与子女等方面),要求其中一组参加就业培训,但是对另一组不提供这一计划。若干年后,比较两组人的收入以及工作记录,就可以看出,要求参加就业培训是否有预期的成效。,Source:David S.Moore,Statistics:Concepts and Controversies,5th Ed.,2001,观察 vs.试验,观测的原则是:“观测,但别干扰”,Jane Goodall在观察黑猩猩时,曾设立食物补给站,让黑猩猩能在那里吃到香蕉。后来她承认该做法错了,可能导致黑猩猩行为的改变,试验则存心改变行为,目的是要了解特定行为/处理(treatment)是否会引起某种反应是否存在“因果关系(cause&effect)”,第二节 好样本与坏样本,有偏 Biased,如果统计问题的设计使得结果总是往某个方向偏,我们就称这个设计是,有偏的(Biased),。,两种有偏的抽样方法,Biased Sampling Methods,方便抽样,convenience sampling,从总体抽样时,选取最容易取得的个体,自发回应样本,voluntary response sample,自动对某一普遍呼吁(general appeal)产生回应而形成的样本,如写信回应(write-in)或电话回应(call-in)意见调查,例2-4:给己方便,给人方便,设想我每周提供给你所在公司几箱橙子。你通过对每个箱子抽样来检查橙子的质量。很容易你会只检查每一箱顶上的几个橙子,但这不能作为整箱橙子的代表,因为底部的橙子更可能在运输中受损。并且,如果我知道你的抽样方法,我就会把烂的橙子放在底部而把好的放在上面让你检查。,若你只检查表面,那么你的抽样结果就是,有偏的,样本橙对于其所要代表的总体橙来说,质量偏好。,例2-5:购物中心访谈,Interviewing at the Mall,生产商和广告商常借助购物中心访谈来收集有关消费者行为和广告效力的信息。这种消费者样本既快速、又便宜。,但在购物中心接触到的人并不能充分代表总体人口。例如,这些人更富有、更多为青少年或退休人士。并且,采访者倾向于从顾客群中选择外表整洁、和善的个人。购物中心的样本是,有偏的,:对总体的某一部分人 过分代表(over-represent),对其它人则代表不足(under-represent)。来自该,方便样本,的观点,可能和总体的观点大相径庭。,例2-6:写信回应意见调查,专栏作家Ann Landers 有一次问她的读者:“如果可以重来一次,你还要孩子吗?”她接到近1万份答复,其中将近70%说:“不要!”难道70%的父母都后悔有了孩子吗?当然不是。这是个自发性回应样本。通常对某个议题有强烈感觉的人,尤其有负面感觉的,比较会不嫌麻烦地去回应。Landers 的意见调查结果是有高度偏差的:她的样本中,宁愿不要孩子的父母百分比,远大于全体父母中宁愿不要孩子的百分比。,例2-7:写信给美国国会,假设你是美国某国会议员的幕僚,这位议员正在考虑一项法案,该法案会对老人疗养院的服务,提供政府资助的保险。你的报告指出,一共收到1128封针对此法案的来信,其中871封反对此项法案。国会议员说:“真没想至我的选区当中,大部分人都反对这个法案。我还以为会有很多人赞成。”你相信大部分的选民都反对这个法案吗?你会怎么向国会议员解释这件事牵涉到的统计问题?(自发性回应样本对总体的代表性可能不够。),人为选择导致有偏,上述两种抽样方法之所以有偏,是因为其中加入了,人为选择(human choice),方便样本:加入了取样者的偏好,自发回应样本:加入了被取样者的意志,统计学家开出的纠偏处方:利用不牵涉人为选择的,“机遇”,(impersonal chance),来选取样本随机抽样,简单随机抽样,Simple random sampling,用机会选出的样本,是让每个个体都有同样的中选机会,来消除人为偏向,例2-8:一个简单随机抽样的例子抽签选代表,Choosing Names from a box,从全班50人中选5人,光荣而艰巨的任务:打扫教室,意外之喜:免费观赏进口大片,由于“人人不甘落后而又名额有限”:,将50个名字分别写在同样大小的纸条上,放入盒中摇匀(总体),从中抽出5张,就得到一个,简单随机样本,:不仅每个人中选机会相同,且每个可能的样本(任5张)被抽中的机会都相同,随机选样的最简单的办法:抽签选取,该方法选出的样本不加入“人意”无取样者的个人偏好、也无回应者的主动加入;而是“天意”不论班干/普通同学、团员/非团员、男生/女生、“乖”学生/“怪”学生,每个人被选进样本的机会相等,简单随机样本,Simple Random Sample,SRS,大小为,n,的,简单随机样本,是一个有,n,个个体的样本,其选取的方法,是使得总体中任一组,n,个个体,都有相等的中选机会,样本容量,至少方法是公平的,上述定义并未描述某一具体样本,而是描述选择样本的方法一种使,任一大小为,n,的可能样本,都有同样的机会被选中,的方法,其内在思想是:首先方法必须公平,随机数表,Table of Random Digits,是一连串的 0、1、2、3、4、5、6、7、8、9 这些数字,且满足以下两个条件:,表中任一位置数字为,0-9,中任何一个数字的概率相同。,不同位置的数字之间是独立的。也就是说,知道表中某一部分是些什么数字,不会提供给你任何关于其他部分是些什么数字的信息。,随机数表的生成,想象如下过程请一位助理(电脑):,把数字,0-9,放在一个盒子内混匀,任意抽出一个数字,记下来再放回,无限重复步骤,1,、,2,:混匀、抽取、记录、放回,19223950340575628713,为方便查阅,对随机数字又进行分组分行,得到随机数表。实际上行和列并没有特别意义,该表只是一长串具有前述两个特性的随机数字而已,例2-9:用随机数表选SRS,王女士的小型律师事务所共有30家客户。王女士想选择其中5家进行深入拜访,以找到提高客户满意度的办法。为了避免人为选择的有偏,她选了一个大小为5的简单随机样本(SRS):,步骤1:编号(Label),给每家客户一个数字编号,数字位数应尽可能少。30家客户要只需用到两位数,因此我们使用:,01,02,03,29,30,对每家客户进行编号。客户名单及编号如下:,用00-29亦可,例2-9(续一),01 安利09 惠尔康17 马士基25 沃尔马,02 宝岛眼镜10 华美18 麦当劳26 厦工机械,03 宝姿时装11 建发19 闽客隆27 厦新电子,04 戴尔12 金鹭20 平安保险28 兴业银行,05 古龙罐头13 柯达21 三圈日化29 悦华酒店,06 光合作用14 肯德基22 舒友餐饮30 钟爱一生,07 国贸15 林德23 松下音响,08 汇丰16 鹭发24 太古可乐,例2-9(续二),步骤2:查表(Table),从“随机数表”任一处开始,读取两个一组的随机数。假设我们从第130行开始:,69051 64817 87174 09517 84534 06489 87201 97245,该行的前10个“两位数组(two-digit groups)”为:,69 05 16 48 17 87 17 40 95 17,王女士客户的编号为01-30,所以读表时将忽略除此以外的编号。我们所遇到的头5个在01-30之内编号就是我们所要选取的样本。,例2-9(续三),从130行每两个一组依次读下来,头10个编号有5个超过30,我们将其忽略。剩下的依次是05、16、17、17和17”,于是编号05、16、17的客户进入我们的样本,忽略第2个和第3个17,因为17已经在样本中了。由于未凑足5个,我们顺着130行继续读下去(如有必要可延续到第131行),直到选出5家客户。,最后我们所选出的SRS为编号05、16、17、20、19的客户。他们分别是:古龙罐头、鹭发、马士基、闽客隆、平安保险。,用随机数表选取SRS的两个步骤,步骤1:编号(Label),为,抽样框(sampling frame),内的每一个个体指定一个数字编号,每个编号具有相同的数位,步骤2:查表(Table),利用随机数表随机选号,抽样框,我们从中选取样本的个体名单表,用随机数表选SRS的注意事项,(续),使用尽可能短的编号,10个成员以内的总体,1位数就够了(0-9),11-100个成员,用2位数编号(00-99),101-1000个成员,3位数(000-999),以此类推,随机数字本身无序,任何读取顺序都是合法的(横读、竖读),忽略重复的、不存在的编号,一般从1(或01、001,视需要而定)开始编号,但最好是先从左到右、然后再从上到下读,统计误差,抽样误差,sampling errors,因抽样行为而产生的误差,导致样本结果与普查的结果不同,非抽样误差,Nonsampling,errors,与抽样行为无关的误差,即使在普查中也可能发生,坏抽样方法,bad sampling method,由于方便抽样、自发回应样本所造成的有偏,随机抽样误差,random sampling error,指样本统计量与总体参数间的差距,由于随机选取样本的偶然性所导致,置信声明中的误差界限只包含这类误差,其它抽样误差,other sampling errors,如“涵盖不全,(,undercoverage,)”,抽样误差,Sampling errors,可被避免,可,通过改变样本大小加以控制,同样能导致有偏,造成置信声明毫无意义,在选样本的过程中,总体中有某些部分未被纳入选择范围,或者说是“抽样框不完整,(incomplete sampling frame)”,抽样前必须要有一个清单,上面列出总体所有成员,我们可以从中抽取样本,该清单即为,抽样框,(sampling frame),涵盖不全,Undercoverage,理论上,抽样框应当包括总体的每一个体,但这样的清单往往难以取得,导致大部分样本多多少少会发生“涵盖不全”,在美国,大部分民意调查都是通过电话进行的,但即使采用随机抽样的电话调查,也可能产生有偏的结果:,以何为抽样框?电话号簿?将遗漏所有未在电话号簿登记电话号的用户,某些大城市,未登记的住户超过一半,如此调查结果将严重有偏,解决之道:,随机数字拨号,(random digits dialing,RDD),可将所有电话用户纳入抽样框,例2-10:电话抽样与涵盖不全,抽样框就此完整了吗?,对于所要反映的总体(全体美国居民),该抽样框仍无法完全涵盖,6%,住户(特别是南部、单身居民)没有装电话,只联络一般住户,住宿舍的学生、住监狱的犯人、大部分军人被排除在外,无家可归和住在临时收容所的居民,阿拉斯加和夏威夷的住户因话费太贵而不被访问,不讲英语的不被访问,一些移民家庭被排除,例2-10:电话抽样与涵盖不全(续),数据处理误差,processing errors,机械化工作中的误差,如计算错误或将受访者回答输入电脑过程中出错,回应误差,response error,无回应,nonresponse,提问的措辞,wording the questions,非抽样误差,Nonsampling errors,现代科技的应用加上对细节的重视,可将,处理误差,减至最低;技巧熟练的访问员也可大幅减少,回应误差,,特别是在面对面访问的时候,但对于,无回应,误差,并无简单的办法可以对付,访问员手拿的纸和笔已成为历史,现在的访问员不是带着笔记本电脑就是一边看着屏幕一边做电话访问,电脑软件控制着访问的进程:,访问员照着屏幕提示提问,再用键盘输入回复;电脑自动跳过无关问题,一旦受访者说没有小孩,后续关于小孩的问题将不再出现;电脑可以检查前后答案是否一致;并且能按随机顺序提问,以避免按同样顺序问问题可能造成的有偏,计算机辅助调查,Computer-assisted interviewing,电脑软件同样控制着数据的处理:,保存着回答者的记录,将回答转为数据,避免了从,paper,到,computer,的转录过程,这曾是,processing error,的一大根源,电脑还可以安排电话调查的时间,考虑被调查者所在时区,若有人第一次接电话时表示有意但没有时间回答,电脑会重约时间并提醒到时履约,计算机辅助调查(续),Computer-assisted interviewing,受访对象给了不正确的回答,谎报:年龄、收入、是否服过禁药等敏感问题,记错:如“上周抽过几包烟?”,听不懂问题而瞎猜:不愿显得无知,回应误差,Response error,受访对象被问及她,/,他在一定时期内的行为时,很容易因为记错而产生,回应误差,。美国全国健康调查曾询问调查“去年你看过几次病”,而后对照健康记录发现,人们忘记了,60%,他们看病的经历,例2-11:记错导致的回应误差,人们习惯于忘记不愉快的经历?,1989,年,纽约市选出第一位黑人市长,维吉尼亚州选出第一位黑人州长。这两个事件,在投标所访问投完票的选民时,所预测到的胜负差距,都比实际开票的差距大。因此调查机构相当确定,有些受访选民因为不愿承认投票给黑人候选人而说了谎。,例2-12:种族效应,二战期间,美国国家民意调查中心派出了两组调查人员对一个南方城市(随机选出?)的,500,名黑人进行了提问,一组调查人员由白人组成,另一组由黑人组成,问题之一是:“如果日本占领美国,你认为黑人的状况会变好还是更糟?”黑人调查组中,,9%,回答“变好”,白人调查组该比例只有,2%,。回答“更糟”的比例也不相同,黑人调查组是,25%,,白人调查组则是,45%,例2-13:投调查者所好的回答,无法得到已被选入样本的个体的资料,联系不上,拒绝合作,无回应,Nonresponse,人们越来越不情愿回答问题。面对面访问常被封闭的社区和门卫所阻挡;电话调查则由于答录机、来电显示和电话推销的泛滥而导致回应率的下降,回应肯定将使调查结果有偏,因为不同群体的人有不同的回应率:,穷人比中产阶级更难联系上;,老年人、大城市居民有更高的拒答率,由,无回应,造成的有偏,能轻易超越,置信声明,所描述的,随机抽样误差,无回应造成有偏,有人研究酒吧里的打架事件,发现其中有,90%,都是死掉的那个人先动手的。这种结果你可别相信。假如你跟人打架把人给揍死了,警察问你谁先动手的时候,你会怎么回答?反正死人也不会说话。这也是无回应的一种。,例2-14:他先动手的!,由政府出面的进行的美国“当前人口调查(,CPS,)”回应率最高:只有,6%7%,不回应,先登门拜访,而后电话访问,由大学主持的社会科学研究调查“全面社会调查(,GSS,)”:,24%,不回应率,面对面在受访者住所进行访谈,其它独立的调查机构(媒体、市场调查机构、民意调查公司)不肯透露其不回应率,但,无回应有多糟?,Pew Research Center模仿了好几家民意调查机构的做法,为通过随机拨号得到1000人的样本,在剔除了传真机号和机构电话号之后,共需打2879个住宅电话,其中,33%,从来没人接,接听电话人中,又有,35%,拒绝接受访问、只有,52%,最终完成访问,整体无回应比例(不接电话、不愿接受访问、访问未完成),占,2879,人中的,1658,人,即,58,%,无回应有多糟?(续),Pew,的调查,远比许多独立调查机构做得彻底,但仍有,58%,的无回应率。据内部人士透露,这些机构的不回应率常常达到初始样本的,75%90%,无回应有多糟?(续),Pew在“标准”调查的基础上又进行了一项“严格”调查:在打电话前先寄信;如没人接则在8周内不断打电话;寄快件给拒绝受访的人,所有这些做法,把不回应率从“标准”调查的58%进一步降到了30%。对比两项调查,“标准”调查虽然有偏,但结果尚在可接受的范围内(个别问题仍属例外),表:Pew的模拟调查结果,分类,电话数,百分比,从来没人接电话,938,33,接了电话却拒绝接受访问,678,24,条件不合:没有18岁以上成人或语言不通,221,8,访问未完成,42,1,访问完成,1,000,35,总计,2,879,100,注:Pew Research Center的调查选取了一周的不同日子、每天不同时段、每个号码都打了5次,无回应率的减低,训练以提高访问员的技巧,只要对方肯接电话,就有办法让其不挂断,事前寄信,后续访问(follow-up),持续访问直到最终联系上,训练以提高访问员的技巧,只要对方肯接电话,就有办法让其不挂断,后两种方法虽然有助于降低无回应率,但会延缓调查进度,所以如果需要快速得到答案就不被采用。但即便是最严谨的专业的调查,也无法完全克服,无回应,的难题,无回应率的减低(续),用其它个体来取代不回应的人,城市里的不回应率比较高,若用不回应住户附近的其它住户来取代,可以减低偏差,给现有回应加权,在数据收集完成后的纠偏方法,比如:若样本里太多女性,就给男士加权,虽可减少偏差,却会增加变异性,执行加权,替统计学家制造了许多工作机会,例2-15:统计学家的技巧,盖洛普宣布,他们访问了解1523位美国成年人,发现其中有57%在过去12个月当中买过乐透彩券。从表面上看起来,因为1523的57%是868,所以盖洛普的样本当中,应该是有868个人玩彩券。然而事实却非如此。盖洛普无疑曾用了某些特殊的统计技巧,来给实际得到的结果加权;57%这个数字,是盖洛普对于如果没有人回应时,所应该得到的结果的最佳估计。,问题的措辞,Wording the questions,清楚而不含混,把问题表达得完全清楚是出乎意料其困难,中立而无误导,一些提问注定偏向某一答案而非其它,例2-16:股票?家畜?,有个调查问到:“是否拥有stock(股票,也是家畜)?”大部分的德州牧场主人都答:“是”,可是他们拥有的,大概不是在纽约证券交易所可以买卖的那种。,例2-17:稍改几个字,结果大不同,美国人对于政府对穷人的帮助,看法如何?只有13%的成人认为他们花太多的钱在“帮助穷人上”,可是却有44%的成人认为他们花太多的钱在“社会福利”上。,苏格兰人对于从英国独立出来,看法如何?有51%的人赞成“苏格兰独立”,但是只有34%的人支持“从联合王国分离出来的独立的,苏格兰”,例2-18:“加料”的问题,是否应该立法消除所有可能的途径,使特殊利益团体无法捐献大笔款项给候选人?,应该立法来禁止利益团体捐助竞选活动?或者团体有权捐款给所支持的候选人吗?,为防止“恐怖事件”,国安局有权监控所有电子邮件?,例2-18:“加料”的问题(续),第一个问题是佩罗提出的,邮寄来的回答中,99%答“是”。由于是自发回应的调查结果,所以杨克洛维奇调查公司对全国随机样本问了同样的问题,结果80%答“是”。佩罗的问题简直是要求人家答“是”,所以杨克洛维奇写了第二个问题,用较中立的立场来提出这个议题,在问这个问题时,全国随机样本中只有40%赞成禁止捐款。,思考题,以下哪些是抽样误差的根源、哪些是非抽样误差的根源?解释你的答案。,受访对象隐瞒曾用过毒品的事实,记录数据时打字错误,要求人们填写印在报纸上的问卷并寄回,电话簿被用作样本框,打了,5,次电话仍联络不上受访者,调查员在大街上选择行人进行访谈,第三节 真实世界中的抽样设计,抽样调查的思想很清楚:从总体抽一个SRS,用样本的统计量估计总体参数。但在现实中,常常是要对大规模的人群进行抽样,此时SRS显得不切实际,难以取得完整的,抽样框,(,sampling frame,),太过昂贵(,调查成本,),若样本为一个全国范围的,SRS,,则该样本中的各成员的住址可能分散在东西南北各个角落,与之,进行联系花费太高,对总体信息的利用,真实世界中的抽样设计(续),SRS主要适用以下情况:,1、对调查对象的情况很少了解,2、总体单位的排列没有秩序,抽到的单位比较分散时也不影响调查工作,真实世界中的抽样设计(续),类型抽样,整群抽样,等距抽样,多阶段样本,类型抽样,对总体各单位按一定的标志进行分类,然后分别从每一类中按随机原则抽取一定的单位构成样本。,确定各组的抽样单位数可有:,类型适宜抽样,类型比例抽样,也称分类抽样,分层抽样。,类型抽样的作用:,利用已知的信息提高抽样效率,抽样的组织工作比较方便,掌握总体中各个子总体的情况,例2-19:类型抽样,抽样调查厦门市居民收入分配情况,如果历史资料所映了高收入者、中等收入者、低收入者的比例结构,我们可以按此结构分类分别从中按一定的比例抽取样本。,可避免样本全来自某一收入阶层所产生的系统偏差。(虽然是小概率),整群抽样,将总体各单位分成若干群,然后从中随机抽取部分群,对中选的群进行全面调查的抽样方式。,整群抽样的作用,当总体缺乏所括全部总体单位的抽样框,无法进行抽选时(总体很大且没有现成的名单),方便和节约费用(总体单位很多,分布很广),例2-20:整群抽样,调查厦门市中学生近视眼的比例有多大,就需要全市中学生的名单。,等距抽样,将总体各单位按某一标志进行排列,然后按固定的间隔来抽取样本单位的抽样方法,随机起点等距抽样,半距起点等距抽样,对称等距抽样,又称机械抽样或系统抽样,等距抽样的作用,简便易行,对总体结构有一定的了解时,可用已有的信息对总体进行排列后采用等距抽样,提高抽样效率(缩小各单位间的差异程度,提高样本代表性),应避免与现象本身的节奏性或,循环周期相重合,注意:,多阶段抽样,整群抽样和类型抽样的综合,一个对全国范围内城镇居民的面对面访谈的抽样设计大致如下:,阶段,1,:从全国,34,个省、直辖市、自治区、特别行政区(或,n,个市级行政单位)中的抽取一个样本,阶段,2,:对阶段,1,抽出的样本,再从其下级的行政区抽取样本,阶段,3,:使用地图(或航拍图)作为抽样框,在阶段,2,抽出的每一个行政区辖区内选取更小的地域(如街区)样本,阶段,4,:在阶段,3,样本(街区)的基础上,从每一街区选取住户的样本。派出访问员上门调查。,其他非全面统计调查,重点调查:选取,重点,单位进行调查,典型调查:选取,典型,单位进行调查,统计调查的方案设计,统计调查要涉及成千上万的人,工作人员,参予人员,被调查人员,统计调查方案是保证统计调查得以顺利进行的前提,也是准确、及时、完整取得调查资料的重要条件。,统计调查的方案设计(续),确定调查目的,确定调查对象和单位,确定调查项目,调查表格和问卷的设计,确定调查进间和调查期限,制定调查的组织实施计划,确定调查目的,明确调查目的,才知道要解决什么问题,应该搜集什么样的资料。,例,工业企业,可以调查生产经营状况,可以调查职工素质,可以调查第三产业状况。对大学生,强以调查健康状况,也强以调查学习情况,还可以调查思想观念。,确定调查对象和单位,调查对象:,根据调查目的和任务而明确的被调查总体。,调查单位:,组成调查总体的个体,标志承担者。,例如,工业普查中,目的了解各工业企业的生产经营状况,调查对象是所有工业企业,调查单位是每个工业企业。需要把工业企业与农业、建筑业、商业、运输业等其他企业区分开来,划清总体界限。,例如,目的,了解城市职工家庭收支基本情况,调查对象:全部城市职工家庭,,调查单位:,第一户城市职工家庭,明确城市职工和非城市职工的定义。,报告单位:填报单位,负责上报调查资料的单位。,例,工业企业普查,每个工业企业既是调查单位,又是报告单位,例,工业企业生产设备状况普查,调查单位是每台设备,报告单位是每个工业企业。,报告单位是单位,调查单位:人、物、单位,确定调查项目,调查项目:所要调查的具体内容,完全由调查对象的性质、调查目的和任务所决定,包括调查单位所须登记的标志和其他有关情况,向调查单位调查什么,反映调查单位特征的标志是多种多样的。,确定调查项目时应注意:,1、调查项目要少而精(实现调查目的),2、需要和可能原则(只列入能够得到确定答案的项),3、解释的统一性,4、项目之间的衔接性,项目之间的联系,时间上的可比性,5、可拟定“选择”式,而非一定设计成问答式,调查表格和问卷的设计,调查表:列出调查项目的表格形式,一览表:许多调查单位和相应的项目按次序登记在一张表格里。例,成绩表,单一表:一张表格只登记一个调查单位。例,学生登记表,确定调查时间和调查期限,调查时间:调查资料所属的时点和时期,调查时限:调查工作进行的起讫时间,制定调查的组织实施计划,(调查工作是有组织、有计划的),调查机构,调查步骤,人员及组织训练,经费,另,宣传,文件,试点等以及调查方法,,调查空间,概率样本的定义,利用机遇抽取的样本。我们已知哪些样本是以及每个可能的样本被抽中的概率是多少。,分层样本就不包括总体所有可能的样本,即使包括在内的样本,被抽中的概率也未必一样,相信调查结果前该问的问题,若调查者使用,好的统计方法,,尽可能准备一个,完整的抽样框,,注意,提问的措辞,,减少,无回应,,则抽样调查确实能能提供准确和有价值的信息,但亦存在许多抽样调查不能提供准确的和有用的结果(尤其是那些设计好要影响公众意见而不只是要记录意见的调查!)。为此,在你更多关注某个抽样调查的结果之前,有必要先问几个问题:,谁做的调查?,总体是什么?,样本是怎样选取的?,样本多大?,回应率是多少?,用什么方式联络受访者?,(电话?邮寄?面对面?),调查是什么时候做的?,(是不是在一个可能影响结果的事件发生之后),问题确实是怎么问的?,但新闻编辑和播音员却有一种坏习惯,常要删掉这些“无聊”内容而只报道结果。更有一些有利益集团、新闻媒体由于本身采用了不可靠的抽样方法,所以根本就不能回答上述问题,许多民意调查、学术调研、政府负责统计官员在宣布抽样调查结果时,会回答这些问题,严谨的抽样调查如Gallup会告诉我们真相:“除了抽样误差外,问题的措辞以及执行调查时遇到的实际困难,会导致调查结果有偏或产生其它误差”,若某政治家、广告人、或某个媒体宣称某个民意调查结果却没有提供完整的信息,要当心!,第四节 实验面面观,所有的实验以及许多的观测研究,都是想要知道一个变量对另一个变量有何影响,反应变量:用来度量研究结果的变量,解释变量:我们认为可以解释或造成反应变量变化的变量,受试对象:实验中所研究的个体,处理:任何加诸于受试对象的特定实验条件,潜在变量:是对研究中其他变量间的关系有重要影响,却并未被列为解释变数的变量,交叉:当两个变量对反应变数的影响混在一起而无法区分时,我们称这两个变量是交叉的,交叉的变量可以是解释变量,也可以是潜在变量,观测研究和单轨实验都常常因为,潜在变量的交叉问题而产生没有,用的数据,例2-21:上网学习,有一项关于网上学习的乐观报道,报告了在佛罗里达州劳德代尔的诺瓦东南大学执行的一项研究。撰写研究结果的人声称,学生在网上学习大学部的课,和在教室里学习的学生“学得一样好”。如果把教室的课用网站取代,可以替大学省钱,所以照这项研究结果看来,我们应该全部上网,例2-22:胃冷冻,胃溃疡似乎是一种现代病。“,胃冷冻,”是治疗胃溃疡的一种聪明疗法。病人先吞下一个连接着管子且放了气的气球;然后就把一种经过冷冻的溶液打入汽球中,总共打了一小时。这个疗法的想法是这样的:使胃凉下来可以减少胃酸的分泌,因此可以减轻溃疡症状。一篇刊登在美国医学会期刊的实验报告指出,胃冷冻的确缓解了溃疡的痛苦。,例2-22:胃冷冻(续),接受治疗后的病人表示比较不痛了,可否宣称:胃冷冻使得疼痛减轻?,可能只是安慰剂效应。安慰剂是一种假的治疗,没有实质效用。许多病人对任何治疗都有正面所应,即使只是安慰剂。这种对假治疗的反应,就称为安慰剂效应。,安慰剂效应可能是一种心理作用,起因于对医生有信心以及预期病会治愈。,例2-22:胃冷冻(续),数年之后做了另一项临床试验,把溃疡病人先分成两组。一组就像前次试验一样,按受胃冷冻治疗;另一组按受的是安慰剂治疗,也就是打入汽球的溶液温度和体温一样,而不是经过冷冻的。结果是:处理组的82位病人中,有34%病情改善,但是安慰组的确良78位病人中,也有38%有改善。这项实验和其他妥善设计的实验,显示胃冷冻的效应,不过是和安慰剂差不多罢了,于是从此医生不再使用这种方法,补救办法:利用随机化比较实验,随机化比较实验的逻辑,用随机化的方法将受试对象分组,避免人为指派时可能发生的系统性偏差,所分出的各组在实施处理之前,应该各方面都类似,用“比较”确保:除了实验上的处理外,其他所有因素都会同样作用在所有的组上。,因此,反应变量的差异必是处理的效用所致,过去很多医疗方法只经过简单的单轨实验后就普遍使用了,后来经过比较实验,发觉不过是安慰剂罢了,这种例子不胜枚举。,目前法律规定,任何新药必须用随机化比较实验来证明其安全性和有效性。,但对于其他医疗方法,比如手术,就没有这项规定。你可以指望新药一定比安慰剂好,但新的手术概念就未必了,这情况就和以前的胃冷冻一样,医学工作者通常对于随机比较化,实验接受得很慢,第五节 真实世界中的实验,双盲实验,拒绝参加、不合作者及退出者,完全随机化设计,配对设计,区集设计,强有效的安慰剂,有一项研究发现,一些秃头男性在服用了安慰剂之后,有42%的人脑袋上的头发保住甚至增加了。,另一项研究对13个对野葛敏感的人说,涂在他们一只手臂上的东西是野葛,而其实那是安慰剂,但是13个人全部都起了疹子。事实上,涂在别一只手臂上的才真的是野葛,但是
展开阅读全文