2.3.2-离散数据测量系统分析(ppt-课件).ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,六西格玛精益运营黑带训练教材,Copyright 2010,宝钢股份 版权所有,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,六西格玛精益运营黑带训练教材,Copyright 2010,宝钢股份 版权所有,*,2.,3.2,离散数据测量系统分析,D,M,AIC,1,1.0,Define,定义阶段,3.0,Analyze,分析阶段,4.0,Improve,改进阶段,5.0,Control,控制阶段,1.1 确定改进项目,1.2 确定关键顾客要求,1.3 宏观记录和分析流程,1.4 组建有效团队,2.1 确定测量对象,2.2 制定数据收集计划,2.3 测量系统分析,2.4 流程稳定性分析,2.5 计算西格玛水平,3.1 识别潜在根本原因,3.2 验证根本原因,3.3 试验设计,4.1 产生改进方案,4.2 评估和选择改进方案,4.3 推荐改进方案,4.4 试点和实施解决方案,5.1 方案标准化与推广,5.2 项目结束与认可,2.0,Measure,测量阶段,2,目标：,掌握如何评估离散数据测量系统,主要内容：,离散数据测量系统的基本知识,背景,离散数据分类,Kappa,技术,Kappa,是什么？,列联表,用,Minitab,进行离散数据测量系统分析,2.3.,2,离散数据测量系统分析,3,离散数据测量系统的基本知识,背景,离散数据分类,Kappa,技术,Kappa,是什么？,列联表,用,Minitab,进行离散数据测量系统分析,4,离散数据测量系统的基本知识,大部分物理性测量系统采用可提供连续型数据的测量设备,我们可使用控制图(,Control Chart),或量具的重复性和复验性（,Gage R&R),方法来进行连续数据测量系统的分析,离散数据测量系统使用接受/拒绝标准或等级方法来评定是否达到一个可以接受的质量标准,Kappa,技术可用于评估离散数据测量系统。,背景,5,你是否只能使用离散型数据,?,许多检验流程有能力收集连续数据，但选择用离散型数据来简化检验者的工作,例如许多功能性测试能用连续的刻度来评估产品的性能（温度、气压值、电压值、尺寸、硬度等），但用“通过与否”来记录结果,设法取得连续数据,当可能时收集连续型数据！,6,离散数据分类,名义型:包含的数字在顺序上的,没有先后之分,也在数量上的没有大小之分（比如：标签）。,例如：,在公司里有：,A,部门,B,部门,C,部门,在商店里有：机器,1,机器,2,机器,3,通工具的种类有：轮船，火车，飞机,有序型:这种分类存在,顺序和程度之分，,例如：,产品表现：优秀、很好、好、一般、差,番茄辣椒酱味道测试：温和、微辣、鲜辣、重辣,顾客调查：十分赞同、同意、不同意、十分不赞同,7,名义型和有序型离散测量系统,名义型和有序型测量系统经常依赖于主观的分类和评级,实例包括：,用优质或劣质来评估部件,通过品尝来测量酒的香味、味道,用从1到5的分数来评估员工表现,体操得分,我们是否应该在将这些测量系统运用到,6SIGMA,项目之前，对他们进行评估呢？如果不进一步评估，其结果会是怎样呢？,8,有哪些合适的评估离散数据测量系统的方法,?,名义型离散测量系统,平等的对待所有错误分类的,Kappa,技术,有序型离散测量系统,认为错误分类是存在等级之分的,Kappa,技术,例如：我们用1到5的等级标准来评定上漆部件。当检验员,A,评估部件,a,为1分，而检验员,B,评估,a,为 5分时,错误分类要比当检验员,A,评估部件,a,为4 分而检验员,B,评为,5,分时更为严重。,名义型和有序型离散测量系统的评估方法,9,离散数据测量系统的基本知识,背景,离散数据分类,Kappa,技术,Kappa,是什么？,列联表,用,Minitab,进行离散数据测量系统分析,10,Kappa,技术,Kappa,技术适合用于离散数据测量系统，例如：,好与坏,通过/不通过,不同的噪音分类,(,嘶声,叮当声,抨击声,),合格/不合格,11,Kappa,技术,运用在离散型数据中的,Kappa,技术,平等的对待所有的错误分类,不假设这些评估值在其可能的范围内是均匀分布,要求被评估的部件是独立的，同时，需要评估人员做出分类和判断也是独立的,要求评估类别相互排斥,12,运作定义,有一些质量特性很难定义或是需要花费一定的时间来定义。,为了保证评估等级的一致性，被评估的部件必须进行分类，同时针对一位评估者来说将尽量多。,如果评估者之间的意见真正一致的话，即使没有百分之百的保证，这些评估等级也具备精确的可能性。,如果评估者之间存在分歧的话，那么这些评估等级的实用性是非常有限的。,不良的离散数据测量系统通常可以被追溯到不良的运作定义。,13,Kappa,是什么？“,K”,P,observed,(,观测的),评估者达成一致的比例,=,两个评估者,都认为,优质的比例,+,两个评估者都认为劣质的比例,P,chance,(,机会),偶然达成一致的比例,=(,评估者,A,认为优质的比例,*,评估者,B,认为优质的比例,)+(,评估者,A,认为劣质的比例,*,评估者,B,认为劣质的比例),注意:方程式只适用于,“,两个类别,”,的分析，例如，好或不好,14,Kappa,当,P,observed,=1,且,K=1,时，可达成完全一致,根据经验法则，,如果,Kappa,值低于0.,7，,那么这个测量系统是不适当的,如果,Kappa,值为0.,9,以上，,那么这个测量系统是优秀的,Kappa,值的下限范围是,0,到,1,当,P observed=P chance,时，那么,K=0,当,P observed=0，P chance=0.5,那么,K=,1,因此,Kappa,值为,0,表示达成的一致性与偶然的随机性相同,15,离散数据测量系统的指导方针,当选择部件进行研究时，需要考虑以下内容,:,如果你只有两种分类，优质和劣质，原则上你最少要有20个优质部件和20个劣质部件，最多有50个优质部件和50个劣质部件。,尽量保持大约,50%,的优质率和,50%,的劣质率。,需要一个多种程度的标准来评估优劣。,如果只选用优质的部件作为研究对象，对于,P-chance,会有什么影响?,16,离散数据测量系统的指导方针,如果你有两种以上的分类标准，其中一个标准是优质，其他的是不同程度的劣质，你应该保证有大约,50%,的优质率，并且各个程度的劣质率最少有,10%。,你可以把其中一些劣质等级归结为,“,其他,”,一类。,这种分类标准必须是互相排斥的，如果不是，那么这些分类应该被合并。,17,Kappa,范例1,黑带想改进一个具有极高返工率上漆流程,在这个项目的早期过程中，由于评估者与评估者之间以及评估者自己的明显不同，测量系统成为关注的焦点,下一张幻灯片上的数据是通过研究测量系统而得到的,每一个评估者的,Kappa,值和评估者之间的,Kappa,都需计算得出,18,研究下列各项数据,19,评估者,A,的列联表,针对收集来的信息，建立一个数据表,:,20,列联表,第一个数据代表了评估者,A,第一次和第二次均测量为优质的次数,21,列联表,第二个数据代表了评估者,A,评估一个数据第一次为劣质第二次为优质的次数,22,列联表,第三个数据代表了评估者,A,评估一个数据第一次为优质第二次为劣质的次数,23,列联表,第四个数据代表了评估者,A,第一次和第二次测量都评为劣质的次数,Example:Contingency Table,24,列联表,在页缘上的的数字代表了,各行和各列的总数,25,列联表,比例,评估者,A,比例,下面表格里的数据是上面表格里每个数据的百分比,相当于 10/20,26,行和列的总数,列联表,比例,27,P,observed,表示在对角线上可能性的总数,:,P,observed,=(0.500+0.350)=0.850,P,chance,表示每一类分组相乘并相加后的可能性的总数：,P,chance,=(0.600*0.55)+(0.400*0.45)=0.51,则,K,rater A,=(0.85-0.51)/(1-0.51)=0.693,计算评估者,A,的,Kappa,值：,28,这回轮到你来计算,计算评估者,B,的,Kappa,值,:,数字,比例,29,评估者间的,Kappa,值,我们可以运用同样的方法来计算评估者之间的,Kappa,值,我们现在只计算我们感兴趣的一对评估者第一次测量时的,Kappa,值,如果有一个评估者自身的重复性太差（,小于,85%,），,那么就没有必要去计算和这个评估者有关的评估者间的,Kappa,值,根据我们是定义评估者各自的,Kappa，,还是评估者之间的,Kappa,，定义,Kappa,的过程将产生细微的变化(,K0.7).,30,Kappa,评估者,A,与评估者,B,两个评估者都认为优质的数量,(,使用第一次测量的数据,),31,评估者间的,Kappa,值,评估者,A,认为是劣质的数量和评估者,B,认为是优质的数量,(,用第一次测量的数据,),32,评估人之间的,Kappa,值,评估者,A,认为是优质的数量和评估者,B,认为是劣质的数量,(,用第一次测量的数据,),33,评估者之间的,Kappa,值,两个评估者都认为是劣质的数量,(,用第一次测量的数据,),34,评估者之间的,Kappa,值,计算评估者之间的,Kappa,值:,下面表格里的数据是上面表格里每个数据的百分比,35,P,observed,表示在对角线上可能性的总数,:,P,observed,=(0.450+0.300)=0.750,P,chance,表示每一类分组相乘并相加后的可能性的总数：,P,chance,=(0.600*0.55)+(0.400*0.45)=0.51,那么,K,rater A/B,=(0.75-0.51)/(1-0.51)=0.489,计算评估者,A,和评估者,B,间的,Kappa,值：,36,Kappa,技术分析后得到,改进的方向,我们应该怎样改进测量系统,额外的培训,标准,/,具体样品,评估者资格认证过程,更好的运作定义,37,离散数据测量系统的基本知识,背景,离散数据分类,Kappa,技术,Kappa,是什么？,列联表,用,Minitab,进行离散数据测量系统分析,38,一个从事教育测试的公司正在对五名新的评估者进行对十二年级标准作文测验笔试部分的鉴定训练,评估者评定作文的能力要与评估标准一致,每一个评估者用五个等级对15份作文进行评估,(-2,-1,0,1,2),同时，教育测试公司也对文章进行评估并提供,“,官方得分,”,每一篇作文将被评估两次，并且每个数据都将被记录在,training data,目录的,“,Attributeordinal.mtw,”,中,打开这个文件，评估每一个评估者的表现,用,Minitab,进行离散数据测量系统分析,39,用,Minitab,进行离散数据测量系统分析,40,Minitab,对话框,(输入变量),41,评估者各自一致性百分比,这个输出图表表示了一致性的百分比以及对应的,95%,置信区间,评估者各自评估,评估一致性,42,评估者各自评估数据的输出窗口,评估者各自的评估数据,Within Appraiser,评估一致性,Assessment Agreement,Appraiser#Inspected#Matched Percent(%)95.0%CI,评估者,#,评估数量,#,匹配的数量比例,(%)95.0%CI,Duncan 15 14 93.3(68.1,99.8),Hayes 15 11 73.3(44.9,92.2),Holmes 15 10 66.7(38.4,88.2),Montgomery 15 10 66.7(38.4,88.2),Simpson 15 14 93.3(68.1,99.8),评估者之间的评估数据,Between Appraisers,评估一致性,Assessment Agreement,#Inspected#Matched Percent(%)95.0%CI,#,评估数量,#,匹配的数量比例(%)95.0%,CI,15 3 20.0(4.3,48.1),这个输出表的信息和上一个图表中所包含的信息是一样的。另外加上了评估者之间的评估数据。,43,让我们再做一次,44,如果我们已经知道部件的标准该怎么办？,如果你对正在检查的产品有已知的标准（是真实答案），你就要告知,Minitab,系统这个已知标准所在位置（列）,。,45,评估者,vs.,标准,评估者各自的评估,评估者,vs,标准,46,评估者各自的评估,评估者各自的评估,Within Appraiser,评估一致性,Assessment Agreement,Appraiser#Inspected#Matched Percent(%)95.0%CI,评估者,#,评估数量,#,匹配的数量比例,(%)95.0%CI,Duncan 15 14 93.3(68.1,99.8),Hayes 15 11 73.3(44.9,92.2),Holmes 15 10 66.7(38.4,88.2),Montgomery 15 10 66.7(38.4,88.2),Simpson 15 14 93.3(68.1,99.8),除了列出评估者各自评估结果的图表，,Minitab,还将给出百分比。,47,每个评估者,vs.,标准,每个评估者,vs,标准,Each Appraiser,vs,Standard,评估一致性,Assessment Agreement,Appraiser#Inspected#Matched Percent(%)95.0%CI,评估者,#,评估数量,#,匹配的数量比例,(%)95.0%CI,Duncan 15 8 53.3(26.6,78.7),Hayes 15 10 66.7(38.4,88.2),Holmes 15 10 66.7(38.4,88.2),Montgomery 15 10 66.7(38.4,88.2),Simpson 15 12 80.0(51.9,95.7),一些,评估者自身的重复性很不错,，但是他的评估,结果无法很好符合标准,(,看一下,Duncan,的评估结果),48,更多的数据输出窗口,评估者间,Between Appraisers,评估一致性,Assessment Agreement,#Inspected#Matched Percent(%)95.0%CI,评估数量,#,匹配的数量比例,(%)95.0%CI,15 3 20.0(4.3,48.1),所有评估者,vs,标准,All Appraisers,vs,Standard,评估一致性,Assessment Agreement,#Inspected#Matched Percent(%)95.0%CI,评估数量,#,匹配的数量比例,(%)95.0%CI,15 3 20.0(4.3,48.1),这个数据窗口会列出评估者的评估结果与标准比较后的数据比例,49,如何才能从,Minitab,中得出,Kappa,值,?,Minitab,既能对分类数据（例如：合格/不合格）,又能对有序数据进行,Kappa,值的计算。,50,如何使用,Minitab,来得到,Kappa,值?,点击“结果”,Results，,选择“附加输出”,In Addition,51,Kappa,值和,Minitab,Kappa,统计数据,Kappa Statistics,评估者各自评估(,Within Appraiser),Appraiser Response Kappa SE Kappa Z,P(vs,0),Duncan-2,1.0000,0.2582 3.8730 0.000,-1,1.0000,0.2582 3.8730 0.000,0,0.7600,0.2582 2.9435 0.002,1,0.8413,0.2582 3.2582 0.001,2,1.0000,0.2582 3.8730 0.000,总计,Overall0.9130 0.1389 6.5754 0.000,Hayes -2 -0.0714 0.2582 -0.2766 0.609,-1 0.6591 0.2582 2.5526 0.005,0 0.8137 0.2582 3.1513 0.001,1 0.4231 0.2582 1.6386 0.051,2 0.8413 0.2582 3.2582 0.001,总计,Overall 0.6501 0.1403 4.6325 0.000,Minitab,将计算每个评估者（评估者各自评估,within）、,每种分类的,Kappa,值。,52,Kappa,值,vs.,标准,每个评估者,vs,标准,Each Appraiser vs.Standard,Kappa,统计数据,Kappa Statistics,Appraiser Response Kappa SE Kappa Z,P(vs,0),Duncan -2,0.5833,0.1826 3.1950 0.001,-1,0.1667,0.1826 0.9129 0.181,0,0.5122,0.1826 2.8052 0.003,1,0.5500,0.1826 3.0127 0.001,2,0.4231,0.1826 2.3173 0.010,总计,overall 0.4531 0.0927 4.8869 0.000,Hayes -2 0.6296 0.1826 3.4486 0.000,-1 0.8137 0.1826 4.4566 0.000,0 0.9068 0.1826 4.9669 0.000,1 0.5200 0.1826 2.8482 0.002,2 0.7364 0.1826 4.0333 0.000,总计,overall 0.7443 0.0949 7.8458 0.000,Minitab,也会同标准做比较,计算出每一个评估者的,Kappa,统计数据，,53,Kappa,值 和,Minitab,评估者间,Between Appraisers,Kappa,统计数据,Kappa Statistics,Response Kappa SE Kappa Z,P(vs,0),-2,0.6493,0.0385 16.8698 0.000,-1,0.5527,0.0385 14.3602 0.000,0,0.4615,0.0385 11.9904 0.000,1,0.4494,0.0385 11.6770 0.000,2,0.6638,0.0385 17.2449 0.000,Overall 0.5437 0.0195 27.8326 0.000,所有评估者,vs,标准,All Appraisers vs.Standard,Kappa,统计数据,Kappa Statistics,Response Kappa SE Kappa Z,P(vs,0),-2 0.8056 0.0816 9.8660 0.000,-1 0.7294 0.0816 8.9337 0.000,0 0.6532 0.0816 8.0002 0.000,1 0.5975 0.0816 7.3174 0.000,2 0.7839 0.0816 9.6007 0.000,Overall 0.7124 0.0419 17.0104 0.000,Minitab,将不会提供特定的两个评估者之间的,Kappa,值，取而代之的是所有评估者之间的每个可能类别的,Kappa,总值。,这个输出窗口将如何帮助我们改进测量系统？,54,如果我的数据是有序型的该如何操作？,选择开始,质量工具,离散型,Gage R&R,研究,选择,StatQuality Tools Attribute Agreement Analysis,55,有序型数据,如果你的数据是有序型的，选择这个选项,56,什么是肯德尔系数（,Kendalls)？,评估者各自的测量,Within Appraiser,肯德尔一致性系数,Kendalls Coefficient of Concordance,Appraiser,Coef,Chi-Sq DF P,Duncan 0.9901,27.7219 14 0.015,Hayes 0.9758 27.3226 14 0.017,Holmes 0.9540 26.7114 14 0.021,Montgomery 0.9471 26.5194 14 0.022,Simpson 0.9902 27.7263 14 0.015,肯德尔系数可被视作为一个,R-squared,值,数值越低，错误就越严重。,57,肯德尔相关系数,Kendalls,评估者各自的测量,VS,标准,Within appraiser versus standard,肯德尔相关系数,Kendalls Correlation Coefficient,Appraiser,Coef,SE,Coef,Z P,Duncan 0.9030 0.1361 6.6009 0.000,Hayes 0.9227 0.1361 6.7456 0.000,Holmes 0.9401 0.1361 6.8730 0.000,Montgomery 0.9288 0.1361 6.7900 0.000,Simpson 0.8876 0.1361 6.4878 0.000,肯德尔系数可被视作为一个,R-squared,值,数值越低，错误就越严重。,58,肯德尔系数,Kendalls,评估者间,Between Appraiser,肯德尔一致性系数,Kendalls Coefficient of Concordance,Coef,Chi-Sq DF P,0.9203 128.8360 14 0.000,评估者间与标准相比,Between appraiser as compared to standard,肯德尔相关性系数,Kendalls Correlation Coefficient,Coef,SE,Coef,Z P,0.9164 0.0609 15.0431 0.000,59,我们将进入一个花生生产的工作中,众所周知你种的花生越多越好，你赚的钱就越多,劣质的花生需要被挑选出来，加工成花生酱卖出。我们需要一个能够完成此项工作的检查系统。,每组挑选三个评估者组成小组来评估花生,练习,“,花生”产品,60,练习,“,花生”产品（续）,我们将用大、较大、中、较小、小的尺度标准来评估花生的饱满程度。,让每个评估者检查每个花生两次，并且运用,Minitab,来分析你的结果,完成这个练习并且准备好在课堂上陈述你的结果,61,注意事项：,尽力避免离散型的数据,运作定义是极其重要的,离散数据测量系统需要大量的维护,Kappa,是一种测试主观测量系统的重复性和再现性的简单方法,62,小结：,离散数据测量系统的基本知识,Kappa,技术,用,Minitab,进行离散数据测量系统分析,63,