[教育]油气化探的数据处理.pptx

教育油气化探的数据处理,化探数据的概率分布特征,实际工作中常见的数据分布特征：,近似正态分布：代表两种以上的地质母体的混合特征。,伽玛分布或卡方分布：由高异常值造成的密度函数拖尾现象。,常见的化探数据分布特征,背景值和异常下限值的统计原理,当化探数据来源于同一母体（地质背景）时，其数据总体服从正态分布。数据的平均值为区域背景值，均值加上N倍（1.5-2.5）均方差代表异常下限值。,背景值和异常下限值的统计方法,迭代法,稳健估计法,趋势面分析,经典迭代法,一个饲养场引进一只刚出生的新品种兔子，这种兔子从出生的下一个月开始，每月新生一只兔子，新生的兔子也如此繁殖。如果所有的兔子都不死去，问到第 12 个月时，该饲养场共有兔子多少只？,u,n,u,n 1,2(n 2),迭代法求背景值和异常下限值,计算原始数据的均值（X1）和标准偏差（Sd1）；,按X1+nSd1条件剔除一部分极高值得到新数据集，再计算新数据集的均值（X2）和标准偏差（Sd2）；,重复步骤，,直至无特高数据点,，此时得到的数据集的均值（X）和标准偏差（Sd）来计算样品的背景值和异常下限值：均值X为背景值；X+nSd为异常下限值。,稳健估计法,稳健统计是处理实际数据与假设的总体分布有一定偏离的一种统计方法。常规的统计方法通常建立在假定数据服从某一分布的基础上，但实际数据一般都含有0.5%10%甚至更高的偏离假定分布的离群值。,稳健统计主要通过,稳健估计,和稳健处理两种途径实现。,稳健估计,假设数据服从高斯分布，不对数据结构做过多分析，而直接得出模型结果。,统计方法的比较,常规统计法计算出均值和异常下限值略高于迭代法和稳健估计法；,当样品原始数据服从正态分布时，各方法分析结果相近。,数据处理和统计,背景值和异常下限值的确定；,离群数据处理；,指标的优选和综合（,降维,）；,异常图件的绘制；,离群数据处理,原则,：特低值可以直接舍弃，特高值处理以服从正态分布或近正态分布的数据母体为依据。,方法,：修改数据，适应方法,正态分布检验、迭代删除,修改方法，适应数据,稳健统计,指标的优选和综合,聚类分析,因子分析,非线性映射法,相关分析法,回归分析法,判别分析法,聚类分析,样品或指标之间存在程度不同的相似性（以样品间距离衡量）。根据一批样品的多个观测指标，具体找出一些能够度量样品或指标之间相似程度的统计量，以这些统计量为划分类型的依据。把一些相似程度较大的样品（或指标）聚合为一类，把另外一些彼此之间相似程度较大的样品（或指标）又聚合为另一类，直到把所有的样品（或指标）聚合完毕，这就是分类的基本思想。在聚类分析中，通常我们将根据分类对象的不同分为Q型聚类分析（样品）和,R型聚类分析（指标）,两大类。,R型聚类分析,k-均值聚类（确定分类数）,选择聚类种子（任意点）；,根据其他各点和种子间的距离分类；,用类中心（均质）作为新种子，重新分类；,k-均值聚类只能做Q型聚类，如要做R型聚类，需要把数据阵进行转置。,分层聚类（不确定分类数）,将每个点都看作一类；,将最近2点合并为一类，剩余最近2点继续合并；,每次合并类数减少一个，直至最终所有数据合并为一个大类,因子分析,在面对大量关系复杂的数据资料时，我们如何确定需要分析的变量及其得到的信息是更加精确的。,各单个变量之间的相关性会导致分析的难度增加；变量的独立分析又将导致分析结果的孤立性；,减少分析变量数可能会导致重要信息的丢失；,利用变量之间的相关性对多维数据进行降维，提取有代表性的综合指标-因子分析,因子分析,因子分析就是用少数几个因子去描述许多指标或因素之间的联系，即将相关比较密切的几个变量归在同一类中，每一类变量就成为一个因子（之所以称其为,因子，是因为它是不可观测的，即不是具体的变量,）,公共因子,，是不可观测的变量，他们的系数称为因子载荷。是,特殊因子,，是不能被前m个公共因子包含的部分。,因子分析,注意事项：,因子分析过程是先确定因子及个数；,原始变量的选择；,降维的效果和原始变量的独立性直接相关；,因子分析,n,CH4,Na,+,n,C2+,Ca,2+,n,C,SO,4,2-,C,1,/C,2,+,Cl,-,C(%),H,2,S,U254nm,N,2,F280nm,He,直接因子,环境因子,轻烃因子,重烃因子,水化学因子,气体因子,因子分析在化探中的作用,探讨样品的系统分类和成因分类（Q型分析）；,压缩指标，选择最优化探指标组合（R型分析）；,通过对应因子分析阐明变量的成因关系和样品的种属关系；,在对参数进行降维处理时，选取最优指标组合；,相关分析,相关分析的目的是为了揭示变量之间相互关系的,紧密程度,，主要是通过相关系数的计算和检验来确定,不相关,负线性相关,正线性相关,非线性相关,完全负线性相关,完全正线性相关,常见的相关关系图,不相关,负线性相关,正线性相关,非线性相关,完全负线性相关,完全正线性相关,相关系数的计算,定义:,和 为两变量的平均值。,相关系数的计算与检验,-1=,rxy,=1，大于0时正相关，小于0时负相关。,r,xy,的绝对值越接近于1，两变量的关系越密切；,rxy,越接近于0，两变量的关系越不密切。,相关系数的计算与检验,相关系数的检验,相关系数是根据要素之间的样本值计算出来，它随着样本数的多少或取样方式的不同而不同，因此它只是要素之间的样本相关系数，只有通过检验，才能知道它的可信度。,检验是通过在给定的置信水平下，查相关系数检验的临界值表来实现的。,f,称为自由度，,f,=,n,-2，,n,为样本数；,代表置信水平;,检验相关系数 的临界值（）表,偏相关系数和复相关系数,偏相关：在多变量相互关联的系统中，不考虑其他变量的影响而单独研究指定两个变量的相关性；,复相关：反应多个变量与一个变量之间的相关关系；,回归分析,回归分析是指在大量数据的基础上，利用数理统计方法建立因变量与自变量之间的回归关系函数表达式（称回归方程式）的方法。根据因变量和自变量的个数可以分为一元和多元回归分析；根据变量间的函数关系可以分为线性和非线性回归分析。,回归分析和相关分析的关系？,非线性相关,回归分析和相关分析的关系,相关分析是回归分析的基础和前提,。只有在相关分析确定了变量之间存在一定相关关系的基础上建立的回归方程才有意义。,回归分析是相关分析的继续和深化,。只有建立了回归方程才能表明变量之间的依赖关系，并进一步进行预测。,判别分析,判别分析是指是在,分类确定的条件下,，根据某一研究对象的各种特征值判别其类型归属问题的一种多变量统计分析方法。其基本原理是按照一定的判别准则，建立一个或多个,判别函数,，用研究对象的大量资料确定判别函数中的待定系数，并计算判别指标。据此即可确定某一样本属于何类。,判别分析和聚类分析的关系,判别分析是在已知聚类分析的基础上进行的；,聚类分析是完全根据数据来确定的，其目的是对数据进行分类；判别分析的目的是在已知类别的样本上建立判别准则，并通过预测变量来为未知类别的观测值进行判别了,。,判别分析在化探中的作用,根据已知数据建立判别函数，用于指导未知样品的分类；,判别分析函数的建立，可以明确各指标对于异常的影响因子，提高化探异常的准确性；,趋势面分析,趋势面分析，是利用数学曲面模拟系统要素,在空间上,的分布及变化趋势,的一种数学方法。,趋势面分析,实际的曲面分解为,趋势面,和,剩余面,两部分，前者反映指标的宏观分布规律，属于确定性因素作用的结果；而后者则对应于微观局域，是随机因素影响的结果。,趋势面分析的基本要求，就是所选择的趋势面模型应该是剩余值最小，而趋势值最大。,原始数据等值线图,一次趋势面图,一次剩余等值图,三次趋势面等值图,三次剩余等值图,来逼近原始数据。根据最小二乘法,原理，应使每个观测值,z,i,与趋势值,Z,i,(i=1,2,，n）的偏差平方和为最小，,即:,一次多项式趋势面公式,计算二次趋势面，则趋势方程,随着次数的增高，求系数的方程组的阶次,k,以趋势面的次数,p,按下式增大：,k,=(,p,+1)(,p,+2)/2,趋势面分析,优点：,可以分解数据的区域性变化、局部性变化和随机性变化；,可以突出局部化探异常（包括低背景值下的弱异常）；,可以利用剩余值来圈定局部异常；,典型趋势面分析,利用一组指标组合的共同趋势，迭合成综合异常图，提高化探异常的准确性；,可以利用剩余异常和趋势值的对比来定量评价异常；,对比各指标在综合异常图中的比重，对指标或指标组合进行评价和优选。,趋势面分析的干扰因素,区域地形地貌对于数据的影响；,地球化学体系（近地表）对于数据的影响；,理想化曲面和复杂区域地质构造条件之间的差异；,