机器学习整理.pdf

机器学习整理资料1、学习方法：、学习方法：二分类：二分类：每个分类器只能把样本分为两类。瓦普尼克 95 年提出来基础的支持向量机就是个二分类的分类器，这个分类器学习过 程就是解一个基于正负二分类推导而来的一个最优规划问题（对偶问题），要解决多分类问题 就要用决策树把二分类的分类器级联，VC 维的概念就是说的这事的复杂度。多分类问题：多分类问题：针对不同的属性训练几个不同的弱分类器，然后将它们集成为一个强分类器。层次聚类：创建一个层次等级以分解给定的数据集。此方法分为自上而下（分解）和自下而上（合并）两种操作方式。K-中心点聚类：中心点聚类：挑选实际对象来代表簇，每个簇使用一个代表对象。它是围绕中心点划分的一种规则回归分析回归分析：处理变量之间具有相关性的一种统计方法结构分析：结构分析：结构分析法是在统计分组的基础上，计算各组成部分所占比重，进而分析某一总体现象的内部结构特征、总体的性质、总体内部结构依时间推移而表现出的变化规律性的统计方法。结构分析法的基本表现形式，就是计算结构标。2、监督学习算法：、监督学习算法：决策树、朴素贝叶斯、逻辑回归、KNN、SVM、神经网络、随机森林、AdaBoost、遗传算法无监督学习算法：无监督学习算法：聚类、关联规则、训练/学习、预测、K-Means、BIRCH、Apriori3、Nave Bayes 是一种特殊的 Bayes 分类器,特征变量是 X,类别标签是 C,它的一个假定是:特征变量 X 的各个维度是类别条件独立随机变量朴素：特征条件独立朴素：特征条件独立贝叶斯：基于贝叶斯定理贝叶斯：基于贝叶斯定理4、CRF（条件随机场算法）模型对于 HMM（隐马尔可夫模型）和 MEMM（最大熵隐马尔科夫模型）模型的优势:特征灵活、可容纳较多上下文信息、全局最优特征灵活、可容纳较多上下文信息、全局最优三者的比较、优点：三者的比较、优点：（1）CRF 没有 HMM 那样严格的独立性假设条件，因而可以容纳任意的上下文信息。特征设计灵活（与 ME 一样）与 HMM 比较（2）同时，由于 CRF 计算全局最优输出节点的条件概率，它还克服了最大熵马尔可夫模型标记偏置（Label-bias）的缺点。与 MEMM 比较（3）CRF 是在给定需要标记的观察序列的条件下，计算整个标记序列的联合概率分布，而不是在给定当前状态条件下，定义下一个状态的状态分布。与 ME 比较缺点：训练代价大、复杂度高缺点：训练代价大、复杂度高5、KNN 算法：算法：K-NN 算法通过计算新数据与训练数据特征值之间的距离,然后选取 K(K=1)个距离最近的邻居进行分类或者回归.如果 K=1,那么新数据将被分配给其近邻的类k-NN 最近邻方法在样本较少但典型性好的情况下效果较好最近邻方法在样本较少但典型性好的情况下效果较好.6、在 HMM 中,如果已知观察序列和产生观察序列的状态序列，极大似然估计极大似然估计方法直接进行参数估计。EM 算法：算法：只有观测序列，无状态序列时来学习模型参数，即 Baum-Welch 算法 维特比算法维特比算法：用动态规划解决 HMM 的预测问题，不是参数估计 前向后向前向后向：用来算概率 极大似然估计极大似然估计：即观测序列和相应的状态序列都存在时的监督学习算法，用来估计参数 7、常见的判别模型有：、常见的判别模型有：支持向量机 传统的神经网络 线性判别分析 线性回归逻辑回归 最近邻 CRF Boosting 产生式模型常见的主要有：产生式模型常见的主要有：高斯 朴素贝叶斯 混合多项式 混合高斯模型 专家的混合物 隐马尔可夫模型 马尔可夫的随机场 HMMs Sigmoidal Belief Networks,Bayesian Networks Markov Random Fields Latent Dirichlet Allocation 8、已知一组数据的协方差矩阵已知一组数据的协方差矩阵 P，1、主分量分析的最佳准则是对一组数据进行按一组正交基分解,在只取相同数量分量的条件下,以均方误差计算截尾误差最小2、在经主分量分解后,协方差矩阵成为对角矩阵3、主分量是通过求协方差矩阵的特征值得到4、K-L 变换与 PCA 变换是不同的概念，PCA 的变换矩阵是协方差矩阵，K-L 变换的变换矩阵可以有很多种（二阶矩阵、协方差矩阵、总类内离散度矩阵等等）。当 K-L 变换矩阵为协方差矩阵时，等同于 PCA。9、假定某同学使用 Naive Bayesian（NB）分类模型时，不小心将训练数据的两个维度搞重复了，1、模型效果相比无重复特征的情况下精确度会降低、模型效果相比无重复特征的情况下精确度会降低 2、当两列特征高度相关时，当两列特征高度相关时，无法用两列特征相同时所得到的结论来分析问题无法用两列特征相同时所得到的结论来分析问题10、SVM 是这样一个分类器，他寻找具有最小边缘的超平面，因此它也经常被称为最小边缘分类器（minimal margin classifier）在聚类分析当中，簇内的相似性越大，簇间的差别越大，聚类的效果就越差。在决策树中，随着树中结点数变得太大，即使模型的训练误差还在继续减低，但是检验误差开始增大，这是出现了模型拟合不足的问题。11、SPSS（统计产品与服务解决方案”软件）中，数据整理的功能主要集中在（数据数据、转换）等菜单中12、数据清理中，处理缺失值的方法有两种：数据清理中，处理缺失值的方法有两种：删除法：删除法：1）删除观察样本 2）删除变量：当某个变量缺失值较多且对研究目标影响不大时，可以将整个变量整体删除 3）使用完整原始数据分析：当数据存在较多缺失而其原始数据完整时，可以使用原始数据替代现有数据进行分析 4）改变权重：当删除缺失数据会改变数据结构时，通过对完整数据按照不同的权重进行加权，可以降低删除缺失数据带来的偏差查补法查补法：均值插补、回归插补、抽样填补等成对删除与改变权重为一类；估算与查补法为一类成对删除与改变权重为一类；估算与查补法为一类13、卡方检验卡方检验是用途非常广的一种假设检验方法，它在分类资料统计推断中的应用，包括：两个率或两个构成比比较的卡方检验；多个率或多个构成比比较的卡方检验以及分类资料的相关分析等。14、规则化规则化是结构风险最小化策略的实现，是在经验风险上加一个正则化项(regularizer)或惩罚项(penalty term)。1、L1 范数和范数和 L0 范数可以实现稀疏范数可以实现稀疏，L1 因具有比 L0 更好的优化求解特性而被广泛应用。L1 正则化偏向于稀疏，它会自动进行特征选择，去掉一些没用的特征，也就是将这些特征对应的权重置为 0.2、使用、使用 L2 可以得到平滑的权值可以得到平滑的权值.L2 主要功能是为了防止过拟合，为了防止过拟合，当要求参数越小时，说明模型越简单，而模型越简单则，越趋向于平滑，从而防止过拟合。L2 范数:|W|2,因为它的强大功效是改善机器学习里面一个非常重要的问题：过拟合。通过 L2 范数，我们可以实现了对模型空间的限制，从而在一定程度上避免了过拟合。线性分类器有三大类：感知器准则函数、SVM、Fisher 准则，而贝叶斯分类器不是线性分类器。15、感知器准则函数感知器准则函数：代价函数 J=-(W*X+w0)，分类的准则是最小化代价函数。感知器是神经网络（NN）的基础，SVM：支持向量机也是很经典的算法，优化目标是最大化间隔（margin），又称最大间隔分类器，是一种典型的线性分类器。（使用核函数可解决非线性问题）Fisher 准则准则：更广泛的称呼是线性判别分析（LDA），将所有样本投影到一条远点出发的直线，使得同类样本距离尽可能小，不同类样本距离尽可能大，具体为最大化“广义瑞利商”。贝叶斯分类器：贝叶斯分类器：一种基于统计方法的分类器，要求先了解样本的分布特点（高斯、指数等），所以使用起来限制很多。在满足一些特定条件下，其优化目标与线性分类器有相同结构（同方差高斯分布等），其余条件下不是线性分类。线性分类器三种最优准则：Fisher 准则准则：根据两类样本一般类内密集，类间分离的特点，寻找线性分类器最佳的法线 向量方向，使两类样本在该方向上的投影满足类内尽可能密集，类间尽可能分开。这种度量通过类内离散矩阵 Sw 和类间离散矩阵 Sb 实现。感知准则函数：准则函数以使错分类样本到分界面距离之和最小为原则。其优点是通过错分类样本提供的信息对分类器函数进行修正，这种准则是人工神经元 网络多层感知器的基础。支持向量机支持向量机：基本思想是在两类线性可分条件下，所设计的分类器界面使两类之间的 间隔为最大，它的基本出发点是使期望泛化风险尽可能小。16、INDEX:函数返回表格或区域中的值或值的引用.MATCH:在范围单元格中搜索特定的项,然后返回该项在此区域中的相对位置.VLOOKUP&HLOOKUP:在表格的首行或数值数组中搜索值,然后返回表格或数组中指定 行的所在列中的值.当比较值位于数据表格的首行时,如果要向下查看指定的行数,则可 使用 HLOOKUP;当比较值位于所需查找的数据的左边一列时,则可使用 VLOOKUP.FIND:返回一个字符串在另一个字符串中出现的起始位置(区分大小写).IF:可以对值和期待值进行逻辑比较.LIKE:可用 Like 运算符自定义字符比较函数之类的,应该是 VBA 的函数.17、统计模式分类问题中，当先验概率未知时，可以使用当先验概率未知时，可以使用 1、最小最大损失准则、最小最大损失准则 2、N-P判决判决A.最小最大损失准则考虑 p(wi)变化的条件下，是风险最小 B.最小误判概率准则，就是判断 p(w1|x)和 p(w2|x)哪个大，x 为特征向量，w1 和 w2 为两分类，根据贝叶斯公式，需要用到先验知识 C.最小损失准则，在 B 的基础之上，还要求出 p(w1|x)和 p(w2|x)的期望损失，因为 B 需要先验概率，所以 C 也需要先验概率 D.N-P 判决，即限定一类错误率条件下使另一类错误率为最小的两类别决策，即在一类错误率固定的条件下，求另一类错误率的极小值的问题，直接计算 p(x|w1)和 p(x|w2)的比值，不需要用到贝叶斯公式18、隐马尔可夫模型隐马尔可夫模型三个基本问题以及相应的算法说法 1、评估、评估前向后向算法前向后向算法 2、解码解码维特比算法维特比算法 3、学习学习Baum-Welch 算法算法19、聚类的目标、聚类的目标是使同一类对象的相似度尽可能地大；不同类对象之间的相似度尽可能地小。目前聚类的方法很多，根据基本思想的不同，大致可以将聚类算法分为五大类：层层次聚类算法、分割聚类算法、基于约束的聚类算法、机器学习中的聚类算法和用于高维度次聚类算法、分割聚类算法、基于约束的聚类算法、机器学习中的聚类算法和用于高维度的聚类算法的聚类算法1、层次聚类算法层次聚类算法1.1 聚合聚类1.1.1 相似度依据距离不同：Single-Link:最近距离、Complete-Link：最远距离、Average-Link：平均距离1.1.2 最具代表性算法1）CURE 算法特点：固定数目有代表性的点共同代表类优点：识别形状复杂，大小不一的聚类，过滤孤立点2）ROCK 算法特点：对 CURE 算法的改进优点：同上，并适用于类别属性的数据3）CHAMELEON 算法特点：利用了动态建模技术1.2 分解聚类1.3 优缺点优点：适用于任意形状和任意属性的数据集；灵活控制不同层次的聚类粒度，强聚类能力缺点：大大延长了算法的执行时间，不能回溯处理 2、分割聚类算法、分割聚类算法2.1 基于密度的聚类2.1.1 特点将密度足够大的相邻区域连接，能有效处理异常数据，主要用于对空间数据的聚类2.1.2 典型算法1）DBSCAN：不断生长足够高密度的区域2）DENCLUE：根据数据点在属性空间中的密度进行聚类，密度和网格与处理的结合3）OPTICS、DBCLASD、CURD：均针对数据在空间中呈现的不同密度分不对 DBSCAN作了改进2.2 基于网格的聚类2.2.1 特点利用属性空间的多维网格数据结构，将空间划分为有限数目的单元以构成网格结构；1）优点：处理时间与数据对象的数目无关，与数据的输入顺序无关，可以处理任意类型的数据2）缺点：处理时间与每维空间所划分的单元数相关，一定程度上降低了聚类的质量和准确性2.2.2 典型算法1）STING：基于网格多分辨率，将空间划分为方形单元，对应不同分辨率2）STING+：改进 STING，用于处理动态进化的空间数据3）：结合网格和密度聚类的思想，能处理大规模高维度数据4）WaveCluster：以信号处理思想为基础2.3 基于图论的聚类2.3.1 特点转换为组合优化问题，并利用图论和相关启发式算法来解决，构造数据集的最小生成数，再逐步删除最长边1）优点：不需要进行相似度的计算2.3.2 两个主要的应用形式1）基于超图的划分2）基于光谱的图划分2.4 基于平方误差的迭代重分配聚类2.4.1 思想逐步对聚类结果进行优化、不断将目标数据集向各个聚类中心进行重新分配以获最优解2.4.2 具体算法1）概率聚类算法期望最大化、能够处理异构数据、能够处理具有复杂结构的记录、能够连续处理成批的数据、具有在线处理能力、产生的聚类结果易于解释2）最近邻聚类算法共享最近邻算法 SNN特点：结合基于密度方法和 ROCK 思想，保留 K 最近邻简化相似矩阵和个数不足：时间复杂度提高到了 O(N2)3）K-Medioids 算法特点：用类中的某个点来代表该聚类优点：能处理任意类型的属性；对异常数据不敏感4）K-Means 算法1特点：聚类中心用各类别中所有数据的平均值表示2原始 K-Means 算法的缺陷：结果好坏依赖于对初始聚类中心的选择、容易陷入局部最优解、对 K 值的选择没有准则可依循、对异常数据较为敏感、只能处理数值属性的数据、聚类结构可能不平衡3K-Means 的变体Bradley 和 Fayyad 等：降低对中心的依赖，能适用于大规模数据集Dhillon 等：调整迭代过程中重新计算中心方法，提高性能Zhang 等：权值软分配调整迭代优化过程Sarafis：将遗传算法应用于目标函数构建中Berkh in 等：应用扩展到了分布式聚类还有：采用图论的划分思想，平衡聚类结果，将原始算法中的目标函数对应于一个各向同性的高斯混合模型5）优缺点优点：应用最为广泛；收敛速度快；能扩展以用于大规模的数据集缺点：倾向于识别凸形分布、大小相近、密度相近的聚类；中心选择和噪声聚类对结果影响大3、基于约束的聚类算法、基于约束的聚类算法3.1 约束对个体对象的约束、对聚类参数的约束；均来自相关领域的经验知识3.2 重要应用对存在障碍数据的二维空间按数据进行聚类,如 COD(Clustering with Obstructed Distance)：用两点之间的障碍距离取代了一般的欧式距离3.3 不足通常只能处理特定应用领域中的特定需求4、用于高维数据的聚类算法、用于高维数据的聚类算法4.1 困难来源因素1）无关属性的出现使数据失去了聚类的趋势2)区分界限变得模糊4.2 解决方法1)对原始数据降维2)子空间聚类CACTUS：对原始空间在二维平面上的投影CLIQUE：结合基于密度和网格的聚类思想，借鉴 Apriori 算法3)联合聚类技术特点：对数据点和属性同时进行聚类文本：基于双向划分图及其最小分割的代数学方法4.3 不足：不可避免地带来了原始数据信息的损失和聚类准确性的降低5、机器学习中的聚类算法、机器学习中的聚类算法5.1 两个方法1)人工神经网络方法自组织映射：向量化方法，递增逐一处理；映射至二维平面，实现可视化基于投影自适应谐振理论的人工神经网络聚类 2)基于进化理论的方法缺陷：依赖于一些经验参数的选取，并具有较高的计算复杂度 模拟退火：微扰因子；遗传算法（选择、交叉、变异）5.2 优缺点优点：利用相应的启发式算法获得较高质量的聚类结果缺点：计算复杂度较高，结果依赖于对某些经验参数的选择20、位势函数法的积累势函数位势函数法的积累势函数 K(x)的作用相当于 Bayes 判决中的 1、后验概率后验概率 2、类概率类概率密度与先验概率的乘积密度与先验概率的乘积在(1、选用的可分性判据 J 对特征数目单调不减 2、)情况下,用分支定界法做特征选择计算量相对较少分支定界法分支定界法（branch and bound）是一种求解 整数规划 问题的最常用算法。这种方法不但可以求解纯整数规划，还可以求解混合整数规划问题。分支定界法是计算机最擅长 的广义搜索穷举算法。分支定界法分支定界法是一种搜索与迭代搜索与迭代的方法，选择不同的分支变量和子问题进行分支。对于两个变量的整数规划问题，使用网格的方法有时更为简单。分支定界法类似决策树的决策特征，要选择那些具有强可分辨性的少量特征。21、可以用于特征降维的方法包括（可以用于特征降维的方法包括（ABCD）A 主成分分析 PCA B 线性判别分析 LDAC 深度学习 SparseAutoEncoder D 矩阵奇异值分解 SVD22、1、SVM 对噪声对噪声（如来自其他分布的噪声样本）鲁棒 SVM 本身对噪声具有一定的鲁棒性，但实验证明，是当噪声率低于一定水平的噪声对SVM 没有太大影响，但随着噪声率的不断增加，分类器的识别率会降低。2、在在 AdaBoost 算法中所有被分错的样本的权重更新比例相同算法中所有被分错的样本的权重更新比例相同 AdaBoost 算法中不同的训练集是通过调整每个样本对应的权重来实现的。开始时，每个样本对应的权重是相同的，即其中 n 为样本个数，在此样本分布下训练出一弱分类器。对于分类错误的样本，加大其对应的权重；而对于分类正确的样本，降低其权重，这样分错的样本就被凸显出来，从而得到一个新的样本分布。在新的样本分布下，再次对样本进行训练，得到弱分类器。以此类推，将所有的弱分类器重叠加起来，得到强分类器。3、Boost 和和 Bagging 都是组合多个分类器投票的方法，二者均是根据单个分类器的正确率都是组合多个分类器投票的方法，二者均是根据单个分类器的正确率决定其权重。决定其权重。Bagging 与 Boosting 的区别区别：取样方式不同。Bagging 采用均匀取样，而 Boosting 根据错误率取样。Bagging 的各个预测函数没有权重，而 Boosting 是由权重的，Bagging 的各个预测函数可以并行生成，而 Boosing 的哥哥预测函数只能顺序生成。23、比较后验概率比较后验概率 p(|x),哪个类的后验概率大哪个类的后验概率大,就属于哪个类。就属于哪个类。后验概率:p(|x)=p(x|)p()/p(x),分母 p(x)总是常数可以忽略,先验概率 p()已知,计算类条件概率 p(x|),即可得到后验概率.模式识别知识点模式识别知识点1 1、模式识别系统的基本构成单元包括：、模式识别系统的基本构成单元包括：模式采集模式采集 、特征提取与选择和、特征提取与选择和 模式分类模式分类 。2 2、统计模式识别中描述模式的方法一般使用、统计模式识别中描述模式的方法一般使用 特征矢量特征矢量 ；句法模式识别中模式描述方法一；句法模式识别中模式描述方法一般有串般有串 、树、树 、网。、网。3 3、聚类分析算法属于、聚类分析算法属于 （1 1）；判别域代数界面方程法属于；判别域代数界面方程法属于 （3 3）。（1 1）无监督分类）无监督分类 (2)(2)有监督分类有监督分类 （3 3）统计模式识别方法（）统计模式识别方法（4 4）句法模式识别方法）句法模式识别方法4 4、若描述模式的特征量为、若描述模式的特征量为 0-10-1 二值特征量，则一般采用（二值特征量，则一般采用（4 4）进行相似性度量。）进行相似性度量。（1 1）距离测度）距离测度 （2 2）模糊测度）模糊测度 （3 3）相似测度）相似测度 （4 4）匹配测度）匹配测度5 5、下列函数可以作为聚类分析中的准则函数的有下列函数可以作为聚类分析中的准则函数的有 （1 1）（3 3）（4 4）。（1 1）（2 2）(3)(3)(4)(4)6 6、FisherFisher 线性判别函数的求解过程是将线性判别函数的求解过程是将 N N 维特征矢量投影在维特征矢量投影在 （2 2）中进行）中进行 。（1 1）二维空间）二维空间 （2 2）一维空间）一维空间 （3 3）N-1N-1 维空间维空间7 7、下列判别域界面方程法中只适用于线性可分情况的算法有（、下列判别域界面方程法中只适用于线性可分情况的算法有（1 1）；线性可分、不可分都适；线性可分、不可分都适用的有（用的有（3 3）。（1 1）感知器算法）感知器算法 （2 2）H-KH-K 算法算法 （3 3）积累位势函数法）积累位势函数法8 8、下列四元组中满足文法定义的有、下列四元组中满足文法定义的有 （1 1）（2 2）（4 4）。（1 1）(A,(A,B,B,0,0,1,1,A?01,A?01,A A?0A10A1 ,A A?1A01A0 ,B B?BABA ,B B?0,0,A)A)（2 2）(A,(A,0,0,1,1,A?0,A?0,A A?0A,0A,A)A)（3 3）(S,(S,a,a,b,b,SS?00S,00S,S S?11S,11S,S S?00,00,S S?11,11,S)S)（4 4）(A,(A,0,0,1,1,A?01,A?01,A A?0A1,0A1,A A?1A0,1A0,A)A)9 9、影响层次聚类算法结果的主要因素有（、影响层次聚类算法结果的主要因素有（计算模式距离的测度、计算模式距离的测度、（聚类准则、类间距离门（聚类准则、类间距离门限、预定的类别数目）限、预定的类别数目）。1010、欧式距离具有（、欧式距离具有（1 1、2 2 ）；马式距离具有（；马式距离具有（1 1、2 2、3 3、4 4 ）。（1 1）平移不变性（）平移不变性（2 2）旋转不变性（）旋转不变性（3 3）尺度缩放不变性（）尺度缩放不变性（4 4）不受量纲影响的特性）不受量纲影响的特性1111、线性判别函数的正负和数值大小的几何意义是（正（负）表示样本点位于判别界面法、线性判别函数的正负和数值大小的几何意义是（正（负）表示样本点位于判别界面法向量指向的正（负）半空间中；绝对值正比于样本点到判别界面的距离。向量指向的正（负）半空间中；绝对值正比于样本点到判别界面的距离。）。1212、感知器算法、感知器算法 1 1 。（1 1）只适用于线性可分的情况；（）只适用于线性可分的情况；（2 2）线性可分、不可分都适用。）线性可分、不可分都适用。1313、积累势函数法较之于、积累势函数法较之于 H-KH-K 算法的优点是（该方法可用于非线性可分情况（也可用于线算法的优点是（该方法可用于非线性可分情况（也可用于线性可分情况）性可分情况）；K(x)?K(x)?位势函数位势函数 K(x,xk)K(x,xk)与积累位势函数与积累位势函数 K(x)K(x)的关系为（的关系为（?xk?X?kK(x,xk)?xk?X?kK(x,xk)）。1414、在统计模式分类问题中，聂曼、在统计模式分类问题中，聂曼-皮尔逊判决准则主要用于（皮尔逊判决准则主要用于（某一种判决错误较另一种某一种判决错误较另一种判决错误更为重要）情况；最小最大判决准则主要用于（判决错误更为重要）情况；最小最大判决准则主要用于（先验概率未知的）情况。先验概率未知的）情况。1515、“特征个数越多越有利于分类特征个数越多越有利于分类”这种说法正确吗？（这种说法正确吗？（错误错误 ）。特征选择的主要目的是（从特征选择的主要目的是（从 n n 个特征中选出最有利于分类的的个特征中选出最有利于分类的的 m m 个特征（个特征（mnmnCnn ）的条件下，可以使）的条件下，可以使用分支定界法以减少计算量。用分支定界法以减少计算量。1616、散度散度 JijJij 越大，说明越大，说明?i?i 类模式与类模式与?j?j 类模式的分布（差别越大）类模式的分布（差别越大）；当；当?i?i 类模式与类模式与?j?j 类类模式的分模式的分布相同时，布相同时，Jij=Jij=（0 0）。1717、已知有限状态自动机已知有限状态自动机 Af=(?Af=(?，Q Q，?，q0q0，F)F)，?=0?=0，11；Q=q0Q=q0，q1q1；?：?(q0?(q0，0)=0)=q1q1，?(q0?(q0，1)=1)=q1q1，?(q1?(q1，0)=q00)=q0，?(q1?(q1，1)=q01)=q0；q0=q0q0=q0；F=q0F=q0。现有输入字符串：。现有输入字符串：(a)(a)0001110101100011101011，(b)(b)11001100111100110011，(c)(c)101100111000101100111000，(d)0010011(d)0010011，试问，用，试问，用 AfAf 对上述字对上述字符串进行分类的结果为（符串进行分类的结果为（1:a,d;2:b,c1:a,d;2:b,c ）。1818、影响聚类算法结果的主要因素有（、影响聚类算法结果的主要因素有（）。已知类别的样本质量；已知类别的样本质量；分类准则；分类准则；特征选取；特征选取；模式相似性测度。模式相似性测度。1919、模式识别中，马式距离较之于欧式距离的优点是（、模式识别中，马式距离较之于欧式距离的优点是（）。平移不变性；平移不变性；旋转不变性；旋转不变性；尺度不变性；尺度不变性；考虑了模式的分布。考虑了模式的分布。2020、基于二次准则函数的、基于二次准则函数的 H-KH-K 算法较之于感知器算法的优点是（算法较之于感知器算法的优点是（）。可以判别问题是否线性可分；可以判别问题是否线性可分；其解完全适用于非线性可分的情况；其解完全适用于非线性可分的情况；其解的适应性更其解的适应性更好；好；计算量小。计算量小。2121、影响基本、影响基本 C C 均值算法的主要因素有（均值算法的主要因素有（）。样本输入顺序；样本输入顺序；模式相似性测度；模式相似性测度；聚类准则；聚类准则；初始类心的选取。初始类心的选取。2222、位势函数法的积累势函数、位势函数法的积累势函数 K(x)K(x)的作用相当于的作用相当于 BayesBayes 判决中的（判决中的（）。先验概率；先验概率；后验概率；后验概率；类概率密度；类概率密度；类概率密度与先验概率的乘积。类概率密度与先验概率的乘积。2323、在统计模式分类问题中，当先验概率未知时，可以使用（、在统计模式分类问题中，当先验概率未知时，可以使用（）。最小损失准则；最小损失准则；最小最大损失准则；最小最大损失准则；最小误判概率准则；最小误判概率准则；N-PN-P 判决。判决。2424、在（、在（）情况下，用分支定界法做特征选择计算量相对较少。）情况下，用分支定界法做特征选择计算量相对较少。Cnn,Cnn,（n n 为原特征个数，为原特征个数，d d 为要选出的特征个数）为要选出的特征个数）；样本较多；样本较多；选用的可分性判据选用的可分性判据J J 对特征数目单调不减；对特征数目单调不减；选用的可分性判据选用的可分性判据 J J 具有可加性。具有可加性。dmdm2525、散度散度 JDJD 是根据（是根据（）构造的可分性判据。）构造的可分性判据。先验概率；先验概率；后验概率；后验概率；类概率密度；类概率密度；信息熵；信息熵；几何距离。几何距离。2626、似然函数的概型已知且为单峰，则可用（、似然函数的概型已知且为单峰，则可用（）估计该似然函数。）估计该似然函数。矩估计；矩估计；最大似然估计；最大似然估计；BayesBayes 估计；估计；BayesBayes 学习；学习；ParzenParzen 窗法。窗法。2727、KnKn 近邻元法较之近邻元法较之 ParzenParzen 窗法的优点是（窗法的优点是（）。所需样本数较少；所需样本数较少；稳定性较好；稳定性较好；分辨率较高；分辨率较高；连续性较好。连续性较好。2828、从分类的角度讲，用、从分类的角度讲，用 DKLTDKLT 做特征提取主要利用了做特征提取主要利用了 DKLTDKLT 的性质：（的性质：（）。变换产生的新分量正交或不相关；变换产生的新分量正交或不相关；以部分新的分量表示原矢量均方误差最小；以部分新的分量表示原矢量均方误差最小；使变使变换后的矢量能量更趋集中；换后的矢量能量更趋集中；2929、一般，剪辑、一般，剪辑 k-NNk-NN 最近邻方法在（最近邻方法在（）的情况下效果较好。）的情况下效果较好。样本数较大；样本数较大；样本数较小；样本数较小；样本呈团状分布；样本呈团状分布；样本呈链状分布。样本呈链状分布。3030、如果以特征向量的相关系数作为模式相似性测度，则影响聚类算法结果的主要因素有、如果以特征向量的相关系数作为模式相似性测度，则影响聚类算法结果的主要因素有（）。已知类别样本质量；已知类别样本质量；分类准则；分类准则；特征选取；特征选取；量纲。量纲。三、三、试说明用监督学习与非监督学习两种方法对道路图像中道路区域的划分的基本做法，试说明用监督学习与非监督学习两种方法对道路图像中道路区域的划分的基本做法，以说明这两种学习方法的定义与它们间的区别。以说明这两种学习方法的定义与它们间的区别。答：监督学习方法用来对数据实现分类，分类规则通过训练获得。该训练集由带分类号的答：监督学习方法用来对数据实现分类，分类规则通过训练获得。该训练集由带分类号的数据集组成，因此监督学习方法的训练过程是离线的。数据集组成，因此监督学习方法的训练过程是离线的。非监督学习方法不需要单独的离线训练过程，也没有带分类号（标号）的训练数据集，一非监督学习方法不需要单独的离线训练过程，也没有带分类号（标号）的训练数据集，一般用来对数据集进行分析，如聚类，确定其分布的主分量等。般用来对数据集进行分析，如聚类，确定其分布的主分量等。就道路图像的分割而言，监督学习方法则先在训练用图像中获取道路象素与非道路象素集，就道路图像的分割而言，监督学习方法则先在训练用图像中获取道路象素与非道路象素集，进行分类器设计，然后用所设计的分类器对道路图像进行分割。进行分类器设计，然后用所设计的分类器对道路图像进行分割。使用非监督学习方法，则依据道路路面象素与非道路象素之间的聚类分析进行聚类运算，使用非监督学习方法，则依据道路路面象素与非道路象素之间的聚类分析进行聚类运算，以实现道路图像的分割。以实现道路图像的分割。动态聚类是指对当前聚类通过迭代运算改善聚类；分级聚类则是将样本个体，按相似度标动态聚类是指对当前聚类通过迭代运算改善聚类；分级聚类则是将样本个体，按相似度标准合并，随着相似度要求的降低实现合并。准合并，随着相似度要求的降低实现合并。试说明以下问题求解是基于监督学习或是非监督学习：试说明以下问题求解是基于监督学习或是非监督学习：1.1.求数据集的主分量求数据集的主分量 2.2.汉字识别汉字识别 3.3.自组织特征映射自组织特征映射 4.4.CTCT 图像的分割图像的分割答：答：1 1、求数据集的主分量是非监督学习方法；、求数据集的主分量是非监督学习方法；2 2、汉字识别对待识别字符加上相应类别号、汉字识别对待识别字符加上相应类别号有监督学习方法；有监督学习方法；3 3、自组织特征映射、自组织特征映射将高维数组按保留近似度向低维映射将高维数组按保留近似度向低维映射非监督学习；非监督学习；4 4、CTCT 图像分割图像分割按数据自然分布聚类按数据自然分布聚类非监督学习方法；非监督学习方法；特征选择特征选择就是从一组特征中挑选出一些最有效的特征以达到降低特征空间维数的目的。就是从一组特征中挑选出一些最有效的特征以达到降低特征空间维数的目的。请论述模式识别系统的主要组成部分及其设计流程，并简述各组成部分中常用方法的主要请论述模式识别系统的主要组成部分及其设计流程，并简述各组成部分中常用方法的主要思想。思想。特征空间特征空间 信息获取：通过测量、采样和量化，可以用矩阵或向量表示二维图像或以为波形。信息获取：通过测量、采样和量化，可以用矩阵或向量表示二维图像或以为波形。预处理：去除噪声，加强有用的信息，并对输入测量仪器或其他因素造成的退化现象进预处理：去除噪声，加强有用的信息，并对输入测量仪器或其他因素造成的退化现象进行复原。行复原。特征选择和提取：为了有效地实现分类识别，就要对原始数据进行变换，得到最能反映分特征选择和提取：为了有效地实现分类识别，就要对原始数据进行变换，得到最能反映分类本质的特征。类本质的特征。分类决策：在特征空间中用统计方法把识别对象归为某一类。分类决策：在特征空间中用统计方法把识别对象归为某一类。降维方法：PCA:是最常用的线性降维方法，它的目标是通过某种线性投影，将高维的数据映射到低维的空间中表示，并期望在所投影的维度上数据的方差最大，以此使用较少的数据维度，同时保留住较多的原数据点的特性。LDA:是一种有监督的（supervised）线性降维算法。与 PCA 保持数据信息不同，LDA 是为了使得降维后的数据点尽可能地容易被区分！局部线性嵌入（局部线性嵌入（LLE）:是一种非线性降维算法，它能够使降维后的数据较好地保持原有流形结构。LLE 可以说是流形学习方法最经典的工作之一。很多后续的流形学习、降维方法都与 LLE 有密切联系。Laplacian Eigenmaps 拉普拉斯特征映射拉普拉斯特征映射它的直观思想是希望相互间有关系的点（在图中相连的点）在降维后的空间中尽可能的靠近。Laplacian Eigenmaps 可以反映出数据内在的流形结构。LASSO 方法是一种压缩估计，它通过构造一个罚函数得到一个较为精炼的模型，使得它压缩一些系数，同时设定一些系数为零。因此保留了子集收缩的优点，是一种处理具有复共线性数据的有偏估计。小波分析小波分析有一些变换的操作降低其他干扰可以看做是降维一元线性回归的基本假设有1、随机误差项是一个期望值或平均值为随机误差项是一个期望值或平均值为 0 的随机变量；的随机变量；2、对于解释变量的所有观测值，随机误差项有相同的方差；随机误差项有相同的方差；3、随机误差项彼此不相关；4、解释变量是确定性变量，不是随机变量，与随机误差项彼此之间相互独立；5、解释变量之间不存在精确的（完全的）线性关系，即解释变量的样本观测值矩阵是满秩矩阵；6、随机误差项服从正态分布随机误差项服从正态分布违背基本假设的计量经济学模型还是可以估计的，只是不能使用普通最小二乘法进行估计。当存在异方差时，普通最小二乘法估计存在以下问题：当存在异方差时，普通最小二乘法估计存在以下问题：参数估计值虽然是无偏的，但不是参数估计值虽然是无偏的，但不是最小方差线性无偏估计。最小方差线性无偏估计。杜宾杜宾-瓦特森（瓦特森（DW）检验，计量经济，统计分析中常用的一种检验序列一阶）检验，计量经济，统计分析中常用的一种检验序列一阶 自相关自相关 最常最常用的方法。用的方法。所谓多重共线性（Multicollinearity）是指线性回归模型中的解释变量之间由于存在精确相关关系或高度相关关系而使模型估计失真或难以估计准确。影响（1）完全共线性下参数估计量不存在（2）近似共线性下 OLS 估计量非有效 多重共线性使参数估计值的方差增大多重共线性使参数估计值的方差增大，1/(1-r2)为方差膨胀因子(Variance Inflation Factor,VIF)（3）参数估计量经济含义不合理（4）变量的显著性检验失去意义，可能将重要的解释变量排除在模型之外（5）模型的预测功能失效。变大的方差容易使区间预测的“区间”变大，使预测失去意义。基于核的机器学习算法:A、EM 算法 B、径向基核函数 C、线性判别分析 D、支持向量机 核函数的本质其实就是一种将一个空间转化为另一个空间的变化在分类问题中,我们经常会遇到正负样本数据量不等的情况,比如正样本为 10w 条数据,负样本只有 1w 条数据,以下最合适的处理方法是主要分重采样、欠采样、调整权值重采样、欠采样、调整权值类域