模式识别论文--支持向量机在模式识别中的应用.doc

模式识别结课论文

题目：支持向量机在模式识别中的应用

学 院 河北大学工商学院
学科门类 理 科
专 业 网络工程
学 号 2013483164
姓 名 周婷婷
指导教师 李 凯

2015年11月5 日

河北大学学年论文（课程设计）任务书
学 生 姓 名
周婷婷
指 导 教 师
李凯
论文（设计）题目
支持向量机在模式识别中的应用
主要研究
（设计）内容
支持向量的应用
研究方法
通过线性svm及非线性svm函数方法的分析，实现支持向量机的算法，并在matlab上实现实例说明
主要任务
及目标
支持向量机实现分类
主要参
考文献
【1】刘霞，卢苇.SVM在文本分类中的应用研究，计算机教育，2007.
【2】唐春生，张磊.文本分类研究进展
【3】张学工.关于统计学习理论与支持向量机，自动化学报，2000.1
【4】秦玉平.基于支持向量机的文本分类算法研究
【5】李红莲, 王春花, 袁保宗. 一种改进的支持向量机NN-SVM[J]. 计算机学报, 2003, 26(8): 1015-1020.
进度安排
论文（设计）各阶段名称
日期
选题
第7周
查询资料
第8周
整理资料
第8周
论文草拟
第9周
论文成型
第9周

指导教师签字：
系主任签字：
主管教学院长签字：
河北大学软件工程课程设计成绩评定表
学院：河北大学工商学院
学生姓名
周婷婷
专业/年级
2013级网络工程一班
论文（设计）题目
支持向量机在模式识别中的应用
论文（设计）内容提要
1 支持向量机
1．1 线性SVM
1．2非线性SVM

2 支持向量机分类算法的实现

3实例说明及实验结果

指导教师评语

成绩： 指导老师（签名）： 年 月 日

摘 要
在VladimirN.VaPnik的统计学习理论基础上发展起来的支持向量机(Suppor Vector Machine，SVM)是目前模式识别领域中最先进的机器学习算法。本文对支持向量机及其在模式识别中应用的若干问题作了研究。

关键词：支持向量机；模式识别；

Abstract
VaPnik in VladimirN. Based on statistical learning theory of support Vector Machine (Suppor Vector Machine, SVM) is currently in the field of pattern recognition is the most advanced Machine learning algorithms. In this paper, support vector machine (SVM) and its application in pattern recognition problems were studied

Key word:support vector machines; pattern recognition;

引言
机器学习是现代智能技术中的重要方面，对样本进行训练并寻找规律，利用这些规律对未来数据或无法观测的数据进行预测是基于数据的机器学习的基本思想。统计学理论是我们面对数据而又缺乏理论模型时最基本的也是唯一的分析手段.传统统计学研究的是渐进理论，即假设样本数目无穷大，但在实际应用中样本数目总是有限的，一些好的基于渐 进理论的学习算法在实际应用当中往往表现得并不理想，因此研究小样本的机器学习问题就具有非常重要的实际意义。 VladimirN·Vapnik等人从20世纪60年代开始就致力于研究有限样本的机器学习问题，经过几十年的研究，终于到90年代中期形成了一个较完整的理论体系，即统计学习理论(StatistiealL’earningTheory).由于神经网络等学习方法在理论上难以有实质性的进展，因此统计学习理论受到人们广泛的重视.近几年来，在统计学习理论的基础上又发展出一种新的学习机器—支持向量机(SupportveetorMaehine)，它在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势.支持向量机是建立在统计学习理论的VC维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性和学习能力之间寻求最佳折衷，以获得最好的推广能力。 目前，统计学习理论和支持向量机己被越来越多地应用到模式识别领域，如手写体文字识别、人脸识别、生物识别、三维对象识别等，并取得了良好的识别效果。本文着重介绍支持向量机的基本原理、关键问题、研究状况及其在模式识别领域中的应用，希望今后能有更多的人研究和应用这一优秀的学习机器。

1 、支持向量机
1．1 线性SVM
最优超平面 SVM方法是从线性可分的情况下的最优分类面(OptimalHyperplane)提出的。设线性可分样本集为，i=1，⋯，n；Y={+1，-1}是类别标号，分类面方程为：
W*X + b = 0 (1)这个平面将两类样本没有错误的分开，并且使得离分类面最近的样本到分类面的距离最大，即分类间隔最大，等价于使最小，W为分类面的法向量。而要求分类面对所有样本正确分类，约束条件为：
，
i=1,2,L,n (2)
因此，满足上述条件且使得ll W 最小的分类面就是最优分类面。过两类样本中离分类面最近的点且平行于最优分类面的超平面H．、H 上的训练样本就是式(2)中使等号成立的那些样本叫做支持向量。最优分类面可以表示为如下约束的优化问题，
即在式(2)的约束下，求函数
(3)
的最小值。为此，可以定义如下的拉格朗日函数：
(4)
(4)式中，>0为拉格朗日系数。把原问题转化为如下较简单的对偶问题：

i = 1,……n。
1．2 非线性SVM
上面讨论的是最优和广义线性分类函数，要解决一个特征空间中的最优线性分类问题，我们只需知道这个空间中的内积运算即可。按照广义线性判别函数的思路，要解决一个非线性问题，我们可以设法将它通过非线性变换转换为另一个空间的线性问题，在这个变换空间求最优或最广义分类面。考虑Mercer条件：对于任意的对称函数，它是某个特征空间的内积运算的充分必要条件是，对与任意的恒不为0，且，有，显然这一条件不难满足 。如果用内积K(x，Y)代替最优分类面的点积，就相当于把原特征空间变换到了某一新的特征
空间，此时的支持向量机为：

相应的判别函数也应变为：
。
其它的条件不变，这就是支持向量机。支持向量机的思想可以概括为：首先通过非线性变换将输入空间变换到一个高维空间，然后就这个新空间中求取最优线性分类面，而这种非线性变换是通过定义适当的函数实现的，这些函数叫做核函数。选择不同的核函数就构成不同的支持向量机，常用的有以下
三类核函数：
linear：K(x，y) = x*y；
ploy：K(x，y) = ；
rbf：K(x，y) = ;
2 、支持向量机分类算法的实现
支持向量机算法是在训练样本的特征空间求取能把两类样本没有错误分开的最大间隔超平面，在数学上表示为一个凸二次规划的问题。也可以说算法求解的主要内容是通过求解二次规划(QP)问题，这个优化问题的求解是支持向量机算法的核心，可以说支持向量机的算法就得到了实现。前面所述支持向量机算法可以表示为在式(6)和式(7)的约束下求式(5)取最小值时的拉格朗日乘子 为训练样本的个数。
(5)
(6)
(7)
其中： 为n元列向量，是要求的拉格朗日乘子； 是一个正定矩阵； 是样本的所属类别，由1或一1组成的列向量；xi为训练样本。可以看出，求解支持向量机就是求解上述的一个二次规划问题，求解后得到拉格朗日乘子 ，也就求得了最大间隔超平面。求解这个二次规划问题需要深厚的数学功底数值计算方面的技能，在主流程序语言中实现算法又需要专业的计算机程序设计的知识。
在MATLAB环境下求解这一问题会变得非常简单，这得益于MATLAB软件强大的优化工具箱，提供了一个求解二次规划的函数，可以直接调用。二次规划问题(quadratic programming)的标准形式为：

sub．to
Aeqx=beq

其中，H、A、Aeq为矩阵；f、b、beq、lb、ub、x为向量，其它形式的二次规划问题都可转化为标准形式。MATLAB5．x版中的qp函数已被6．0版中的函数
quadprog取代。函数quadprog格式如下：
[x，fva1]=quadprog(H，f，A，b，Aeq，beq，lb，ub，x0)
其中H、f、A、b、Aeq、beq、lb、ub为标准形中的参数；x为求解得到的最优值，也就是二次规划的解析解；lb、ub分别为x的下界与上界，满足不等式约；Aeq、beq满足等约束条件Aeq*x=beq；x0为设置的初值，这个值是人为赋予x的值，一般x为零；fval为目标函数最小值，可以看出，支持向量机算法是一个标准的二次规划问题； ，根据训练样本数据求出；f = -1；支持向量机算法没形式的不等式约束条件，所以A、b为空矩阵； ，beq=Y，实现A Y=0等式约束；Lb=0、ub=C，实现 不等式约束；x0=0，赋予A的初始值为零。样本数据已知，c是人工赋于的值。

3、实例说明及实验结果
3.1实验程序代码
%定义核函数及相关参数
nu = 0.2; % nu -> (0,1] 在支持向量数与错分样本数之间进行折衷
ker = struct('type','linear');
% 构造两类训练样本

n = 50;
randn('state',6);
x1 = randn(2,n);
y1 = ones(1,n);
x2 = 5+randn(2,n);
y2 = -ones(1,n);

figure;
plot(x1(1,:),x1(2,:),'bx',x2(1,:),x2(2,:),'k.');
axis([-3 8 -3 8]);
title('C-SVC')
hold on;

X = [x1,x2]; %训练样本，d*n的矩阵，n为样本个数，d为样本维数
Y = [y1,y2]; % 训练目标，1*n的矩阵，n为样本个数，值为+1或-1
% ------------------------------------------------------------%
% 训练支持向量机
tic
svm = svmTrain('svc_nu',X,Y,ker,nu);
t_train = toc
%寻找支持向量¿
a = svm.a;
epsilon = 1e-8; %如果小于此值则认为是0
i_sv = find(abs(a)>epsilon); %支持向量下标
plot(X(1,i_sv),X(2,i_sv),'ro');
% ------------------------------------------------------------%
% 测试输出
[x1,x2] = meshgrid(-2:0.1:7,-2:0.1:7);
[rows,cols] = size(x1);
nt = rows*cols; % ²测试样本数
Xt = [reshape(x1,1,nt);reshape(x2,1,nt)];

tic
Yd = svmSim(svm,Xt); % 测试输出
t_sim = toc

Yd = reshape(Yd,rows,cols);
contour(x1,x2,Yd,[0 0],'m'); %分类面
hold off;

3.2实验结果

参考文献：
【1】刘霞，卢苇.SVM在文本分类中的应用研究，计算机教育，2007.
【2】唐春生，张磊.文本分类研究进展
【3】张学工.关于统计学习理论与支持向量机，自动化学报，2000.1
【4】秦玉平.基于支持向量机的文本分类算法研究
【5】李红莲, 王春花, 袁保宗. 一种改进的支持向量机NN-SVM[J]. 计算机学报, 2003, 26(8): 1015-1020.

1. 基于C8051F单片机直流电动机反馈控制系统的设计与研究
2. 基于单片机的嵌入式Web服务器的研究
3. MOTOROLA单片机MC68HC（8）05PV8/A内嵌EEPROM的工艺和制程方法及对良率的影响研究
4. 基于模糊控制的电阻钎焊单片机温度控制系统的研制
5. 基于MCS-51系列单片机的通用控制模块的研究
6. 基于单片机实现的供暖系统最佳启停自校正（STR）调节器
7. 单片机控制的二级倒立摆系统的研究
8. 基于增强型51系列单片机的TCP/IP协议栈的实现
9. 基于单片机的蓄电池自动监测系统
10. 基于32位嵌入式单片机系统的图像采集与处理技术的研究
11. 基于单片机的作物营养诊断专家系统的研究
12. 基于单片机的交流伺服电机运动控制系统研究与开发
13. 基于单片机的泵管内壁硬度测试仪的研制
14. 基于单片机的自动找平控制系统研究
15. 基于C8051F040单片机的嵌入式系统开发
16. 基于单片机的液压动力系统状态监测仪开发
17. 模糊Smith智能控制方法的研究及其单片机实现
18. 一种基于单片机的轴快流CO〈,2〉激光器的手持控制面板的研制
19. 基于双单片机冲床数控系统的研究
20. 基于CYGNAL单片机的在线间歇式浊度仪的研制
21. 基于单片机的喷油泵试验台控制器的研制
22. 基于单片机的软起动器的研究和设计
23. 基于单片机控制的高速快走丝电火花线切割机床短循环走丝方式研究
24. 基于单片机的机电产品控制系统开发
25. 基于PIC单片机的智能手机充电器
26. 基于单片机的实时内核设计及其应用研究
27. 基于单片机的远程抄表系统的设计与研究
28. 基于单片机的烟气二氧化硫浓度检测仪的研制
29. 基于微型光谱仪的单片机系统
30. 单片机系统软件构件开发的技术研究
31. 基于单片机的液体点滴速度自动检测仪的研制
32. 基于单片机系统的多功能温度测量仪的研制
33. 基于PIC单片机的电能采集终端的设计和应用
34. 基于单片机的光纤光栅解调仪的研制
35. 气压式线性摩擦焊机单片机控制系统的研制
36. 基于单片机的数字磁通门传感器
37. 基于单片机的旋转变压器-数字转换器的研究
38. 基于单片机的光纤Bragg光栅解调系统的研究
39. 单片机控制的便携式多功能乳腺治疗仪的研制
40. 基于C8051F020单片机的多生理信号检测仪
41. 基于单片机的电机运动控制系统设计
42. Pico专用单片机核的可测性设计研究
43. 基于MCS-51单片机的热量计
44. 基于双单片机的智能遥测微型气象站
45. MCS-51单片机构建机器人的实践研究
46. 基于单片机的轮轨力检测
47. 基于单片机的GPS定位仪的研究与实现
48. 基于单片机的电液伺服控制系统
49. 用于单片机系统的MMC卡文件系统研制
50. 基于单片机的时控和计数系统性能优化的研究
51. 基于单片机和CPLD的粗光栅位移测量系统研究
52. 单片机控制的后备式方波UPS
53. 提升高职学生单片机应用能力的探究
54. 基于单片机控制的自动低频减载装置研究
55. 基于单片机控制的水下焊接电源的研究
56. 基于单片机的多通道数据采集系统
57. 基于uPSD3234单片机的氚表面污染测量仪的研制
58. 基于单片机的红外测油仪的研究
59. 96系列单片机仿真器研究与设计
60. 基于单片机的单晶金刚石刀具刃磨设备的数控改造
61. 基于单片机的温度智能控制系统的设计与实现
62. 基于MSP430单片机的电梯门机控制器的研制
63. 基于单片机的气体测漏仪的研究
64. 基于三菱M16C/6N系列单片机的CAN/USB协议转换器
65. 基于单片机和DSP的变压器油色谱在线监测技术研究
66. 基于单片机的膛壁温度报警系统设计
67. 基于AVR单片机的低压无功补偿控制器的设计
68. 基于单片机船舶电力推进电机监测系统
69. 基于单片机网络的振动信号的采集系统
70. 基于单片机的大容量数据存储技术的应用研究
71. 基于单片机的叠图机研究与教学方法实践
72. 基于单片机嵌入式Web服务器技术的研究及实现
73. 基于AT89S52单片机的通用数据采集系统
74. 基于单片机的多道脉冲幅度分析仪研究
75. 机器人旋转电弧传感角焊缝跟踪单片机控制系统
76. 基于单片机的控制系统在PLC虚拟教学实验中的应用研究
77. 基于单片机系统的网络通信研究与应用
78. 基于PIC16F877单片机的莫尔斯码自动译码系统设计与研究
79. 基于单片机的模糊控制器在工业电阻炉上的应用研究
80. 基于双单片机冲床数控系统的研究与开发
81. 基于Cygnal单片机的μC/OS-Ⅱ的研究
82. 基于单片机的一体化智能差示扫描量热仪系统研究
83. 基于TCP/IP协议的单片机与Internet互联的研究与实现
84. 变频调速液压电梯单片机控制器的研究
85. 基于单片机γ-免疫计数器自动换样功能的研究与实现
86. 基于单片机的倒立摆控制系统设计与实现
87. 单片机嵌入式以太网防盗报警系统
88. 基于51单片机的嵌入式Internet系统的设计与实现
89. 单片机监测系统在挤压机上的应用
90. MSP430单片机在智能水表系统上的研究与应用
91. 基于单片机的嵌入式系统中TCP/IP协议栈的实现与应用
92. 单片机在高楼恒压供水系统中的应用
93. 基于ATmega16单片机的流量控制器的开发
94. 基于MSP430单片机的远程抄表系统及智能网络水表的设计
95. 基于MSP430单片机具有数据存储与回放功能的嵌入式电子血压计的设计
96. 基于单片机的氨分解率检测系统的研究与开发
97. 锅炉的单片机控制系统
98. 基于单片机控制的电磁振动式播种控制系统的设计
99. 基于单片机技术的WDR-01型聚氨酯导热系数测试仪的研制
100. 一种RISC结构8位单片机的设计与实现
101. 基于单片机的公寓用电智能管理系统设计
102. 基于单片机的温度测控系统在温室大棚中的设计与实现
103. 基于MSP430单片机的数字化超声电源的研制
104. 基于ADμC841单片机的防爆软起动综合控制器的研究
105. 基于单片机控制的井下低爆综合保护系统的设计
106. 基于单片机的空调器故障诊断系统的设计研究
107. 单片机实现的寻呼机编码器
108. 单片机实现的鲁棒MRACS及其在液压系统中的应用研究
109. 自适应控制的单片机实现方法及基上隅角瓦斯积聚处理中的应用研究
110. 基于单片机的锅炉智能控制器的设计与研究
111. 超精密机床床身隔振的单片机主动控制
112. PIC单片机在空调中的应用
113. 单片机控制力矩加载控制系统的研究
项目论证，项目可行性研究报告，可行性研究报告，项目推广，项目研究报告，项目设计，项目建议书，项目可研报告，本文档支持完整下载，支持任意编辑！选择我们，选择成功！
项目论证，项目可行性研究报告，可行性研究报告，项目推广，项目研究报告，项目设计，项目建议书，项目可研报告，本文档支持完整下载，支持任意编辑！选择我们，选择成功！
单片机论文，毕业设计，毕业论文，单片机设计，硕士论文，研究生论文，单片机研究论文，单片机设计论文，优秀毕业论文，毕业论文设计，毕业过关论文，毕业设计，毕业设计说明，毕业论文，单片机论文，基于单片机论文，毕业论文终稿，毕业论文初稿，本文档支持完整下载，支持任意编辑！本文档全网独一无二，放心使用，下载这篇文档，定会成功！