神经网络计算-建模讲义解析.ppt

神神经网网络计算算 1 1-第一部分第一部分第一部分第一部分神神神神经经元模型及神元模型及神元模型及神元模型及神经经网网网网络络基基基基础础；第二部分第二部分第二部分第二部分 BPBPBPBP神神神神经经网网网网络络；第三部分第三部分第三部分第三部分 径向基函数网径向基函数网径向基函数网径向基函数网络络；第四部分第四部分第四部分第四部分 HopfieldHopfieldHopfieldHopfield网网网网络络。授授课内容内容2 2-第一部分 神经元模型 (Biological Neural Networks)；神经网络基础 (Artificial Neural Networks)；3 3-人工神人工神经元几何模型元几何模型(M-P模型模型)返回4 4-人工神经元的代数表达式及其简化形式其中，5 5-活化函数的类型1、符号函数6 6-活化函数的类型2、Sigmoid 函数7 7-人工神经网络的定义(Artificial Neural Networks，ANN)人工神经网络是由大量简单的处理单元神经元（Neurons）相互连接而构成的网络，是对人脑的抽象、简化和模拟，反映了人脑的信息处理功能。可用于解决模式识别、函数逼近和数据压缩等问题。返回8 8-人工神经网络的结构 具有一个具有一个隐层隐层的前的前馈馈网网络络 单层单层全全连连接反接反馈馈网网络络 9 9-神经网络的特性鲁棒性（容棒性（容错）并行并行计算算自我学自我学习硬件硬件实现求求满意解意解1010-神经网络的三要素 网络结构；信息流动规则；权值学习规则。1111-神经网络的学习方式有教师学习（Learning with a teacher）无教师学习（Learning without a teacher）自自组织组织学学习习（Self-Organized LearningSelf-Organized Learning）强强化学化学习习（Reinforcement LearningReinforcement Learning）1212-神经网络的学习规则Hebb学习 误差纠正学习竞争（Competitive）学习随机学习1313-神经网络的应用语音、音、视觉、知、知识处理理数据数据压缩、模式匹配、系、模式匹配、系统建模、模糊控制、求建模、模糊控制、求组合合优化化问题最佳解的近似解最佳解的近似解辅助决策助决策预报与智能管理与智能管理通通 信信自适自适应均衡、回波抵消、路由均衡、回波抵消、路由选择、ATM中的呼叫接中的呼叫接纳、识别与控制与控制空空间科学科学对接、接、导航、制航、制导、飞行程序行程序优化化1414-分类问题两大任务 用已知样本确定分类判决曲线；根据分类曲线对样本进行归类。1515-分类问题中常用的边界判决曲线 直直线线 划分区域：上下或左右。划分区域：上下或左右。1616-分类问题中常用的边界判决曲线 圆圆 划分区域：内与外。划分区域：内与外。1717-线性可分问题1818-线性不可分问题1919-两类模式分类器 符号函数2020-分类问题举例 逻辑逻辑“与与”有解，可取有解，可取:或：或：2121-分类问题举例 逻辑逻辑“或或”有解，可取有解，可取:或或:2222-分类问题举例 逻辑逻辑“异或异或”无解。无解。2323-自适应线性(Adaptive Linear)感知器输输入入求和求和 符号函数符号函数 输输出出2424-单层感知器学习算法1 1、对对各各初初始始权权值值 赋赋较较小小的非零随机数；的非零随机数；2 2、对对于于输输入入样样本向量，本向量，给给出其期望出其期望输输出出 ；3 3、网、网络输络输入入样样本向量本向量 后，后，计计算算实际输实际输出出4 4、修改、修改权值权值向量向量其中，学其中，学习习率率 。5 5、判断是否、判断是否满满足足终终止条件，若止条件，若满满足学足学习结习结束，否束，否则转则转3 3。2525-单层感知器收敛定理对于线性可分的两类模式，单层感知器学习算法是收敛的。2626-小 结感知器是用于线性可分模式分类的最简单的神经网络模型；由单个神经元组成的单层神经网络只能完成线性可分的两类模式的识别；带隐层的感知器能对XOR问题进行正确分 类。2727-课外作业试画出单层感知器的学习算法框图，并用C语言或MATLAB写出单层感知器关于逻辑“或”运算的学习算法程序。2828-小 结感知器是用于线性可分模式分类的最简单的神经网络模型；由单个神经元组成的单层神经网络只能完成线性可分的两类模式的识别；带隐层的感知器能对XOR问题进行正确分 类。2929-例 一 3030-例 二3131-课堂作业试试画出画出单层单层感知器的学感知器的学习习算法框算法框图图。某某神神经经网网络络的的活活化化函函数数为为符符号号函函数数 ，学学习习率率 ，初初始始权权向向量量 ，两，两对输对输入入样样本本为为：试试用感知器算法用感知器算法对对上述上述样样本反复本反复训练训练，直至网直至网络输络输出出误误差差为为零。并写出分零。并写出分类类判决直判决直线线。3232-BP 网网络3333-信息输入若则3434-信息输出3535-神经元的输入与输出3636-梯度法函数 在点 处的梯度为3737-梯度法用梯度法求 的极小值。迭代公式为学习率。3838-XOR分类问题解析3939-把问题转化为：求平方误差函数的极小值；使用梯度法，推导出权值迭代公式；权值获得，网络分类器实现，问题解决。BP网络解决分类问题的基本思想4040-BP(Back Propagation)网络4141-权值迭代公式推导4242-BP 网络简化拓扑图形4343-信息流动方式对于输入样本向量：第一个隐单元的输入为：权向量：第一个隐单元的输出为：4444-信息流动方式对于隐层各单元的输出：第一个输出单元的输入为：权向量：第一个输出单元的输出为：4545-误差函数4646-梯度法（Gradient Method）误误差函数差函数权值权值迭代公式迭代公式 其中，其中，4747-修改权值梯度法 其中，为学习率，而 4848-修改权值梯度法 其中，4949-BP 算法流程图(批方式)5050-BP 网络用于求解XOR问题5151-课外作业给出用BP网络求解XOR问题的C语言或MATLAB源程序。5252-在线梯度法 权值增量公式 5353-BP 算法流程图(在线)5454-BP 网络的逼近能力若活化函数 为 Sigmoid 函数，则可以选取适当的隐单元个数及权值,使得 BP 网络能够以任意的精度逼近一个给定的连续函数.5555-隐层的个数从理论上讲，多于一个隐层的前向网络是没有必要的。但是对于某些实际问题，更多的隐层可能会使总的神经元个数减少,从而得到更有效的神经网络。5656-隐单元的个数一般地，隐单元的个数越多，对样本集的学习精度就越高,而推广（即将网络应用于未经学习的输入向量）能力就越差。因此，在满足样本学习精度的前提下,隐节点个数应该尽可能地小。5757-多项式逼近5858-输入样本向量预处理输入样本向量的各个分量有时在数量级上差异较大，若不进行适当的处理，数量级大的分量可能完全湮没其它分量的作用。为此在训练开始之前，需对各个分量做相应的调整，使其具有大致相同的数量级。5959-输入样本向量的各个分量有时在数量级上差异较大，若不进行适当的处理，数量级大的分量可能完全湮没其它分量的作用。为此在训练开始之前，需对各个分量做相应的调整，使其具有大致相同的数量级。输入样本向量预处理6060-活化函数 Sigmoid函数6161-双曲正切函数图图像像表达式：表达式：6262-Sigmoid函数特点 光滑光滑,单调递单调递增，上、下有界（称增，上、下有界（称为饱为饱和性）和性）.导导数数值值可由其函数可由其函数值给值给出出 6363-初始初始权值权值通常通常选为选为接近于接近于0 0的随机数。太大的的随机数。太大的 初初值值可能使系可能使系统过统过早地陷入早地陷入饱饱和区（例如和区（例如对对于于 SigmoidSigmoid函数函数,当当 较较大大时时,），），不利于不利于进进一步学一步学习习.初始权值的选取6464-标准 BP 算法的不足易形成局部极小而得不到全局最优解；训练次数多，收敛速度慢；隐节点的选取缺乏理论指导；训练时学习新样本有遗忘旧样本的趋势。6565-标准 BP 算法的改进加动量项其中，学习率 、动量系数 均在 之间选取。6666-标准 BP 算法的改进自适应调整学习率其中，是误差函数 的改变量,和 是适当的正常数。6767-BP 网络应用举例6868-手写 ZIP 码的识别6969-图像压缩7070-股票预测我们曾利用BP网络来预测上海股市综合指数的涨跌。输入层有13个单元,包括今日最高、最低及收盘指数,当日及三十日平均涨跌值等13个参数.隐层为3-5个单元，输出层为一个单元.输出+1时表示预测第二天涨,输出-1时则表示第二天跌.活化函数选为双曲正切函数(其中=0.65),并采用了惯性项.训练时,采用135天的数据去生成80个训练样本、25个检测样本进行实验。训练样本精度达到95%左右，而检验样本精度在65-80%之间.7171-作 业 设设计计一一个个 BP BP 网网络络对对上上图图中中的的英英文文字字母母进进行行分分类类。输输入入向向量量含含1 12 2个个分分量量，输输出出单单元元个个数数取取1 1，分分别别用用-1-1、0 0和和1 1代代表表字字符符A A、I I、O O。训训练练时时可可选选择择不不同同的的隐隐节节点点数数及及不不同同的的学学习习率率进进行行对对比。比。7272-径向基函数网络(Radial Basis Function,RBF)7373-假假设设给给定定了了一一组组训训练练样样本本 。当当 只只取取有有限限个个值值（例例如如，取取0 0，1 1或或 ）时时，可可以以认认为为是是分分类类问问题题;而而当当 可可取取任任意意实实数数时时，则则视视为为逼逼近近问问题题。网网络络学学习习的的任任务务就就是是利利用用训训练练样样本本来来确确定定基基函函数数的的中心向量中心向量 和和隐层隐层到到输输出出层层的的权权系数系数 ，使得，使得7474-当当 时时，可以，可以简单简单地令地令 ，这这时时（1.21.2）变变为为关关于于 的的线线性性方方程程组组，其其系系数数矩矩阵阵为为方方阵阵，通通常常可可逆逆，因因此此有有唯唯一一解解。实实际际中中更更多多的的情况是情况是 这时这时，（，（1.21.2）一般无解）一般无解,只能求近似解。只能求近似解。7575-非线性基函数 若 ，则7676-高斯基函数图形7777-非线性基函数 薄板样条函数：多二次函数：逆多二次函数：7878-均值聚类算法 1、给定训练样本 .2、将聚类中心 初始化(例如可选为 )3、将 按距离远近向 聚类分成 P 组。方法为：若 ，则令：4、计算样本均值，作为新的聚类中心（是类 中所含样本的个数）。5、若新旧 相差很小，则停止否则转37979-均值聚类算法 1、将聚类中心 初始化2、随机选取样本向量 .3、将 按距离远近向 聚类，方法为：若 ，则令：4、调整样本中心 (是给定的学习速率)：5、若新旧 相差很小，则停止否则转28080-其中，是类 中样本的个数。宽度 的选取 为隐单元的个数，为所选取中心之间的最大距离。8181-权系数 求解方法 利用梯度法，求下面关于 误差函数的极小值 利用最小二乘法(伪逆法)通过 直接进行求解。8282-RBF网络的原理及特点 用径向基函数(RBF)作为隐单元的“基”，构成隐层空间，隐层对输入矢量进行变换，将低维的模式输入数据变换到高维空间内，使得在低维空间内线性不可分问题在高维空间线性可分。RBF网络结构简单、训练简洁、学习收敛速度快，能够逼近任意非线性函数，应用十分广泛。8383-适合用 RBF 网络求解的分类问题8484-RBF网络与多层感知器(MLP)的比较 MLP的隐层和输出层的神经元模型是一样的，而RBF网络的隐层神经元和输出层的神经元不仅模型不同，而且在网络中所起的作用也不一样。RBF网络只有一个隐层，而MLP可以有多个隐层；RBF网络的隐层是非线性的，输出层是线性的，而用MLP解决模式分类问题时，它的隐层与输出层通常选非线性的。而解决非线性回归问题时，通常选择线性输出层。RBF网络的基函数计算的是输入向量的和中心的欧氏距离，而MLP隐单元的活化函数计算的是输入单元和连接权值间的内积。MLP是对非线性映射的全局逼近，而RBF网络使用局部指数衰减的非线性函数(如高斯函数)对非线性输入输出进行局部逼近。8585-取高斯函数，其中心分取高斯函数，其中心分别为别为 。宽宽度均取：度均取：。RBF 网络用于求解XOR问题8686-取高斯函数，其中心分取高斯函数，其中心分别为别为 。宽宽度均取：度均取：。RBF 网络用于求解XOR问题8787-插点插点问题问题可由下表可由下表给给出：出：试试用用RBFRBF网网络对络对其其进进行求解行求解。课堂作业8888-课外作业给出用RBF网络求解XOR问题的C语言或MATLAB源程序。8989-RBF网络解题步骤 使用 均值聚类算法求高斯函数中心 ；使用下面公式求宽度其中，是类 中样本的个数；利用梯度法，求权系数 。9090-高斯条函数 高斯函数 高斯条函数 9191-高斯条函数中各参数计算 对给定的误差函数 ，权 、中心和宽度 的梯度反方向分别为 其中，9292-令 去掉 使 收缩为 0。高斯条函数网络的修剪方法 9393-联想想记忆神神经网网络9494-线性性联想想记忆网网络(Linear Associative Memory,LAM)9595-输入样本向量组成的矩阵：理想输出向量组成的矩阵：所谓线性联想指的是：构造矩阵 ，使得 9696-一般地，使得上式成立的 可能并不存在，或者难于直接求得.因此，我们希望能给出简单而又有效的选取权矩阵的方法，使得线性联想误差尽可能地小。9797-权矩阵 W 的选取常数 或 。9898-当输入样本向量 标准正交，且 时，有 即联想回忆对样本集是完美的.9999-课堂作业给出两对存储模式向量：1、试构造线性联想权值矩阵 ；2、当上述线性联想网络中输入模式 时，给出运行的结果。100100-Hopfield 神经网络101101-Hopfield网络拓扑结构102102-考虑具有 个处理单元的网络，每个单元与其它单元都连接（全连接）权矩阵记为 .设网络中已经存储了 个样本模式 根据这些样本模式按某种方式确定了权矩阵 .103103-权矩阵 W 的选取标准 存储模式应该是(4.1)的稳定点，即 当输入模式 接近于某一存储模式 时，由(4.1)迭代计算所得到的向量应收敛于 ；的选取还应该使收敛过程尽可能地快.104104-权矩阵 W 的构造 利用所存储模式的外积和构造W 拓展定义即105105-Hopfield联想记忆模型可描述为：给定输入模式 ，按公式反复迭代，直至收敛，得到最后的输出模式，作为输入模式 的联想.106106-迭代公式几何解释107107-串行（异步）方式，即每次迭代只改变一个神经单元的状态，而其余 个单元暂时不变.并行（同步）方式，即每次迭代同时更新所有单元的状态.更新网络状态的方式108108-函数 的选取 取符号函数，称此时的Hopfield为双极性网络；若 的值域是实数域上某一区间，则称此时的Hopfield为连续值网络.109109-有三个稳定存储模式的联想记忆110110-网络中所存储的四个图像111111-对图像的干扰112112-用Hopfield网络做图像恢复113113-用Hopfield网络做图像恢复114114-Hopfield 网络的记忆过程 把要存储的模式由bmp类型的文件转化成1和-1形式的二进制向量；对存储模式使用外积公式计算网络的各个权值。权值得到后随即“固化不再改变。115115-Hopfield 网络的联想过程 把要识别的模式转化成1和-1类型的二进制向量，作为网络的初始状态；根据公式反复迭代，直至网络中所有神经元的状态不再改变；把得到二进制文件还原为bmp图形，输出。116116-Hopfiled网络设计简例存储模式取：和117117-当存储模式取和课堂作业Hopfield 网络记忆及联想过程。时，写出118118-HopfiledHopfiled网网络络是一个是一个单层单层回回归归自自联联想想记忆记忆网网络络；使使用用HopfiledHopfiled网网络络进进行行模模式式回回想想时时，最最好好按按异异步步方方式式进进行行，这这样样可可以以避避免免同同步步传传递递信信号号所所遇遇到到的的一一些些困困难难；一一般般地地，含含有有N N个个神神经经元元的的HopfiledHopfiled网网络络可可预预存存0.15N0.15N个模式。个模式。HopfiledHopfiled网网络络在解决字符在解决字符识别问题识别问题方面能力方面能力较较差。差。关于Hopfiled网络的几点注释119119-Hopfield 网络用于求解CTSP问题 我国31个直辖市、省会巡回路径约有1.331032种。对中国旅行商问题研究的最新结果为15449km。使用Hopfield网络求得的最短路径为15904km。120120-Hopfield 网络的应用领域 求解联想问题；解决优化问题。121121-122122-BP神经网络故障诊断 神经网络具有自学习能力、非线性映射能力、对任意函数的逼近能力、并行计算和容错能力，这些能力为构造故障诊断系统提供了有力保障。神经网络用于故障诊断的步骤通常如下：（1）抽取反映被检测对象（设备、部件或零件等）的特征参数，如（x1,x2,.,xn）作为网络的输入模式。123123-（2）对被检测对象的状态类别进行编码。例如，对于正常、故障1、故障2三种状态，可将期望输出编码为：正常（0,0），故障1（0,1），故障2（1,0）。（3）进行网络设计，确定网络层数和各层神经元数。输入层单元数由特征参数个数决定；输出层单元数由状态编码方式确定；隐层一般为1层，问题复杂时可取2层，隐层单元数的选择原则目前尚无理论依据，可根据问题规模大小凭经验确定。124124-（4 4）用各种状）用各种状态样态样本本组组成成训练样训练样本，本，输输入网入网络络，对对网网络进络进行行训练训练，确定各，确定各单单元的元的连连接接权值权值。（5 5）用）用训练训练好的网好的网络对络对待待检测对检测对象象进进行状行状态识别态识别，即把待即把待检测对检测对象的特征参数作象的特征参数作为为网网络输络输入，根据入，根据网网络输络输出确定待出确定待检对检对象的状象的状态类别态类别。为为了提高网了提高网络络的故障的故障诊诊断性能，可把使用中断性能，可把使用中发现发现的的错误错误判断作判断作为训练样为训练样本加入本加入训练样训练样本集，本集，对对网网络络进进行行进进一步一步训练训练，从而使网，从而使网络络的性能得到改善。的性能得到改善。125125-问题实例：轴轴承故障承故障诊诊断断实实例，利用例，利用BPBP神神经经网网络对络对石油石油钻钻井的井的绞车绞车及及传动传动机机组滚动轴组滚动轴承承进进行故障行故障诊诊断，断，能能够够在在轴轴承早期故障承早期故障时发时发出出预预警信号，提前警信号，提前对对将将要要发发生故障的生故障的轴轴承承进进行行维维修或更修或更换换，缩缩短停工停短停工停产时间产时间和减少和减少维维修修费费用，从而使石油生用，从而使石油生产损产损失减失减少到最低，保少到最低，保证证石油生石油生产顺产顺利安全利安全进进行。行。选选取某型减速器的主取某型减速器的主动轴滚动轴动轴滚动轴承的承的4 4个特个特征参数，包括均方根征参数，包括均方根值值、峭度、峭度、谐谐波指波指标标和和SQSQ参参数，数，这这4 4个参数个参数组组成成输输入入样样本向量，本向量，实测实测数据如下数据如下表所示。表所示。126126-轴轴承状承状承状承状态态均方根均方根均方根均方根值值峭度峭度峭度峭度谐谐波指波指波指波指标标SQSQ参数参数参数参数正常新正常新轴轴承承0.640.641.371.370.710.710.780.78正常新正常新轴轴承承0.680.681.311.310.640.641.311.31正常新正常新轴轴承承0.910.911.351.350.750.751.591.59正常新正常新轴轴承承0.690.691.381.380.680.680.90.9内圈点内圈点蚀蚀8.248.242.232.230.990.992 2滚滚珠点珠点蚀蚀2.012.011.651.650.940.944.394.39保持架保持架损损坏坏0.930.931.331.330.730.731.541.54外圈外圈严严重裂重裂纹纹3.893.892.012.010.880.8820.120.1外圈外圈较轻较轻裂裂纹纹1.651.651.661.660.90.94.484.48外圈微裂外圈微裂纹纹1.351.351.391.390.950.952.892.89127127-128128-基于神经网络的人口预测问题问题背景：背景：世界人口的迅猛增世界人口的迅猛增长长引引发发了了许许多多问题问题。特。特别别是一是一些些经济经济不不发发达国家的人口达国家的人口过过度增度增长长，影响了整个，影响了整个国家的国家的经济发经济发展、社会安定和人民生活水平的提展、社会安定和人民生活水平的提高，高，给给世界世界发发展展带带来来寻寻多多问题问题。人口。人口预测对预测对于提于提供准确的人口信息，供准确的人口信息，对对于国家制定生育政策和社于国家制定生育政策和社会会发发展展计计划有重要的意划有重要的意义义。目前国内外提出了很。目前国内外提出了很多种多种预测预测方法和方法和预测预测模型，如常微分方程法，模型，如常微分方程法，动动态预测态预测法等。在法等。在这这些方法中，由于神些方法中，由于神经经网网络络方法方法具有具有识别识别复复杂杂非非线线性系性系统统的特性，具有自学的特性，具有自学习习、自适自适应应能力，因而能力，因而获获得了得了较为较为广泛的广泛的应应用。用。129129-问题实问题实例例 应应用用BPBP神神经经网网络络建立建立时间时间序列人口序列人口预测预测模模型，型，检验预测检验预测效果，效果，我国我国1994-20051994-2005年人口年人口数据如表所示：数据如表所示：年份年份年份年份人数人数人数人数(亿亿)年份年份年份年份人数人数人数人数(亿亿)年份年份年份年份人数人数人数人数(亿亿)1994199411.911.98508501998199812.412.48108102002200212.812.84534531995199512.112.11211211999199912.512.57687682003200312.912.92272271996199612.212.23893892000200012.612.67437432004200412.912.99059051997199712.31236266262001200112.712.76276272005200513.013.0756756130130-本例中本例中对对于于1994-20021994-2002年年的数据，的数据，选择选择前前3 3年的年的数据作数据作为为序列的序列的输输入入样样本，下一年数据作本，下一年数据作为为网网络络的的输输出；出；选选用用20042004、20052005年的数据年的数据为检验样为检验样本。本。训练样训练样本序号本序号本序号本序号输输入入入入输输出出出出1 194-9694-96年年 人口数人口数9797年人口数年人口数2 295-9795-97年年 人口数人口数9898年人口数年人口数3 396-9896-98年年 人口数人口数9999年人口数年人口数4 497-9997-99年年 人口数人口数0000年人口数年人口数5 598-0098-00年年 人口数人口数0101年人口数年人口数6 699-0199-01年年 人口数人口数0202年人口数年人口数7 700-0200-02年年 人口数人口数0303年人口数年人口数验证样验证样本本输输入入输输出出1 101-0301-03年年 人口数人口数0404年人口数年人口数1 102-0402-04年年 人口数人口数0505年人口数年人口数131131-课题作业：电电信信业务业务量量预测实预测实例。例。应应用用BPBP神神经经网网络进络进行行电电信信业务业务量量预测预测，并，并检验预测检验预测效果。效果。年份年份年份年份业务业务量量量量（万（万（万（万户户）年份年份年份年份业务业务量（万量（万量（万量（万户户）年份年份年份年份业务业务量（万量（万量（万量（万户户）8989123.46123.469595988.85988.8501014556.264556.269090155.54155.5496961342.041342.0402025695.805695.809191204.38204.3897971773.291773.2903037019.797019.799292290.94290.9498982431.212431.2104049712.299712.299393462.71462.7199993330.823330.82050512028.5412028.549494688.19688.1900004792.704792.70132132-BP神经网络分类蠓虫分蠓虫分类问题类问题：两种蠓虫两种蠓虫AfAf和和ApfApf已由生物学家已由生物学家W.L.GroganW.L.Grogan和和W.W.Wirth(1981)W.W.Wirth(1981)根据他根据他们们的触角的触角长长度和翅度和翅长长加加以区分。以区分。现测现测得得6 6只只ApfApf和和9 9只只AfAf蠓虫的触蠓虫的触长长、翅、翅长长数据如下：数据如下：ApfApf：(1.14,1.78),(1.18,1.96),(1.20,1.86),(1.26,2.(1.14,1.78),(1.18,1.96),(1.20,1.86),(1.26,2.00),(1.28,2.00),(1.30,1.96)00),(1.28,2.00),(1.30,1.96)Af:(1.24,1.72),(1.36,1.74),(1.38,1.64),(1.38,1.82),(Af:(1.24,1.72),(1.36,1.74),(1.38,1.64),(1.38,1.82),(1.38,1.90),(1.4,1.7),(1.48,1.82),(1.54,1.82),(1.51.38,1.90),(1.4,1.7),(1.48,1.82),(1.54,1.82),(1.56,2.08)6,2.08)133133-