如何建立和评价近红外模型.pptx

Textmasterformate durch Klicken bearbeiten,Zweite Ebene,Titelmasterformat durch Klicken bearbeiten,March 7,2014,#,如何建立和评价模型,1.,标准方法分析样品,2.,采集光谱,3.,优化、检验和建立模型,1.,测定未知样品光谱,2.,调用模型,3.,预测结果,建立模型,分析样品,理 论 背 景,近红外分析技术的难点和技术策略,July 7,2026,3,近红外分析是属于从,复杂、重叠、变动,的光谱中来提取,弱信息,的技术,应用化学计量学的方法来建立相应的,数学模型,来解决上述困难,建立,优秀,数学模型存在的一系列困难,好的仪器,优秀的分析软件,建模经验丰富的人员,代表性的样品资源,合理应用样品资源技术,准确测定化学值水平-,可靠性、稳定性及动态适应性,模型还要进行不断检验、修正、转移,偏最小二乘法的基本思想,分别求出样品集光谱矩阵和样品组分矩阵的主成分矩阵，,将这两个矩阵相关联，求其线形关系，用所建立的线形函,数来预测未知样品。,其中的最佳主成分矩阵的维数采用内部交叉检验来得出。,优点：,1、充分提取样品光谱的有效信息；2、消除了线性相,关的问题；3、考虑了光谱矩阵与样品成分矩阵之间的内在联,系，模型更稳健；4、适合于复杂分析体系。,该方法是世界上近红外定量分析商品化软件中最流行的算法,在主成分回归中，只对光谱矩阵作了分解，消除了光谱矩阵中的无,用信息；同样，浓度矩阵中也包含了无用信息，也应作相应处理。,偏最小二乘法：分别求出样品集光谱矩阵和样品组分矩阵的主成分,矩阵，将这两个矩阵相关联，求其线形关系，用所建立的线形函数,来预测未知样品。,(,其中的最佳主成分矩阵的维数采用内部交叉检验来得出,),理 论 背 景,偏最小二乘法,第一步，矩阵分解，其模型为：,X,=,TP,+,E,Y,=,UQ,+,F,第二步，将,T,和,U,作线性回归,U,=,TB,预测时，先求出未知样品,X,矩阵的,T,未知，再按下式计算浓度,Y,未知,T,未知,BQ,优点：,充分提取样品光谱的有效信息,消除了线性相关的问题,考虑了光谱矩阵与样品成分矩阵之间的内在联系，模型更稳健,适合于复杂分析体系。,缺点：,计算速度较慢，计算过程较繁琐，需要多次迭代,模型建立过程复杂，较抽象，较难理解,理 论 背 景,偏最小二乘法,世界上近红外定量分析商品化软件中最流行的算法,怎样建立好的近红外定量分析模型？,1,、,确定近红外定量分析的目标准确度。,实验室标准方法的准确度和精密度确认。,2,、选择分析样品的近红外附件、光谱扫描的参数、规范操作步骤。,3,、选择或配备代表性建模样品集。,4,、模型优化。,5,、模型验证（内部交叉验证和外部验证）。,确定近红外定量分析的目标准确度,近红外定量分析方法是二级方法，利用化学计量学方法将近红外,光谱与实验室分析数据进行关联，建立近红外模型对未知样品进行预测。,实验室分析数据的准确度非常重要，完全遵循“量子传递”的误差理,论。实验室数据越准确，近红外模型的准确度也会越高。,目标准确度是评价近红外模型的首要条件。,确定近红外定量分析的目标准确度,考察实验室数据：,方法的可靠性,方法的准确性,方法的重现性,方法的误差范围,测试中偶然误差、系统误差,怎样建立好的近红外定量分析模型？,1,、确定近红外定量分析的目标准确度。,实验室标准方法的准确度和精密度确认。,2,、,选择分析样品的近红外附件、光谱扫描的,参数、规范操作步骤。,3,、选择或配备代表性建模样品集。,4,、模型优化。,5,、模型验证（内部交叉验证和外部验证）。,近红外光谱仪的选择,1,、理论研究。,要求仪器附件配置齐全、扩展能力强、稳定可靠、光谱数据格式,转换方便。,2,、实际推广应用,根据应用的现场要求，分析指标难、易程度以及应用推广的数量和,范围对仪器进行选择。,应用现场比较复杂、分析指标比较难、应用推广的数量和范围比较,宽，要求仪器的性能指标比较高，模型能够直接传递。,否则，对仪器的要求比较低。,近红外仪器的选择,近红外仪器的选择,多功能研究级仪器,大范围推广型仪器（,www.QTA.com,）,工业现场仪器,专用水分测定仪器,实 验 条 件 的 选 择,根据仪器的光谱响应特征,1,、选择分析样品的近红外附件,液体样品要选择不同光程的比色皿：,颜色深、吸收强的样品，光程短；颜色浅、吸收弱，光程长。,固体样品要根据粒径大小、均匀程度选择：,粒径大、不均匀的样品应选择扫描面积大的样品附件。,粒径小、均匀的样品应选择扫描面积小或大的样品附件。,2,、光谱扫描的参数,分辨率、扫描次数、光谱范围。,3,、规范操作步骤,特别对固体样品要保证装样的一致性。,最终目的：,得到稳定的高质量光谱。,不同光程比色皿测定的光谱,5mm,光程,2mm,光程,实 验 条 件 的 选 择,根据仪器的光谱响应特征,1,、选择分析样品的近红外附件,液体样品要选择不同光程的比色皿：,颜色深、吸收强的样品，光程短；颜色浅、吸收弱，光程长。,固体样品要根据粒径大小、均匀程度选择：,粒径大、不均匀的样品应选择扫描面积大的样品附件。,粒径小、均匀的样品应选择扫描面积小或大的样品附件。,2,、光谱扫描的参数,分辨率、扫描次数、光谱范围。,3,、规范操作步骤,特别对固体样品要保证装样的一致性。,最终目的：,得到稳定的高质量光谱。,用样品旋转器和积分球测定不均匀样品,0,2,3,1,Messfenster der Integrationskugel,用样品旋转器和积分球测定不均匀样品,Accessory Area Factor,Integrating Sphere 1.1 cm,2,1,Small Spinner 6.8 cm,2,6,Large Spinner 19.6 cm,2,18,不均匀样品测试结果差异,测试光斑直径,6mm,，,样品旋转杯直径,47mm,测试光斑直径,15mm,，,样品旋转杯直径,90mm,实 验 条 件 的 选 择,根据仪器的光谱响应特征,1,、选择分析样品的近红外附件,液体样品要选择不同光程的比色皿：,颜色深、吸收强的样品，光程短；颜色浅、吸收弱，光程长。,固体样品要根据粒径大小、均匀程度选择：,粒径大、不均匀的样品应选择扫描面积大的样品附件。,粒径小、均匀的样品应选择扫描面积小或大的样品附件。,2,、光谱扫描的参数,分辨率、扫描次数、光谱范围。,3,、规范操作步骤,特别对固体样品要保证装样的一致性。,最终目的：,得到稳定的高质量光谱。,高分辨率、高质量光谱,原始光谱,二阶导数光谱,怎样建立好的近红外定量分析模型？,1,、确定近红外定量分析的目标准确度。,实验室标准方法的准确度和精密度确认。,2,、选择分析样品的近红外附件、光谱扫描的参数、规范操作步骤。,3,、,选择或配备代表性建模样品集。,4,、模型优化。,5,、模型验证（内部交叉验证和外部验证）。,样品集的选择,选择或配备代表性建模样品集。,天然样品和反应过程中的样品，选择的代表性样品数量比较大。,成分已知样品，选择的代表性样品数量比较少。,可使用化学计量学方法对样品进行选择、设计。,大豆样品的挑选（选）,不同含量样品数的选择,不同含量样品数量选择不能以现实的样品变化进行选择，应该在所有含量范围内均匀选择。,完美的分布,(,很少出现的情况,),比较合理的分布,样品分布,饲料、食品、烟草、化工、炼油等产品的样品分布情况,10,Mean,25,百分比分布,#of Samples with Level of Constituent,制药分布,10,正常样品,25,百分比分布,#of Samples with Level of Constituent,Predicted value,Reference value,Typical,concentration range,“extreme sample”,or good outlier,Useful for model,update,The concentration range of the calibration should always be larger than the expected analysis range.,bad outlier,need to,Identify the causes,异常样品的判断,建 立 模 型,检验模型,图表,页：双击异常点由红变黑,(,由黑变红,),，以示剔除,(,恢复,),NIR prediction,Reference value,Random error,NIR prediction,Reference value,Systematic error,系统误差和随机误差,怎样建立好的近红外定量分析模型？,1,、确定近红外定量分析的目标准确度。,实验室标准方法的准确度和精密度确认。,2,、选择分析样品的近红外附件、光谱扫描的参数、规范操作步骤。,3,、选择或配备代表性建模样品集。,4,、,模型优化。,5,、模型验证（内部交叉验证和外部验证）。,模型优化,模型优化,谱区范围的选择,选择信息量相关性最大的谱区。,光谱预处理方法的选择,选择减小光谱漂移、增加信息量、稳定可靠的光谱预处理方法。,最佳,Rank,（,PLS,算法）,相同的谱区范围，,RMSECV,无显著性差别，,Rank,小的模型好。,模型优化条件的选择：谱区宽度、,Rank,大小、预处理方法,最佳,Rank,的选择,最佳谱区的选择,最佳谱区,最佳谱区的相关图,交叉检验的相关图,绝对误差分布图,矢量归一化预处理的,PLS,模型,R,2,=96.63RMSECV=0.05%Rank=2,光谱预处理方法选择,一阶导数预处理的,PLS,模型,R2=99.68RMSECV=0.02%Rank=2,怎样建立好的近红外定量分析模型？,1,、确定近红外定量分析的目标准确度。,实验室标准方法的准确度和精密度确认。,2,、选择分析样品的近红外附件、光谱扫描的参数、规范操作步骤。,3,、选择或配备代表性建模样品集。,4,、模型优化。,5,、,模型验证（内部交叉验证和外部验证）,。,内部交叉检验,Differ,1,Differ,2,Differ,3,Differ,n,内部交叉检验,(cross validation),外部检验（,Prediction,）,Differ,1,Differ,2,Differ,3,Differ,n,模型,检验样品,模型内部交叉检验,决定系数,均方差,同一组样品、同一组分，,R,2,越大，,RPD,越大，,RMSECV,越小。,决定于模型优化的条件、实验室化学分析水平和近红外,仪器的性能。,RMSECV,最重要，决定预测样品的误差大小。,RPD(Residual Prediction Deviation)=SD/SEP,bias,如何判定近红外定量分析是否可行,?,RMSEE,、,RMSEC,或,SEC,（,C,：,Calibration,），,RMSECV,、,SECV,（,CV,：,Cross Validation,），,RMSEP,（,P,：,Prediction,）三者的关系：,RMSEE,与,RMSECV:,同一模型，,RMSEE,一定小于,RMSECV,；但两者不应存在显著性差异，否则，样品代表性不好或模型信息提取不充分。,RMSECV,与,RMSEP:,RMSEP,远大于,RMSECV,，建模样品的代表性差、模型信息拟和不够或过拟和；,RMSEP,远小于,RMSECV,，验证样品代表性差。,文章或方法中只给出校正均方差，不能说明任何问题，要注意。,至少要给出交叉检验均方差，当然最好给出预测均方差。,RMSECV,应该与,实验室标准方法的精密度相当,。,校正,交叉检验,如何判定近红外定量分析模型的质量,外部检验,RMSECV vs Rank,图表,模型内部交叉检验,结果不好！,模型内部交叉检验,RMSECV vs Rank,图表,结果一般！,模型内部交叉检验,RMSECV vs Rank,图表,好的结果！,Detection of gaps in calibration range by density values,OPUS Quant2(PLS)Report,OPUS Quant2(PLS)Report,Detection of gaps in calibration range by density values,Thank you very much!,