1、土壤光谱培训材料土壤可见-近红外和中红外光谱 分析入门1作者Yufeng Ge(内布拉斯加大学)Alexandre Wadoux(悉尼大学)彭懿(全球土壤伙伴关系,联合国粮食及农业组织)联合国粮食及农业组织和浙江大学出版土壤光谱培训材料土壤可见-近红外和中红外光谱 分析入门1III目 录 贡献者 V致谢 V概要 V1|背景 12|土壤vis-NIR和MIR光谱分析原理 12.1 电磁波谱、波长和波数 12.2 光谱反射率和吸收率 12.3 MIR的基频吸收,vis-NIR的倍频和合频 22.4 Vis-NIR和MIR可直接或间接测定的土壤属性 22.5 土壤vis-NIR与MIR光谱分析的优势
2、 33|土壤vis-NIR和MIR光谱分析流程 43.1 样本制备 53.2 光谱测定 53.3 光谱预处理 63.4 模型训练和验证 73.5 建模方法 93.6 模型评估 104|地区、洲及全球土壤光谱库:动机、优势及局限 145|土壤分析常用的光谱仪 176|结束语 17参考文献 18IV图目录图1 土壤反射光谱(左)和吸收光谱(右)。2图2 vis-NIR和MIR光谱分析的流程。4图3 示例数据中的vis-NIR光谱(n=201)经不同预处理后的结果:(A)原始反射光谱;(B)吸收光谱;(C)标准正态变换光谱;(D)多元散射校正光谱;(E)连续统去除光谱;(F)SG滤波加一阶导光谱。蓝
3、色曲线代表平均光谱。7图4 PLSR模型过拟合示意图 8图5 MIR光谱数据主成分分析示意图:(A)在光谱空间的土壤MIR光谱;(B)前10个主成分的碎石图及其解释总体变异的百分比;(C)前三个主成分的两两散点图。10图6 模拟的vis-NIR或MIR光谱预测值和实验室实测值散点图。罗列了不同程度的模型精度和指标。12图7 基于PLSR模型的验证集(n=60)土壤vis-NIR光谱预测值与实验室实测值散点图。灰色虚线为1:1线,蓝色实线为拟合线。12图8 基于PLSR模型的验证集(n=108)土壤MIR光谱预测值与实验室实测值散点图。13表目录表1 基于vis-NIR和MIR光谱使用PLSR和
4、SVM模型预测三种土壤属性的验证集结果。13表2 已发布的国家、洲和全球尺度土壤vis-NIR和MIR光谱库汇总。15V贡献者所有作者按照字母顺序排列.统筹协调Ronald Vargas Rojas作者Alexandre Wadoux(悉尼大学)彭懿(全球土壤伙伴关系,联合国粮食及农业组织)Yufeng Ge(内布拉斯加大学)审稿人Budiman Minasny(悉尼大学,澳大利亚)Jose Alexandre Melo Dematte编辑和出版Filippo Benedetti(全球土壤伙伴关系,联合国粮食及农业组织)Matteo Sala(全球土壤伙伴关系,联合国粮食及农业组织)Tasne
5、em Alsiddig(全球土壤伙伴关系,联合国粮食及农业组织)中文译者史舟(浙江大学,中国)彭懿(全球土壤伙伴关系,联合国粮食及农业组织)陈颂超(浙江大学杭州国际科创中心,中国)致谢为响应全球土壤实验室网络关于土壤光谱的倡议(GLOSOLANSpec),联合国粮食及农业组织下辖的全球土壤伙伴关系为土壤光谱初学者撰写了首个培训资料“土壤可见-近红外和中红外光谱分析入门”。该资料是全球多所研究机构土壤光谱学专家合作的成果,主要介绍了如何利用光谱进行土壤分析,以便读者理解应用该技术进行土壤分析的基本原理和相关流程。GLOSOLANSpec和本文作者特别感谢韩国绿色增长信托基金资助的世界银行项目“利
6、用技术促进乌兹别克斯坦的农业现代化”,为编撰提供资金支持,并将现代土壤测试技术带到所有国家。最后,作者感谢美国农业部自然资源保护局(USDANRCS)下辖的凯洛格土壤调查实验室为本文提供土壤可见光、近红外和中红外光谱数据集。概要可见-近红外(vis-NIR)和中红外(MIR)反射光谱已发展成为定量土壤分析的重要方法,有望成为传统实验室湿化学分析的替代方法。Vis-NIR和MIR因其分析速度快、成本低和无损的优点而广受欢迎,但从业者需进行一系列培训才能掌握相关技术。本文档拟为想使用vis-NIR和MIR光谱进行土壤分析的初学者提供概要性的帮助。本文档的主题包括:(1)vis-NIR和MIR的原理
7、及其与土壤的交互;(2)土壤vis-NIR和MIR实验室分析的基本流程,主要包括光谱采集、光谱预处理、模型训练和验证、偏最小二乘回归和模型性能评估;(3)地区、国家和全球尺度的土壤vis-NIR和MIR光谱库。本文是土壤vis-NIR和MIR光谱学的初级、中级和高级三个阶段中的第一部。(圣保罗大学,巴西)(全球土壤伙伴关系,联合国粮食及农业组织)ICRAF11|背景近三十年,可见-近红外(vis-NIR)和中红外(MIR)反射光谱学逐渐兴起并发展成为一种重要的实验室土壤定量分析方法(Baumgardner等,1986;Chang等,2001;Reeves,2010;Viscarra Rosse
8、l等,2006)。众多研究者认为,vis-NIR和MIR可以代替传统实验室湿化学分析方法(Janik等,1998;Nocita等,2015)。当前很多实际应用都需要大量的高分辨率(空间和时间)土壤数据。例如,精准农业需要定期从田间采集土壤样本(如网格采样),然后进行实验室分析并绘制土壤属性分布图。这些土壤属性分布图可用于管理分区或指导水肥和石灰的变量施用(Nawar等,2017)。再比如土壤固碳和碳信用,需要对同一地区进行重复采样以测定土壤有机碳储量的变化(Smith等,2020)。因此我们需要快速、低成本的分析方法(如vis-NIR和MIR)来满足大量土壤样本的分析需求。基于上述原因,vis
9、-NIR和MIR在土壤分析中备受关注。2|土壤vis-NIR和MIR光谱分析原理2.1 电磁波谱、波长和波数电磁(EM)波谱涵盖伽马射线、X射线、紫外线、可见光、红外线(近红外、中红外、远红外)、微波和无线电波,覆盖多种量级的波长(或相反,频率)。其中,vis-NIR和MIR是土壤分析中最常用的电磁波谱。Vis-NIR通常以波长如nm(纳米,10-9m)或m(微米,10-6m)为单位,包括可见光和近红外,波长范围通常为3502500nm(0.352.5m)。MIR通常以波数(cm-1)为单位,即每厘米内的波长数量,范围一般为4000600(或400)cm-1。以nm为单位的波长和以cm-1为单
10、位的波数成反比关系:波数=107/。以2500nm处的波长为例,它的波数为107/2500=4000cm-1;即,本例中vis-NIR的波段终点即为MIR的波段起点。2.2 光谱反射率和吸收率电磁能量射到土壤表面时,可被吸收、传输和反射。被吸收的能量有时以荧光的方式重新激发。土壤光谱学最关注的是土壤表面的反射能量,这种反射包括镜面反射和漫反射,其中光谱仪在土壤分析中采用漫反射模式。漫反射中的电磁能量可穿透土壤并与基质充分互作,故包含了更多土壤组分相关的信息。因此,土壤光谱学的文献中经常使用诸如DRS(漫反射光谱)或DRIFTS(漫反射红外傅里叶变换光谱)之类的术语。此外,衰减全反射(ATR)是
11、另一种土壤分析的测量模式。土壤光谱可用反射率或吸收率来表示,从业者使用时应明确是反射光谱还是吸收光谱。反射率(R)和吸收率(A)可通过以下公式相互转换:A=log10(1/R)和R=10-A。图1为土壤vis-NIR反射光谱和吸收光谱的示例。图1 土壤反射光谱(左)和吸收光谱(右)。反射率吸收率波长(nm)22.3 MIR的基频吸收,vis-NIR的倍频和合频Vis-NIR和MIR另一个主要差别在于电磁能量和土壤之间的相互作用模式。MIR能量能够使存在于土壤有机和矿物化合物中的化学键产生分子振动。在有机化合物(如有机质)中,相关的化学键包括OH、NH、CH、CC、C=C、CN、C=O等;在无机
12、化合物中,相关的化学键有黏土矿物中的AlOH和SiOH。这些基频吸收波段的分子振动通常表现强烈且清晰,所以MIR模型在估测有机质和黏粒等土壤属性时优于vis-NIR模型。而这些基频波段的倍频与合频则出现在NIR范围,例如,土壤NIR光谱在1450和1920nm附近的吸收特征与自由水中OH和HOH伸缩振动的倍频有关。与MIR的基频相比,NIR的吸收波段更弱,重叠更多且不够清晰。另外,在可见光范围内,受阳离子铁电子跃迁的影响,亚铁和三价铁氧化物也会产生吸收特征。此外,有机质含量高的土壤颜色通常较暗,其可见光范围的反射率也较低。2.4 Vis-NIR和MIR可直接或间接测定的土壤属性土壤是多种化学成
13、分组成的复杂综合体,并且其颗粒大小、团聚体、表面粗糙度及含水量等都会产生不同的物理状态。其中部分物理和化学组分与vis-NIR及MIR的能量相互作用并产生光谱吸收特征,其本质也就是土壤vis-NIR及MIR光谱学的原理。光谱吸收波段与土壤矿物质及有机成分相对应,因此可用vis-NIR及MIR光谱来测定这些“基本”土壤属性,如有机质(或有机碳)、碳酸盐(或无机碳)、总氮、黏土矿物、铁含量、机械组成(黏粒、粉砂和砂粒)以及含水率。另外,vis-NIR和MIR还能估测不直接与光谱能量相互作用的土壤属性。例如,Mg或Ca等土壤阳离子不会产生主动的光谱吸收,但它们通常能用vis-NIR和MIR进行合理的
14、估测,原因可能是其与土壤的黏土矿物和碳酸盐存在“次要”关联。另外,pH、CEC(阳离子交换能力)、盐分和养分含量(如总磷和钾)等土壤属性也能基于其与一种或多种“基本”土壤属性的相关性而被成功估测。前期研究总结了土壤组分在MIR的基频、NIR的倍频与合频、可见光的电子跃迁。感兴趣的读者可以参考Viscarra Rossel等(2016)和Soriano-Disla等(2014)的相关研究。需要注意,尽管许多土壤组分和化学基团在vis-NIR及MIR光谱有特定的吸收特征,但这些吸收波段很少被单独用于土壤属性的估测。相反,基于全波段的多元模型和机器学习是土壤vis-NIR及MIR光谱学的主流方法。除
15、了上述“主要”和“次要”相关性之外,我们还要认识到,基于vis-NIR及MIR光谱的建模方法是经验性的,并且在很大程度上是“数据驱动”的。这些方法(将在第3.5节中进一步讨论)通常得到复杂且难解释的数学模型。这些模型很容易过拟合,并很可能靠与光谱的伪相关性而获得准确的结果。因此,建议从业者不要急于使用令当前数据最佳的模型,而忽略了与分析相关的土壤学知识,如考虑待测属性在vis-NIR及MIR范围是否有直接或间接的光谱吸收特征。单独使用vis-NIR或者MIR光谱是土壤分析和建模的常用方式,而将vis-NIR和MIR进行融合来估测土壤属性,能够利用两个光谱的优势以提高估测精度。要做到这点,实验室
16、需要同时配备vis-NIR和MIR光谱仪,也就意味着需要大量的初期投入。2.5 土壤vis-NIR与MIR光谱分析的优势与基于湿化学的传统土壤分析方法相比,vis-NIR与MIR在土壤分析方面有几个明显优势。首先,获取vis-NIR和MIR光谱数据速度快且无损,单次扫描仅需几秒钟,且在扫描过程中不消耗土壤样本。其次,对同一个土壤样本,单次光谱扫描能同时估测多种土壤属性。这和传统实验室的分析方法有明显差别,传统方法中每种土壤属性需要用不同的子样本进行单独分析,以避免子样本间的微异质性所引入的潜在变异。第三,除去购置光谱仪的初始投入之外,其制样简单(主要是干燥和研磨)且无需化学试剂,是一种低成本且
17、环境友好的技术。尽管vis-NIR和MIR光谱仪价格昂贵(例如,用于土壤vis-NIR分析的ASD Labspec光谱仪售价50,00065,000美元不等;配备用于MIR高通量采样附件的Bruker FTIR光谱仪售价100,000美元起;价格也可能因国家和地区而异),但回报率很高。光谱仪可以扫描和分析数以万计的土壤样本,与初始投资相比收益巨大。以上诸多优势使光谱定量分析土壤时比传统湿化学法具有更高的通量和更低的成本。值得注意的是,最近市场上出现了价格更低但波段范围有限的便携式NIR光谱仪。但是并非所有的光谱仪都能准确估测土壤属性,估测精度通常取决于波段范围。目前已有部分研究利用波段范围有限
18、的NIR光谱仪进行土壤分析(Sharififar等,2019;Tang等,2020)。33|土壤vis-NIR和MIR光谱分析流程图2为土壤vis-NIR和MIR光谱分析的基本流程。与传统土壤分析方法不同,通过vis-NIR或MIR光谱仪并不能直接获取土壤属性含量,而是需要训练样本(也称校正样本)来构建光谱信息和目标土壤属性的经验模型。因此,训练样本的土壤属性须进行标准测定(如传统湿化学测试方法)。为评价模型的预测能力,还需独立于训练集的,且经相同实验室分析方法测定验证样本(也称验证集)对构建的经验模型进行验证。模型经充分的校正和验证,才可对未知土壤样本的vis-NIR和MIR光谱进行属性估测
19、。模型训练和验证是土壤光谱分析的核心,需要掌握更多有别于传统实验室土壤分析方法的知识和技能(如高光谱数据处理、统计分析、计算机编程、模型评价等)。本章内容主要介绍土壤vis-NIR和MIR光谱分析的步骤。图2 Vis-NIR和MIR光谱分析的流程。43.1 样本制备在田间采集土样时需剔除砾石和植物根系。光谱测定前,土样需在3540C条件下风干,然后经研磨过2mm孔筛。此处理旨为保持与土壤样本进行实验室分析前的制备过程一致。由于样本粒径会影响vis-NIR光谱能量的穿透和散射,降低结果与其他研究的可比性,因而在测定土壤vis-NIR光谱时,不再对样本进行更细的研磨(Nduwamungu等,200
20、9)。而在测定土壤MIR光谱时,样本粒径需研磨至100m。前期研究表明,精细研磨能显著提高MIR光谱分析的精度(Wijewardane等,2021)。精细研磨是土壤样本制备的额外步骤,提高了MIR光谱测定的成本和时间,但同时也是最优精度的保证,这要求实验室还需配备用于土样精细研磨的机械研磨仪。精细研磨过程还包括了样本的填装和卸装,样品池的清洗、干燥(防止样本交叉污染)等过程,耗时更长,这成为了制约土壤MIR光谱测定速率最重要的因素。样品精细研磨的具体步骤可参考美国农业部自然资源保护局(USDANRCS)提供的相关视频(https:/ 光谱测定在样品测试过程中,测定土壤vis-NIR漫反射光谱需
21、采用全波段超99%反射率的参考板(近似100%的漫反射物)进行校正,此过程称之为白板校正;测定土壤MIR光谱则采用表面粗糙的金属板(如铝)作为参考板。光谱仪记录三个值:DNWhite指参考白板的原始光谱(DN指数值);DNDark指暗电流的原始光谱;而DNSoil指土样的原始光谱。土壤光谱反射率(Ref)可通过以下公式换算而得:=DNSoil DNDarkDNWhite DNDark 光谱仪通常会自动完成这一换算。为保持仪器的良好运转需定期进行白板和暗电流校正。在温度、湿度等环境因素相对稳定的实验室条件下,可每隔15分钟对光谱仪进行校正一次;在复杂环境条件下,每测完一个样本就需要对光谱仪重新校
22、正一次。为获得高质量的光谱,光谱仪须在测定之前开机充分预热,预热时长取决于仪器类型和厂商。仪器的光源输出、光谱探测器的响应都和温度密切相关。很多vis-NIR和MIR光谱仪都配有采用热电或者液氮方法的专用制冷系统,来降低探测器的热噪声。这一步骤可消除光谱仪预热过程对光谱测试的负面影响。不同光谱仪的测定流程和配件有所差异。考虑到ASD光谱仪是使用最广泛的土壤vis-NIR光谱仪,我们以此为例做相关介绍。ASD光谱仪有两种配件,非接触式的muglight和接触式探头。Muglight使用时将研磨土样(风干,2 mm)装入圆盘上或硼硅酸盐培养皿(如Duroplan)进行光谱扫描。相比而言,接触式探头
23、更加便携和灵活,常用来扫描袋装土样或者原状土样。对装样的容器(圆盘或培养皿)、muglight和接触式探头上的石英镜头进行充分清理可有效避免样本间的交叉污染。土壤光谱数据最初以特定的格式存储在光谱仪内。仪器商提供相应的程序包以供基本的数据处理、数据清洗和光谱建模等功能,如ASD自带的Indigo Pro软件和Bruker自带的OPUS软件。土壤从业者正逐步改用开源软件进行土壤光谱数据的处理和建模,如R(https:/www.r-project.org)和Python。这些开源软件提供了功能强大的包和函数,能高效地处理大数据集(如数千个土样),或提供最新的机器学习算法用以进行光谱建模。原始光谱矩
24、阵数据需转换成TXT(制表符分隔)或CSV(逗号分隔)格式以便可被R或Python读取。在文件中,不同样本按行排序,不同波长(或波数)按列排序。本章后续将逐步介绍光谱预处理、模型训练和验证、建模方法以及模型评估等内容,并通过vis-NIR和MIR光谱的示例数据来演示以上步骤。Vis-NIR数据包括201个ASD LabSpec光谱仪测定的土样光谱数据,MIR数据包括540个Bruker Vertex 70 FT-IR光谱仪测定的土样光谱数据。示例数据包括土壤有机碳(干烧法测定)、黏粒(吸管法测定)和pH(1:1水提取法测定)三项实验室测定的属性。以上数据来自公开的vis-NIR和MIR光谱库,
25、归USDANRCS的凯洛格土壤调查实验室所有。此外,我们用R代码来阐述相关概念、展示建模步骤和重现结果。53.3 光谱预处理光谱预处理过程通常应用于vis-NIR和MIR的原始光谱数据。光谱预处理可降低噪声、提升信噪比、减少外来杂散光的影响、降低数据维度以高效计算、增强吸收特征等。移动平均是最简洁的预处理方法:通过对一定波段范围内(如每10或20个数据)的光谱数据取平均来实现去噪和降维。其他常用的预处理方法包括:(1)标准正态变换(SNV);(2)多元散射校正(MSC);(3)SavitzkyGolay(SG)滤波;(4)连续统去除(CR)等。R中的prospectr函数包(https:/CR
26、AN.R-project.org/package=prospectr)可以实现以上光谱预处理。SNV:该方法对每一个测定的光谱值通过减去每个样本的平均光谱值并除以标准差来实现对光谱矩阵的标准化。SNV是一种简单的光谱数据标准化法,旨在校正光散射的影响。SNVi=xi xisi 其中,xi是第i条原始光谱,xi和si是第i条光谱的平均值和标准差。MSC:原指多元散射校正,因其还能处理散射之外的其他多元问题,使其缩写的原意逐渐改变。对于每个原始光谱xj,假设在理想状态下它的参考光谱值为xr,且满足xj=mjxr+aj,MSC通过以下公式来实现对原始光谱的校正:MSCi=xi aimi 其中,ai和
27、mi分别是加法项和多元项。在进行MSC预处理时,一般理想状态下的参考光谱xi是得不到的,常用所有样本的平均光谱值来替代。SG滤波:SG滤波(Savitzky和Golay,1964)是广泛应用的土壤vis-NIR和MIR光谱预处理方法。SG滤波功能很多,可用于数据平滑、去噪和求导。SG滤波主要有3个参数:(1)窗口大小(2g+1);(2)导数的阶数(如p=0为单做平滑,p=1为求一阶导,p=2指求二阶导);(3)多项式的阶数(决定平滑程度)。SG滤波的缺点是在使用一定窗口大小(2g+1)时会丢失光谱首尾各g个数据。如当窗口数为11时(g=5),SG滤波处理后的光谱会去除最前5个和最后5个光谱数据
28、。连续统去除:主要用于去除光谱的连续部分并突出吸收特征。该方法有利于vis-NIR光谱中隐藏的或重叠的吸收带的可视化,但很少将连续统去除后的光谱用以建模。选择何种光谱预处理方法视情况而定且有时较主观。很多研究者会采用多种预处理方法的组合(如MSC加SG滤波),也有研究者发现光谱预处理并不能提升模型的精度。由于缺乏光谱预处理的通用指导,我们推荐采用探索式的策略,即比较几种不同的光谱预处理方案后,再选择能够提升模型预测精度的方法。图3是光谱经不同预处理后的结果。6图3 示例数据中的vis-NIR光谱(n=201)经不同预处理后的结果:(A)原始反射光谱;(B)吸收光谱;(C)标准正态变换光谱;(D
29、)多元散射校正光谱;(E)连续统去除光谱;(F)SG滤波加一阶导光谱。蓝色曲线代表平均光谱。3.4 模型训练和验证 如前所述,在模型构建过程中需将全部样本随机划分为两部分,一部分作为训练样本,另一部分作为独立样本用于模型验证。一般将数据的70%划分为训练集,30%作为验证集。理想情况是,多次重复上述过程以降低由于随机划分样本而产生过好或过差预测结果的概率。其他训练集和验证集划分方法还有k折交叉验证(CV)和靴襻法(bootstrap-ping)等。采用CV方法时,数据集被划分为k个不相交的子集,其中k-1个子集用于模型训练,剩余1个子集用于验证模型精度,该过程需重复k次以确保每个子集均被验证过
30、1次。k值通常设为10,即称为10折交叉验证。k值也可等于光谱个数,那么该种情况下称为留一交叉验证(LOOCV)。靴襻法通过有放回的抽样,生成多个子集用于模型构建与评估。对采用这两种方法构建的模型进行评估时,评估统计指标对数据单次划分的偶然概率不敏感,因而模型评估的稳健性优于单次的数据划分法。模型训练的目的是为了构建土壤光谱和目标属性的多元经验模型(如线性回归)。光谱数据常包含成百上千条高度线性相关的波段,因此如何平衡“预测能力”与“过拟合”是模型训练的关键。过拟合是指对于某一模型,训练集的模型评估精度很高,但对独立数据集的预测精度却很低,即该模型无泛化能力。训练集的内部交叉验证通过统计指标如
31、交叉均方根误差(RMSECV),来比较不同模型复杂度的预测精度,以平衡模型的“预测能力”和“过拟合”,进而找到避免过拟合的最佳模型。图4是偏最小二乘回归(PLSR)模型过拟合的示例,“training”和“CV”分别指训练模型和训练集内部10折交叉验证获得的均方根误差(RMSE)。潜变量(LV)为PLSR模型的参数,代表模型的复杂度。训练模型的RMSE随LV个数增加波长(nm)7而降低。但在内部10折交叉验证中,LV个数为13时RMSE最低。当LV个数大于13时,训练模型的RMSE持续降低但内部10交叉验证的RMSE有所增加,由此判断,该PLSR模型在LV多于13个时存在过拟合现象。05101
32、5204681012Number of latent variablesRMSE(%)TrainingCV图4 PLSR模型过拟合示意图。3.5 建模方法尽管前期研究已标识并梳理了不同土壤组分在光谱上的特征波段,但还未有基于朗伯比尔定律来建立固定的光谱-土壤属性定量模型。如今最主流的方法是仍然是通过训练土壤vis-NIR、MIR光谱和目标属性来建立多元经验模型。早期研究采用多元线性回归(MLR)来选择少数光谱波段并构建训练模型(Ben-Dor和Banin,1995)。随后,PLSR和主成分回归(PCR)等建模方法开始流行并广泛应用于土壤光谱学的研究(Chang等,2001;Viscarra R
33、ossel等,2006)。其中PLSR法已成为与新模型作比较的标准。PLSR/PCR和MLR之间最大的差别是:(1)PLSR和PCR使用全光谱数据进行建模,而MLR只采用一小部分;(2)PLSR和PCR对原始光谱矩阵进行投影,得到一系列新变量,如潜变量(LV)或主成分(PC)。新变量之间互不相关,因此前几个LV或者PC就能解释原始光谱绝大部分的总体变异。LV和PC能有效地处理vis-NIR和MIR光谱多重共线性,以及小样本数据“big p small n”的问题(此处的p指自变量个数,即光谱波段数,n指建模的样本个数)。PLSR和PCR的数学推导过程超出本次培训的范围,有兴趣的读者可参看Wol
34、d,Sjstrm和Eriksson(2001)编著的 PLSR和PCR原理及应用 一书。当前,机器学习法被广泛应用于土壤vis-NIR和MIR光谱学的研究。这些方法包括随机森林(RF)、支持向量机(SVM)、Cubist以及人工神经网络(ANN)等(Minasny和McBratney,2008;Viscarra Rossel等,2016)。通过机器学习方法构建的模型通常比PLSR和PCR拥有更好的预测精度,尤其当训练样本数较大时。预测精度高的主要原因是模型能更有效地处理光谱数据和土壤属性间的非线性关系。但机器学习法常因“黑箱”问题(模型解析能力差)而被诟病,如SVM或ANN很难直观展示或解释哪
35、个波段在预测某种土壤属性时发挥了更为重要的作用。此外机器学习方法可能需要更多的算力来运行。当前的很多应用是通过GPUs(图形计算单元)或GPUs/CPUs群来完成训练。主成分分析(PCA)与PLSR、PCR密切相关。实际上,PCR是基于PCA得到的主成分进行了多元线性回归。在土壤光谱学中,PCA常用于vis-NIR和MIR光谱的初步分析和光谱异常值判别。需注意的是在原始光谱谱线图中,不易快速区分异常值(如图3所示)。图5A展示了540个土样的MIR光谱,显然,这种呈现方式很难判定哪条是异常样本。图5B展示了前十个主成分得分(PCs)的碎石图:第一主成分解释了78%总体变异,第二主成分解释了8.
36、6%,第三主成分解释了4.2%,以此类推。通常,我们关心的是多少个主成分能解释超过90%、95%或99%的总体变异。在此例中,前三个和前五个主训练交叉验证均方根误差(%)潜变量个数8成分解释分别超过了90%和95%的总体变异。图5C是土样光谱主成分在二维空间的散点图(PC1 vs.PC2 vs.PC3),每个点代表了一个样本,和图5A中的原始光谱曲线相对应。蓝色圆圈代表99%置信区间,圆圈外的样本为潜在的光谱异常值,需对其作进一步分析。图5 MIR光谱数据主成分分析示意图:(A)在光谱空间的土壤MIR光谱;(B)前10个主成分的碎石图及其解释总体变异的百分比;(C)前三个主成分的两两散点图。3
37、.6 建模方法在光谱模型预测新的、未知土样前,须进行客观的模型评估。通常用标准方法测定的土壤属性实测值作为独立验证。模型评估将光谱的预测值和实测值作比较,并计算精度指标如偏差(平均误差,ME)、均方根误差(RMSE)、皮尔逊相关指数(r)和决定系数(R2)。ME=1NN?i=1(yi yi)RMSE=?1NN?i=1(yi yi)2r=?Ni=1(yi yi)(yi yi)?Ni=1(yi yi)?Ni=1(yi yi)这里yi和yi分别指第i个样本土壤属性的实测值和光谱预测值,yi和yi指实测值和预测值的均值,N是样本个数。ME代表偏差,也可度量模型对土壤属性高估或者低估的趋势。ME可正可负
38、,最优值为0。RMSE表示误差的大小,度量每个样本预测值和实测值之间的距离,可表示预期的对未知样本的预测精度。RMSE的最优值为0。相关系数r度量预测值和实测值之间的线性相关程度,数值从-1(完全负相关)到1(完全正相关)。作为模型评估指标,RMSE一个不便吸收率方差波数(cm-1)主成分碎石图主成分9之处是对土壤属性单位的依赖。如vis-NIR土壤pH模型的RMSE是0.45,vis-NIR土壤有机碳模型的RMSE是0.35%,而vis-NIR黏粒模型的RMSE是5%。没有更多信息的话,很难判断哪个vis-NIR模型的预测精度最好。决定系数的计算公式如下:R2=1?Ni=1(yi yi)2?
39、Ni=1(yi y)2这个公式等同于 1-RMSE2/2y,其中,2y是实测值的方差。在文献中,R2也被称作模型效率或者纳什效率系数。R2的最佳值是1,可为负值。当R20时,表明预测误差比实测值的均值还大。当R20时,正值表示自变量模型能解释因变量变异的比例。如某采用vis-NIR光谱预测土壤pH模型的R2为0.3,说明该模型可以解释实测值30%的变异。需要注意的是,R2经常被计成皮尔逊相关系数的平方(r2)。R2和r2只有在有截距的线性模型中才相等。R2评估偏离1:1线的程度,而r2评估实测值和预测值偏离拟合回归线的程度。我们强调,若要客观评估光谱模型,那么决定系数应由公式1-RMSE2/2
40、y 计算而得。我们还注意到,一些文献用标准差与均方根误差比(RPD)这个和R2相似的指标给模型评级。此外,四分位距与均方根误差比(RPIQ)将RPD计算公式中的标准差替换为四分位距(Q3-Q1)来处理非正态数据。在模型评估时,并没有黄金准则来评判一个模型是否足够好,模型的可用性和质量取决于应用。图6用数据模拟了vis-NIR或MIR光谱预测值较实验室实测值的情况,并给出了ME、RMSE、r和R2。注意散点围绕拟合回归线的紧密程度,以及回归线偏离1:1线(通过R2评估)的程度。1.02.03.04.01.02.03.04.01.02.03.04.01.02.03.04.01.02.03.04.0
41、1.02.03.04.01.02.03.04.01.02.03.04.01.02.03.04.01.02.03.04.0图6 模拟的vis-NIR或MIR光谱预测值和实验室实测值散点图。罗列了不同程度的模型精度和指标。以下这个例子用USDANRCS凯洛格土壤调查实验室的vis-NIR和MIR数据集来预测有机碳、黏粒和pH这三个土壤属性。vis-NIR数据有201个样本,通过划分将70%作为训练集(n=141),30%作为验证集(n=60)。MIR数据包含540个样本,通过划分将80%用于训练(n=432)和20%用于验证(n=108)。使用PLSR建立光谱模型,验证集的散点图如图7(vis-N
42、IR光谱)和图8(MIR光谱)所示。表1列出了对应的ME、RMSE、r和R2。由于SVR机器学习模型常用于土壤光谱10建模,因此表1中还展示了使用SVR模型的精度。图7、图8和表1是展示vis-NIR和MIR光谱建模结果的常用方式 020406001020304050607011234561012345656789105678910图7 基于PLSR模型的验证集(n=60)土壤vis-NIR光谱预测值与实验室实测值散点图。灰色虚线为1:1线,蓝色实线为拟合线。0102030405001020304050112345610123456456789114567891011图8 基于PLSR模型的验
43、证集(n=108)土壤MIR光谱预测值与实验室实测值散点图。表1 基于vis-NIR和MIR光谱使用PLSR和SVR模型预测三种土壤属性的验证集结果。模型土壤属性vis-NIR(n=60)MIR(n=108)MERMSErR2MERMSErR2PLSR黏粒-1.164.350.950.9 0.411.70.980.97有机碳 0.070.380.920.83-0.010.20.970.95pH 0.070.420.870.72-0.090.430.890.79SVR黏粒-1.685.530.920.830.392.350.970.94有机碳-0.10.440.920.770.050.20.98
44、0.95pH-0.080.490.80.63-0.020.440.880.77114|地区、洲及全球土壤光谱库:动机、优势 及局限建立模型训练集是土壤vis-NIR和MIR光谱分析中成本最高的环节,不仅需用光谱仪测定土壤光谱,还要进行实验室土壤理化性质分析。在研究中,常将整个数据集划分为训练集和验证集,分别用于模型训练和精度验证。每项研究建立训练集显然是不切实际且高成本的,因此建立可在多用户和多项目间共享及使用的土壤光谱库是一个更为可行的方案。这将从根本上推动地区、国家、洲及全球尺度土壤vis-NIR及MIR光谱库的发展。土壤光谱库的构建具有多种渠道:(1)可从土壤样本库中提取历史土样,并用v
45、is-NIR及MIR光谱仪进行测定。历史土样已风干、研磨,也已记录了理化属性信息,因此该方式在建立光谱库时能节约大量成本。但历史数据存在一个瑕疵,即并非研究所需的理化属性都已测定,且已测数据也并非采用最理想的测试方法。出现这两种情况时须对相关历史土样重新进行理化分析;(2)设计并开展采样工作,以一种更系统更可控的方式收集新土样,并以此建立土壤光谱库。土壤光谱库通常包含覆盖较大地理区域、来自不同采样任务或项目的大量样本(如上万个),这些因素给光谱库的建立和应用带来了额外问题。首先,相同的土壤属性可能通过不同的实验室标准方法进行测量,如“干烧法”和“WalkleyBlack法”均可作为土壤有机碳的
46、标准测定方法。“WalkleyBlack法”测定的土壤有机碳含量可通过转换因子(即1.724)换算成有机质含量。但“WalkleyBlack法”是基于K2Cr2O7溶液的氧化,部分有机碳在这个过程中可能因氧化不完全而产生一定的测量误差,因此换算系数会因土壤差异而有所不同。另外,“干烧法”可测定所有形式的碳(包括无机碳)。土壤pH值可在H2O、KCl及CaCl2溶液中通过不同的土水比测得,土壤养分(如磷和钾)则可通过不同的提取技术来测定。如果将不同标准测试方法或不同实验室测定流程之下分析的土样直接录入至同一光谱库,将会产生数据的不一致性。如若处理不当,这种不一致性将会在光谱建模过程中被放大,最终
47、导致差的模型预测能力。大尺度光谱库的第二个问题是土样高度的异质性(如母质、矿物组成及理化属性)。这类异质性同样可导致土壤vis-NIR及MIR光谱曲线的巨大差异。此外,在实际应用大尺度光谱库时,土壤属性预测的需求往往落脚在小尺度区域(如精确农业中,估测土壤肥力及其田间变化)。因此,为了更有效利用光谱库,须选择和优化用于建模的样本子集。为有效解决此问题以提高建模精度,可采用更为先进的机器学习方法(如光谱相似度搜索和基于记忆的学习)及建模方式(如spiking结合额外权重)来从库中选取与待测土样相似的光谱数据,而非使用全库进行建模。这也就需要在建模之前对待测土样进行检验,看其是否落在光谱库的空间覆
48、盖范围内。若不在,则该样本的理化属性无法用库建模预测,而应采用传统的理化分析方法进行测定。该步骤可用主成分分析技术和绘制光谱库覆盖的椭球面实现。相关方法在Wadoux等(2021)的近期研究有相应描述。第三个问题是,大尺度光谱库因使用不同型号光谱仪测得而引入的仪器测量误差。参与整个库建设的不同实验室可能使用不同的仪器制造商或同一仪器制造商不同型号的仪器;而且,不同操作步骤、不同测试样本及不同实验环境(如温度、湿度及通风条件)也会对光谱测定引入较大的误差(Ge等,2011)。因此,需要制定统一的仪器操作和光谱采集的标准操作规程,并在各个研究团队中共享和推广,这将利于有效降低数据来源不同产生的误差
49、。同时也可通过模型传递方法,即用一台仪器上的校准模型来校正其它仪器的光谱数据来解决这一问题(Feudale等,2002)。尽管存在上述问题,在实际应用(精确农业和土壤碳固存等方面)中光谱库的建立为低成本、定量的土壤数据获取迈出了重要一步。例如,经密集采样后(如每英亩1个样本或每公顷2.5个样本),农民需绘制土壤肥力和pH分布图,以指导化肥和石灰的变量施用。对于较大面积的田块,土样总数将达数百个。结合vis-NIR或MIR土壤光谱库,只需用相应的光谱仪扫描土样便可以通过现有模型去估测土壤有机质及pH等土壤属性数据,这极大地节省了样品制备及化学分析的时间及成本。表2总结了现阶段在国家、洲及全球尺度
50、上建立的土壤光谱库。12表2 已发布的国家、洲和全球尺度土壤vis-NIR和MIR光谱库汇总。作者和年份尺度样本数理化指标备注可见近红外光谱Brown等,2006全球3768个美国,416个全球黏粒,有机碳,无机碳,铁,阳离子交换量,黏土矿物类别美国国家土壤调查中心-土壤调查实验室1988-1999年间的档案样本;ASD FieldSpecBrodsk等,2011国家(捷克)5223pH,阳离子交换量,总碳,无机碳,磷,钾,钙,镁捷克布拉格生命科学大学土壤科学与土壤保护系存档样本;ASD FieldSpec 3Viscarra Rossel和Webster,2012国家(澳大利亚)214932