基于级联高分辨率网络的活性污泥显微图像分割方法.pdf

第卷 第期沈 阳 化 工 大 学 学 报.收稿日期:基金项目:国家重点研发计划项目()年辽宁省高等学校创新人才支持计划、年高等学校基本科研项目重点项目()资助作者简介:赵立杰()女辽宁兴城人教授博士主要从事智能信息处理研究.文章编号:()基于级联高分辨率网络的活性污泥显微图像分割方法赵立杰 路星奎 陈 斌(沈阳化工大学 信息工程学院 辽宁 沈阳)摘 要:由于活性污泥显微图像固有的光晕、阴影等伪影以及絮状物和丝状菌多样性和结构性的不均匀性传统图像分割方法存在絮体和丝状菌欠分割和过分割的问题.笔者基于高分辨率网络()提出一种级联高分辨率网络()的活性污泥显微图像分割方法.该方法基于 网络框架通过特征金字塔构建级联的解码器结构利用低分辨率提取语义信息并中高分辨率恢复与细化边缘信息.引入多标签监督使反向传播更加平滑从而实现更准确的预测.通过引入加权交叉熵损失函数改善活性污泥显微图像分割中絮体和丝状菌样本类别不均衡的问题.真实污水处理厂活性污泥显微图像数据集图像分割实验结果表明:方法在鲁棒性和泛化能力方面好于、和 方法.关键词:污水处理 活性污泥 图像分割 高分辨率表征 级联结构:./.中图分类号:文献标识码:污水处理厂通常使用活性污泥法对污水进行生物处理生物处理的主体是微生物.活性污泥中出现大量丝状菌微生物絮体压实性能恶化沉降速率变慢污泥分离和回流困难引发污泥膨胀问题.丝状菌污泥膨胀一直是活性污泥污水处理系统最普遍又最棘手的问题之一.污泥膨胀不仅严重影响污水处理效果甚至会导致污水生物系统崩溃长达数月不能恢复.通常采用测定污泥体积指数()来判断活性污泥的沉降能力但是其测定步骤繁琐、耗时测量结果受主观影响较大.数字显微图像处理和分析为污泥沉降特性预测和早期丝状菌故障诊断提供有效手段.根据活性污泥数字显微图像提取的絮状物和丝状菌形态参数可估算污泥体积指数测量值.相差显微图像中微生物絮体与丝状菌的形态学特征是监视和诊断活性污泥膨胀的重要信息.传统图像分割技术包括基于阈值、边缘、区域、图论和能量泛函等方法.等提出顶帽和底帽滤波器增强、基于相位一致性的丝状菌鲁棒分割方法.等通过新的阈值化方法将图像灰度分为 类在经过阈值化的图像中分割絮体与丝状菌.这些方法需要手动设置阈值参数才能得到较为准确的分割结果.由于活性污泥显微图像中存在相差显微镜固有的光晕和阴影造成的微观伪影同时絮状物和丝状菌的多样性和结构不均匀性传统的图像分割方法很难准确地分割活性污泥相差显微图像导致活性污泥絮体和丝状菌欠分割和过分割.基于深度学习实现图像分割的方法可以改善传统图像分割方法特征提取时的复杂性与局限性.等利用卷积操作替代卷积神经网络中全连接层的思想搭建出全卷积神经网络()从而实现端到端的图像分割任务.第 期赵立杰等:基于级联高分辨率网络的活性污泥显微图像分割方法 等应用 结构实现了活性污泥相差显微图像絮体和丝状菌的自动分割.目前较为可行的图像分割网络大多利用分类网络逐步降低图像分辨率再逐步恢复分辨率得到图像分割结果.分类网络学习到的特征在本质上具有低分辨率的特点并且在分辨率上的巨大损失对空间精度敏感任务并不友好因此大多数的分类网络并不适用于区域层次与像素层次的问题.为弥补空间精度的损失相关学者提出在分类网络的基础上加入空洞卷积和特征融合等方法来提高表征的表达能力或在解码器阶段使用浅层语义信息补充空间损失例如、和 系列等.针对上述问题结合活性污泥相差显微图像中丝状菌与絮体的形态特点笔者提出了一种基于级联高分辨率网络的图像分割方法 该方法以 为编码器使用 的输出和预测结果搭建特征金字塔结构形成一种带有多尺度特征表达的解码器.在训练时使用多标签监督使反向传播更为平滑使用翻转等数据增强方式处理输入图像达到扩充数据量的作用使用预先训练好的模型参数作为 模型部分网络结构的初始化参数提升模型的收敛速度在计算模型损失时根据批量中各类别像素的分布情况生成类间权重系数作用于损失函数改善样本类间不均衡问题.模型框架 模型以 网络作为基础框架对其解码器结构进行改进.其中:作为特征提取的主干网络解码器部分由各阶段的特征与预测结果形成特征金字塔结构最后利用各阶段的预测结果纠正强化最终的预测结果.使用多标签监督方式对每个预测结果进行纠正保证各阶段预测的准确性.模型结构如图 所示.图 结构示意图 网络结构在 网络中以高分辨率表征作为基础逐步生成低分辨率表征过程中始终保持着高分辨率表征反复融合并行的各分辨率表征达到多尺度融合效果.首先通过 次跨步卷积使输入图像分辨率降低/作为 网络的高分辨率表征基础.其次以高分辨率表征作为第一阶段的输入经过 个残差单元最终输出深度为 的分辨率表征后续 个阶段分别包括、个由 个残差单元组成的基础模块 个阶段的分辨率表征深度依次为、和 每经过 个残差单元并行的各分支的分辨率表征使用类似全连接的方式相互融合实现多尺度的特征融合丰富高分辨率表征语义信息期间通过上采样完成分辨率匹配问题.最后对并行的各分辨率表征使用双线性插值上采样得到与高分辨率相同的尺度并依次与高分辨率表征融合最终通过 分类器生成分割预测图.残差单元如图 所示基础残差单元用于相对浅层的网络结构瓶颈残差单元用于相对深层的网络结构.瓶颈残差单元中 卷积的主要作用是升维和降维并且降低计算量保证输入输出维度的一致性.选择跨步卷积替代池化层进行下采样.池化操作虽然在一定程度上保证了图像平移不变性和旋转不变性但其也会破坏图像中 沈 阳 化 工 大 学 学 报 年姿态信息和空间等信息对区域层次、像素层次的计算机视觉任务有精度影响.跨步卷积虽然使模型的参数量增加却弥补了池化操作带来的信息损耗问题.图 残差单元 不同于以往分割方法中串联形成的深层低分辨率表征 中始终保持高分辨率表征而不是通过低分辨率表征恢复至高分辨率表征因此预测的结果在空间上更为精确.在相同网络深度的情况下反复地进行多尺度融合来提升各分辨率表征的表达能力进而加强高分辨率表征的语义信息使分割结果更准确.级联结构级联结构如图 所示将 的 个分支输出分别进行预测形成级联标签监督同时引入上一层的预测结果辅助本层完成预测最终完成在各个尺度上的预测.利用各个尺度上的预测结果辅助完成最终的预测同时使用损失权重作用于损失函数计算最终的损失值使预测结果更为准确.网络一、二、三、四分支在最后产生 个不同分辨率的输出从四分支开始进行预测得到分割预测图并计算损失.将三分支的输出与四分支的分割预测图进行融合并进行预测重复这个过程直至完成所有阶段的预测.将 个阶段的分割预测与 输出的特征融合在一起完成最终的预测.个分支形成级联形式的解码器结构共产生 个分割预测图与损失根据这 个分支损失的重要程度设定权重作用于损失函数达到多标签监督的作用.选择的权重系数从上到下依次为 、和 .这种级联结构的优势可以总结为以下几点:多标签监督使得梯度优化更平滑便于训练收敛根据这种渐变的特征融合与级联结构可以产生合理的预测结果低分辨率完成语义分割高分辨率帮助细化结果各分辨率在预测过程中起到不同作用使预测结果更为准确类似于光流法使用上一帧的特征来纠正下一帧的特征偏移纠正与强化各个位置的特征更有利于分割预测.实验结果和分析 活性污泥显微图像数据库活性污泥显微图像的采集样本来自于实际污水处理厂.实验过程中使用彩色 相机的相差显微镜采集活性污泥显微图像 相机 第 期赵立杰等:基于级联高分辨率网络的活性污泥显微图像分割方法 输出的图像尺寸为 像素.经过筛选最终选择有代表性的 张图像进行标定作为活性污泥显微图像数据集.将数据集按照 的比例划分为训练集和测试集训练集与测试集之间没有交叉重叠如图 所示分别显示活性污泥显微图像数据的原始图像、标注图像.活性污泥显微图像中包含 类:絮体类、菌丝类和背景类.絮体类与菌丝类是需要检测分割的目标也称为正类背景类被称为负类.图 活性污泥相差显微图像 实验设备与参数设置本文实验基于 框架显存为 的 显 卡 操 作 系 统 为 .使用交叉熵损失函数计算损失使用 优化器进行参数优化 初始学习率为 使用余弦式的学习率衰减策略迭代次数为 阶段性保存最优模型.为了扩充实验数据集笔者采用数据增强的方法并确保标注图像与原始图像使用相同的图像处理方法以保持数据的一致性.在本次实验中采用了简单的数据增强策略:以 的概率对图像进行上下、左右旋转同时以 的概率进行图像剪裁剪裁的区域面积占原始图像面积的.预训练模型笔者使用在 数据集上训练得到的参数作为 模型中部分网络层的初始化参数.这些预训练模型中的一些浅层特征参数比如颜色和边缘特征等对提升网络模型的性能与加快收敛速度起到重要作用.评价指标实验使用像素精度()和平均交并比()作为判断图像分割模型性能好坏的标准.().()式中:、和 分别表示菌丝絮体像素正确分类数目、背景像素正确分类数目、背景像素错误分类数目和菌丝絮体像素错误分类数目 和 分别表示标签数据和预测结果.为分割结果中正确分类的像素占总像素的比例为语义分割标准度量表示预测结果与真实标签的交集与并集之比.分析与讨论活性污泥图像分割测试结果如图 所示分别为 、预测结果.从图 可以看出:算法的分割效果明显优于其他网络的分割效果 网络预测结果存在明显的预测错误情况 网络预测结果受空洞卷积的棋盘效应影响在分割结果的细节位置存在断续上述问题在 与 中得到明显的改善并且 对预测结果的细节更准确对 预测中的断续与不准确进行了纠正.实验结果表明高分辨率表征对分割效果有较好的提升实验数据结果如表 所示.从 和 平均值来看 相较于 、和 均有一定提升 分别提升 、和 分别提升 、和 .从单目标的分割结 沈 阳 化 工 大 学 学 报 年果来看 对于丝状菌这类目标的分割效果提升较为明显 方面分别提升 、.虽然 算法的分割效果优于其他算法但模型对丝状菌的分割结果与絮体相比还存在不小的差距这也说明活性污泥显微图像中虽然类别数量不多但是分割难度较大.根据表 结果来看分析可能存在以下问题:受丝状菌样本量较少、标注不细致的影响虽然使用带有类别权重的损失函数提升模型对于丝状菌的关注缓解样本较少这一问题但是模型效果极大程度上受限于数据本身由于分割网络总会存在下采样导致小目标的语义信息丢失使丝状菌的分割结果与絮体间存在明显差距.因此后续工作需要重新思考模型的结构特点与数据的关系增加丝状菌数据提高标记质量.图 絮体和丝状菌图像分割结果比较 第 期赵立杰等:基于级联高分辨率网络的活性污泥显微图像分割方法 表 评价指标结果 方法絮体丝状菌平均值絮体丝状菌平均值 结 论基于活性污泥相差显微图像分割存在的过分割和欠分割问题提出一种基于深度学习的絮体和丝状菌分割模型.该模型以高分辨率表征为基础利用 的输出预测产生多尺度的特征表达形成一种级联形式的解码器结构.通过多标签监督使反向传播更为平滑预测更为准确.其中:低分辨率获取语义信息中分辨率和高分辨率分支进行边缘的恢复与细化完成对活性污泥相差显微图像中絮体与丝状菌的语义分割任务.由于活性污泥图像中丝状菌与絮体样本类别存在不均衡的问题引入带有类别权重的损失函数改善丝状菌分割精度低问题.实验结果表明 方法在絮体和丝状菌分割效果上均优于 、和 算法具有良好的鲁棒性与准确性.参考文献:张秋卓徐亚同周扬等.废水处理与水环境保护.净水技术():.:.():.(/):.():.():./().:./.:.:/.:.:/.:.:.():./()沈 阳 化 工 大 学 学 报 年:./():./:.:.():.:.():.():.()()./.: