基于机器视觉的矿石块度智能识别及应用.pdf

第 卷第期 年月矿冶M I N I N GAN D ME TA L L UR G YV o l ,N o A u g u s t d o i:/j i s s n 基于机器视觉的矿石块度智能识别及应用朱颖舟汪晓春陆 博刘道喜(安徽铜冠(庐江)矿业有限公司,安徽 合肥 ;矿冶科技集团有限公司,北京 )摘要:给矿粒度特性以及矿石可磨性对半自磨过程的影响远大于常规碎磨流程,通过对给矿皮带上矿石图像进行矿石粒度特性分析,可从给矿源头上实现矿石块度实时检测.基于多尺度的矿石图像分析系统,实时采集半自磨给矿矿石图像,通过图像处理技术,实现矿石块度有效分割以及粒级统计,为半自磨给矿矿石块度控制提供数据支撑.关键词:机器视角;半自磨机;矿石块度;图像分析;智能识别中图分类号:T P 文献标志码:A文章编号:()I n t e l l i g e n t i d e n t i f i c a t i o na n da p p l i c a t i o no fo r e s i z ed i s t r i b u t i o nb a s e do nm a c h i n ev i s i o nZ HUY i n g z h o uWANGX i a o c h u nL UB oL I UD a o x i(A n h u iT o n g g u a n(L u j i a n g)M i n i n gC o L t d,H e f e i ,A n h u i,C h i n a;B G R I MM T e c h n o l o g yG r o u p,B e i j i n g ,C h i n a)A b s t r a c t:T h ei m p a c to ff e e dp a r t i c l es i z ec h a r a c t e r i s t i c sa n do r eg r i n da b i l i t yo nt h es e m i a u t o m a t i cg r i n d i n gp r o c e s s i sm u c hg r e a t e rt h a nt h a to fc o n v e n t i o n a lc r u s h i n ga n dg r i n d i n gp r o c e s s e s B ya n a l y z i n gt h eo r ep a r t i c l es i z ec h a r a c t e r i s t i c so f t h eo r e i m a g e so nt h e f e e db e l t,r e a l t i m ed e t e c t i o no fo r eb l o c ks i z ec a nb e a c h i e v e d f r o mt h e f e e ds o u r c e B a s e do nam u l t i s c a l eo r e i m a g e a n a l y s i s s y s t e m,r e a l t i m e c o l l e c t i o no fs e m i a u t o m a t i c g r i n d i n g o r ei m a g e si sa c h i e v e d T h r o u g hi m a g e p r o c e s s i n g t e c h n o l o g y,e f f e c t i v es e g m e n t a t i o no fo r eb l o c ks i z ea n d p a r t i c l es i z es t a t i s t i c sa r ea c h i e v e d,p r o v i d i n g d a t as u p p o r tf o rc o n t r o l l i n gt h eb l o c ks i z eo f s e m i a u t o m a t i cg r i n d i n go r e K e yw o r d s:m a c h i n ev i s i o n;s e m i a u t o g e n o u sm i l l;o r e l u m p i n e s s;i m a g e a n a l y s i s;i n t e l l i g e n t i d e n t i f i c a t i o n收稿日期:基金项目:国家重点研发计划项目(Y F C )第一作者:朱颖舟,学士,工程师,主要从事选矿自动化及优化控制工作.E m a i l:q q c o m通信作者:陆 博,硕 士,正 高 级 工 程 师;E m a i l:l u_b ob g r i mm c o m矿物加工过程中,矿石的粒度信息是破碎效果评价的重要指标.破碎皮带上矿石粒度信息与破碎机工作状态相关,准确、高效地对破碎过程矿石块度分布的检测是碎磨优化的基础.一般而言,皮带的矿石产品可以分别视为前一作业的产品和后一作业的原料来源,合理调配给矿下料口宽度和给矿量可以平衡给矿负荷,降低后一流程作业的扰动,提高系统的稳定性.采用皮带矿石粒度分析系统,对采集的皮带矿石图像进行处理,提取图像中矿石的轮廓边缘,可统计出皮带上矿石的粒级分布与组成,从而实现对破碎过程关键指标的评估与评价,进而实现设备、流程的优 化 控 制,是 一 种 简 单、有 效 的 图 像 处 理 系统.但因矿石图像的边缘轮廓不清晰,矿石颗粒间往往没有清晰明显的边界,肉眼对矿石图像分割往往会“脑补”不同连接方法的轮廓,从而造成分割线缺失或过分割;图像中前景与背景的划分不明晰,前景往往被认为是大块矿石,背景为粉末矿石,前景与背景之间的分割阈值也很难选取;矿石在皮带上的明亮度受补加光源、矿石性矿冶质、含水率以及粉末包裹程度等多方面影响,图像的对比度与信息熵不强,分割的难度较高;此外,经过皮带的振动,虽然存在大块矿石靠近外表面,粉矿靠近皮带表面的趋势,但仍然有一些较大粒径的矿石覆盖在粉矿之下,对图像处理造成障碍.为了解决这些应用过程中的技术难点,作者所在团队设计了一套多尺度的矿石图像分析系统,该套系统可用于解决半自磨球磨破碎机流程中复杂 回路的矿 石颗粒粒级 测 定 困 难 问题.本文基于多尺度皮带矿石图像分割技术,采用矿石块度分析仪通过彩色摄相机、深度摄相机实时获取给 矿皮带中 矿石粒度多 尺 度 图 像 信息,对矿石粒度图像处理分析,采用彩色、深度信息相融合,以期得到较为准确的矿石粒级分布信息.通过对矿石块度分布据进行量化、计算合成,在参数规则设计下连续的输出所需参数,从而实现对选矿 厂破碎过 程关键指标 的 评 估 与 评价,为智能专家系统提供了关键参数,进而实现设备、流程的优化控制.基于多尺度皮带矿石图像分割技术 彩色图像预处理受限于能耗及多方面考量,皮带矿石图像系统的照明系统由一对 W的工业L E D作为辅助光源,用于彩色图像的补充照明.尽管已经形成了超过 l u x的表面照度,为了克服高速皮带所带来拖影,系统仍采用小于 s的曝光时间以保证图像边缘清晰.基于此,需要通过图像增强技术对彩色图像进行照度复原,以便形成良好的视觉效果.矿石块度图像在成像过程中,不可避免的会存在照度不均匀的问题,阴影区域作为几乎纯黑色的背景应该在图像处理过程中被消除.同态滤波是解决照度对比度不强的重要手段之一.其照射反射模型如式所示.I(x,y)Il(x,y)Io(x,y)()式中,x、y分别代表图像中的像素坐标;I、Il、Io分别代表原始灰度图、低频照度分量和高频反射分量.两个分量相乘在在频率域不可分,因此需要通过傅里叶变换将点乘两个分量非线性映射为加的方式以便进行滤波器设计.即采用对输入图像对数变换、傅里叶变换、滤波、傅里叶逆变换、指数变换对图像进行数字信号处理,从而实现同态滤波.其指数变换后的傅里叶变换可以等价于式的表达式.l nI(x,y)l nIl(x,y)l nIo(x,y)I(u,v)Il(u,v)Io(u,v)()式中,u、v代表傅里叶变换后的图像频域算子.由于暗区中的反射成分相对较弱,实现均匀图像照明的一个简单概念是增强高频反射成分并抑制低频照明成分.以上这些方法是使用对数强度傅立叶域中的高通滤波器实现的.通过依次应用逆傅里叶变换和指数函数重构过滤后的反射成分,原理上类似于高通滤波器,因此通常采用优化的高斯高通滤波器作为同态滤波器,如式所示.H(u,v)(RhRl)e x pcD(u,v)/Dn Rl()式中,Rh表示高频增益;Rl表示低频增益;D表示截止频率;常数c控制坡面锐化程度;n表示滤波器的阶数.在实践过程中,Rh;Rl ;D ;c;n.在完成频域滤波后,将图像按照式方法进行逆变换,即可得到同态滤波后的增强图像.I(x,y)e x pF H(u,v)I(u,v)()由于采用图像滤波方法会对图像造成图像模糊,使得边缘信息变弱或者消失,因此针对矿石图像处理,需要采 用 一 种 对 边 缘 信 息 保 留 的 算法,以便增强图像对比度,改善图像条件,提升分割准确性的方法.双边滤波是一种综合考虑滤波器内图像空域信息和滤波器内图像像素灰度值相似性的滤波算法,可以实现保留区域内的噪声去除、对局部边缘的平滑.双边滤波的数学表达式如式所示.g(i,j)k,l f(k,l)(i,j,k,l)k,l(i,j,k,l)()式中,(i,j,k,l)为加权系数,取值为空域滤波器和值域滤波器的乘积,两个滤波器的对应表达式分别为:d(i,j,k,l)e x p(ik)(jl)d()r(i,j,k,l)e x p f(i,j)f(k,l)r()两者相乘后,双边滤波器可表示为:(i,j,k,l)e x p(ik)(jl)df(i,j)f(k,l)r()朱颖舟等:基于机器视觉的矿石块度智能识别及应用在工程应用中,滤波器的直径设置为,滤波器的标准差设置为,滤波器滤波对矿石的内部纹理产生抑制作用,用以削弱内部边缘对分割造成的干扰.图像增强前后图如图所示.图图像增强后的对比图F i g C o n t r a s tm a p so fb e f o r ea n da f t e r i m a g ee n h a n c e m e n t 深度图像预处理区别于彩色图像,深度图是表征皮带上矿石到传感器的空间位置信息,反映矿石叠落程度以及在Z方向区分矿石大小的技术手段,因此深度图具有更准确的边缘轮廓表征能力.当然,由于本文采用的是T O F型深度相机,拍摄高速运动物体表面会产生因信号无法反射回探测器的盲区,一般情况下,图像处理传感器会采用插值法进行补偿,但由于盲区的面积、视距等诸多因素,差值方法对于矿石移动方向后的阴影无法完全补偿,导致深度图中有较多的“野值点”需要处理.中值滤波就是采用滤波器范围内所有像素值中值来替代滤波器中心像素值的方法,是一种基于排序理论的有效抑制信号噪声的非线性信号处理方法,该方法是将滤波器内所有像素值按照大小排序排列,选取排序序列中值作为滤波器中心处阴影像素的新像素值,之后滤波器移动到下一个位置,重复进行排序,直至所有像素点都被滤波器对应输出完成.中值滤波不依赖于滤波器内典型值差别很大的值,因此对于类似于阴影的斑点噪声和椒盐噪声的处理具有很好的结果.中值滤波计算如图所示.图中值滤波示意图F i g S c h e m a t i cd i a g r a mo fm e d i a nf i l t e r深度图像在完成中值滤波之后,由于深度图像包含了较为完整的边缘轮廓信息,需要对目标物体进行边缘检测.图像中的边缘是指图像灰度值变化剧烈的区域,如果将图像中每一行像素和每一列像素都描述成灰度值函数,那么灰度变化趋势可以沿对应方向的导数进行替代性描述.当函数值突然变大时,导数也会剧烈变动;对应平缓区域导数值会较小.因此,图像的梯度变换不仅与边缘变化程度相关,还与方向相关.一般情况下,采用、三个方向可以表达所有变化方向.由于传统变换都具有方向性,主要是L a p l a c i a n算子具有各方向同性的特点,能够对任意边缘提取,适合于皮带矿 石 的 随 机 叠 落 的 工 业 场 景.本 文 采 用L a p l a c i a n算子对一般性梯度算子进行替代.L a p l a c i a n(f)f xf y()一般地,采用通用算子约简模式,L a p l a c i a n算子取值为:矿冶进一步,由于半自磨球磨破碎机(S A B C)皮带矿石的特殊性,其最大块在Z轴的分布不超过 mm,因此,在图像边缘信息提取完成之后,可以将 位的深度图像映射到位的区间内进行分析,这样做的优势在于不牺牲传感器的精度的同时还可 以 简 化 计 算 量,加 快 图 像 处 理 速度.经过线性变换后的矿石皮带及空皮带如图所示.图经过线性变换后的矿石皮带及空皮带F i g O r eb e l t a n de m p t yb e l t a f t e r l i n e a r t r a n s f o r m a t i o n 深度神经网络设计采用两种原始图像作为输入,因此需要在两种不同的图像中进行图像分割,从而获得矿石的颗粒组成.首先,对彩色深度图像对应的灰度图进行二值化,在大块矿石处理中,我们将矿石部分视为前景,即是二值化的;反之,碎石及皮带部分视作背景.在完成彩色图像和深度图像对采集后,将彩色图像C和同步的深度图像D进行同步截取,截取的列像素为n,于是得到了mn的R G B图像和mn 的深度图像.基于图所示的彩色深度图像对的卷积神经网络模型进行训练.图彩色深度图像对的卷积神经网络模型F i g C o n v o l u t i o n a l n e u r a ln e t w o r km o d e l o f c o l o ra n dd e p t hi m a g ep a i r朱颖舟等:基于机器视觉的矿石块度智能识别及应用在R P N的二阶识别网络中多采用交叉熵损失(B C E l o s s)作为损失函数,然而由于该函数在主要类别上表现不佳,通常会导致回归结果更接近与主要类别.尽管修改不同类别的权重在一定程度上解决了这个问题,但随之而来的是罕见类别标注的细微 噪声 被 放 大,从 而 影 响 模 型 训 练 精度.D i c e系数是一个众所周知的神经网络度量,可以有效的评估真值与回归结果之间的误差.当然已有多个证明得出D i c eL o s s在小目标预测中是不利的,在此基础上G e n e r a l i z e dD i c eL o s s(G D L)被提出是一种有效的损失函数(式)在一些神经网络模型中使用.G D LlwliXng(i)lp(i)llwliXng(i)lp(i)l()式 中,g(i)l表示类别l在第n个位置真是像素类别;p(i)l表示对应的预测类别值;wl表示类别的权重,这里等于(iXng(i)l),作为防止分母除的极小值.为此,神经网络采用带有动量的随机梯度下降(S t o c h a s t i cg r a d i e n td e s c e n tw i t hm o m e n t u m)进行优化,其表达式为:vtvt d e cmd e cLd e c(),tt vt()式 中,md e c、d e c、分别表示最小训练样本数、优化动量、学习率以及模型参数集.将彩色深度图像的实时捕获图像经过预处理之后,输入到已训练好的模型中,模型得到最终的标注结果,从而实现大块矿石区域的提取与分析.彩色深度图像对分析结果如图所示.图彩色深度图像对测试结果F i g C o l o ra n dd e p t hi m a g ep a i r t e s t r e s u l t s 实验及评价方法 基于多维特征矿石粒径统计方法采用罗森拉米勒 分布方式对上述颗粒进行统计,该统计方式符合选回破碎机、颚式破碎机、对辊等破碎产物的粒级分布.在对数坐标系下,取两次对数可得:l o gl o g R(Dp)ml o gDpDel o g l o geml o gDpC()式 中,m为均匀性系数,表示粒度分布的宽窄程度.m值越小,说明粒度分布越广,对于微粒及粉碎产品,m.D e为特征粒径,R(Dp)是正累积重量百分数.C在对数坐标系作图中为一条直线.由于两种方法均取得了统计结果,作为优化控制而言,两种的趋势经过验证已经达到了一致,由此可以分析出统计方法与计算结果适用于本文研究,进一步证明了矿石图像分析测量皮带矿石粒度的有效性.矿石分割评价指标测试 结 果 评 价 采 用 收 敛 轮 次 的 平 均 类 别精度(mA P)来进行考量.mA P用于评价模型的准确程度,由于本应用中目标识别的类别(矿石)只有一类,因此,采用不同矿石粒级作为评价指标.m A PniP(i)r(i)N ()式 中,N为类别数目,P(i)为能识别出第i矿冶类的准确率,r(i)为能识别出第i类的召回率.工业应用及试验结果 试验结果分别对模型训练数据集进行划分及模型训练,分为模型A、B、C、D,具体如表.表训练测试数据集说明T a b l eT r a i n i n gt e s td a t as e t类别数据集描述数量A原始彩色图像 B原始深度图像 C彩色深度图像 D彩色图像深度图像m o s a i c数据增强翻转手性数据合成 对上述训练集中已标注好的图片随机分组,采用折交叉验证对数据进行训练.训练初始化权重采用I m a g e N e t的预训练模型作为迁移学习的初始化参数,训练的学习率l r e ,最小学习率为 e .单次训练样本数为.模型D的训练损失曲线如图所示.图模型D的训练损失曲线F i g T r a i n i n gl o s sc u r v eo fm o d e lD为了验证上述模型对彩色深度图像模型的测试精度,针对不同的数据集分别进行了测试及分析,设计了种试验对模型进行校验.在对测试集的数据测试进行数据分析与测试.由于矿石的大小差异较大,本文主要关注与大中块矿石的分割准确性.我们选取、mm三个阈值来划分大中小块,mm以下直径颗粒视作粉矿.不同粒级条件下的A P/mA P对比结果见表,A P指模型平均精度.由表可知,采用数据集D训练生成的模型D对于测试集的准确性最高,且大块矿石的识别率最好.表不同粒级条件下的A P/m A P对比T a b l eC o m p a r i s o no fA P/m A Pu n d e rd i f f e r e n tp a r t i c l es i z e f r a c t i o n s/类别ABCD小块 A P中块 大块 m A P 工业现场应用通过现 场 实 际 分 析,基 于 工 艺 设 计 确 定 大块物理尺寸为 mm,基于该参数设计像素尺寸,并在线实 时 检 测 大 块 个 数,统 计 分 布 特性.通过数据分 析 并 结 合 实 际 应 用,分 析 一 段时间矿石块度大块个数的统计直方图(图),确定基于大块个数 将矿石块度 状态分为表所 示的几种状态.表矿石块度状态描述T a b l eD e s c r i p t i o no fo r ep a r t i c l es i z ed i s t r i b u t i o n状态说明备注L粉矿大块个数 N正常 大块个数 H大块多大块个数 图大块个数的统计直方图F i g S t a t i s t i c a lh i s t o g r a mo f t h en u m b e ro f l a r g eb l o c k s朱颖舟等:基于机器视觉的矿石块度智能识别及应用 基于多维特征矿石粒径统计方法通过对给矿皮带上矿石图像进行矿石的粒度特性分析,从给矿源头上实现矿石块度实时检测,给予给矿优化控制系统前馈.当矿石块度检测到皮带上大块较多时,可以提前适当减少处理量或者调整矿石块度组成,即重新分配给料机频率.当功率在上升阶段,给矿中大块较多时,需要提前降低给矿量,实现基于矿石块度前馈控制;同时,通过重新分配个重板给料机给矿频率,实现矿石块度重新调整,同时配合降低给矿量,实现功率的稳定;当功率下降或者重新稳定后,以皮带两侧对称均匀给矿为优化目标,重新调整给矿机频率分配.当功率开始下降,粉矿较多,调整矿石块度分配,分配原则增大大块矿石比例.结论矿石粒级(块度)分布是一个表征碎矿状态的关键检测工艺参数,对于矿石性质变化频繁的选矿厂,实现矿石块度实时在线检测对实现半自磨流程的稳定控制十分重要.基于矿石块度分析仪通过彩色摄相机、深度摄相机可实时获取给矿皮带中矿石粒度多尺度图像信息,通过对矿石粒度图像处理分析,采用彩色、深度信息相融合,最终可得到较为准确的矿石粒级分布信息.通过对矿石块度分布据进行量化、计算合成,在参数规则设计下连续的输出所需参数,可实现对选矿厂破碎过程的关键指标的评估与评价,为智能专家系统提供了关键参数,进而实现设备、流程的优化控制.参考文献张大 蔓基 于 图 像 分 割 的 破 碎 颗 粒 粒 度 分 布 检测D长沙:湖南师范大学,Z HAN GD MP a r t i c l es i z ed i s t r i b u t i o nd e t e c t i o no fb r o k e np a r t i c l e sb a s e do ni m a g es e g m e n t a t i o nDC h a n g s h a:H u n a nN o r m a lU n i v e r s i t y,梁栋华,张国英,于飞B O S A 矿石粒度图像分析仪的研究与应用C西安:中国计量协会冶金分会 年会暨全国第十六届自动化应用技术学术交流会论文集 :L I ANGD H,Z HAN G G Y,YU FR e s e a r c ha n da p p l i c a t i o no fB o s a I o r ep a r t i c l e s i z e i m a g e a n a l y z e rCX i a n:p r o c e e d i n g so f t h e m e e t i n go fm e t a l l u r g i c a lb r a n c ho fC h i n a m e t r o l o g ya s s o c i a t i o na n d t h e t h n a t i o n a l a u t o m a t i o n a p p l i c a t i o nt e c h n o l o g ya c a d e m i ce x c h a n g em e e t i n g :胡健,王伟,刘太和,等一种改进的破碎口矿石图像分割算法J物联网技术,():HUJ,WAN G W,L I U T H,e ta l A ni m p r o v e di m a g es e g m e n t a t i o n a l g o r i t h m f o ro r ea tc r u s h i n gm o u t hJI n t e r n e to fT h i n g s T e c h n o l o g y,():陆博,周俊武,王焕钢,等一种矿石颗粒的分割方法:BP L UB,Z HOUJW,WAN G H GA m e t h o do fo r ep a r t i c l e s e g m e n t a t i o n:BP 张勇傅里叶变换在数字图像处理中的应用J廊坊师 范 学 院 学 报:自 然 科 学 版,():Z HANG YA p p l i c a t i o n o f F o u r i e rt r a n s f o r m i nd i g i t a li m a g ep r o c e s s i n gJJ o u r n a lo f L a n g f a n gN o r m a lU n i v e r s i t y:N a t u r a lS c i e n c eE d i t i o n,():张闯,迟健男,张朝晖,等基于边缘检测与双边滤波的彩色图像去噪J电子学报,():Z HANGC,CH IJN,Z HANGC H,e ta l C o l o ri m a g ed e n o i s i n gb a s e do ne d g ed e t e c t i o na n db i l a t e r a lf i l t e r i n gJA c t aE l e c t r o n i c aS i n i c a,():万军,徐汀荣基于L a p l a c i a n算子的图像边缘检测方 法 研 究 J现 代 电 子 技 术,():,WANJ,X UTRR e s e a r c ho n i m a g e e d g ed e t e c t i o nm e t h o db a s e d o n L a p l a c i a n o p e r a t o rJ M o d e r nE l e c t r o n i cT e c h n o l o g y,():,徐胜军,韩九强,刘光辉基于马尔可夫随机场的图像分 割 方 法 综 述 J计 算 机 应 用 研 究,():XUSJ,HANJQ,L I U G HO v e r v i e wo f i m a g es e g m e n t a t i o n m e t h o d s b a s e d o n M a r k o v r a n d o mf i e l dJC o m p u t e r A p p l i c a t i o n R e s e a r c h,():齐丽娜,张博,王战凯最大类间方差法在图像处理中 的 应 用 J无 线 电 工 程,():,Q IL N,Z HAN G B,WAN G Z KA p p l i c a t i o no fm a x i m u m i n t e r c l a s s v a r i a n c e m e t h o d i n i m a g ep r o c e s s i n gJR a d i o E n g i n e e r i n g,():,刘建,姚海飞,金龙哲,等基于罗森拉姆勒分布函 数 的 粉 尘 分 散 度 分 析 J工 程 科 学 学 报,():L I UJ,YAO HF,J I NLZ,e ta l D u s td i s p e r s i o na n a l y s i sb a s e do nR o s e nR a m l e r d i s t r i b u t i o n f u n c t i o nJJ o u r n a lo f E n g i n e e r i n g S c i e n c e,():(编辑:王爱平)