一种胶片档案斑块破损掩膜提取算法.pdf

第4 1卷 第4期 佳 木 斯 大 学 学 报(自 然 科 学 版)V o l.4 1N o.4 2 0 2 3 年0 7月 J o u r n a l o f J i a m u s iU n i v e r s i t y(N a t u r a lS c i e n c eE d i t i o n)J u l y 2 0 2 3文章编号:1 0 0 8-1 4 0 2(2 0 2 3)0 4-0 0 1 6-0 6一种胶片档案斑块破损掩膜提取算法张旭生,陈国栋*,佘明磊,陈子健,戴振国(福州大学,福建 福州3 5 0 1 0 8)摘 要:针对胶片档案影像在尺寸大且斑块破损小又多的情况下,需要遍历整张图片才能提取出斑块破损掩膜的问题,提出了帧差法和视觉显著图法相结合的胶片档案斑块破损提取方法。先对输入的胶片档案影像利用帧差法提取出可疑区域,接下来只需对可疑区域像素点,运用视觉显著图方法再进行二重阈值判定,最后将所有像素点判定结果汇总便得到一张二值化的斑块破损掩膜图。实验结果表明:此算法无须计算整帧图像的视觉显著图,就能将破损斑块掩膜较为完整地提取出来,并能兼顾算法效率和误检率。关键词:视觉显著图;帧差法;斑块破损;胶片档案中图分类号:T P 3 9 1 文献标识码:A0 引 言胶片档案,指的是以胶片为载体的影像资料。随着数字技术的发展,越来越多的影像资料被数字化并存储在电脑或网络上。由于之前技术的限制,胶片在数字化之前没有得到适当的处理和保护,使得胶片在长时间的储存和使用过程中容易受到氧化、紫外线、湿度、温度等因素的影响而造成胶片损坏,使得数字化后的胶片档案影像个别帧图像存在斑块破损。通过对破损斑块进行检测修复能提高胶片档案的可用性并发挥其价值。关于破损斑块的研究经常需要用到帧差法,用二帧图像做帧差通常漏检率较高1,因此三帧差法用的较多。K o k a r a m等人在帧差法基础上引入了运动补偿,通过对前后帧进行运动补偿来减少像素运动所带来的误差,提出了S D I算法2。但需要根据选定的运动估计算法选择合适的阈值。R O D算法3运用统计学的思想,对运动补偿后的待检测帧和前后帧选取的像素按照大小进行排序,若R O D求出的等级差分值大于其中任意一个阈值,则认为存在斑块破损,但是该算法计算量大,不适合大数据量的检测任务。K o k a r a m等人提出了一种基于马尔科夫随机场模型的斑块检测理论4,核心思路是在前后帧和当前待检测帧中,使得斑块掩膜出现的概率最大化。但这种检测算法整体计算量较大,算法复杂度高,在检索的速度上不高。上述的斑块破损检测经典算法中,需要对待检测帧和相邻帧进行运动估计5,6和运动补偿处理,这对运动估计和运动补偿的精确性要求较高,在复杂场景下运动估计和运动补偿的难度往往较大,会引起斑块检测的误检性变高。近年来,许多学者运用视觉显著图对图像进行估计研究7,8,视觉显著性模型通过模拟人类的视觉,可以体现出视觉中最突出的区域,这些区域称为“显著区域”,斑块在胶片档案中给视觉上最直观的感受就是十分显著。因此,研究中将在帧差法基础上引入视觉显著图9用于斑块破损检测。1 斑块破损掩膜提取算法1.1 算法流程步骤对于数字化的胶片档案影像,其损伤的特征通常有以下特征:(1)胶片的损伤通常是随机的。即使两帧胶片收稿日期:2 0 2 3-0 5-0 4基金项目:国家自然科学基金资助项目(6 1 4 7 1 1 2 4);福建省科技计划引导性项目(2 0 2 1 H 0 0 1 3);福建省科技型中小企业创新资金项目(2 0 2 1 C 0 0 1 9)。作者简介:张旭生(1 9 9 9-),男,硕士,研究方向:计算机图形图像处理、深度学习。通讯作者:陈国栋(1 9 7 9-),男,副研究员,博士后,研究方向:计算机图形图像处理、计算机仿真技术、深度学习。第4期张旭生,等:一种胶片档案斑块破损掩膜提取算法在同一拍摄场景下拍摄,也不会出现完全相同的损伤情况。(2)扫描质量的影响通常是局部的。数字化过程中的扫描质量问题可能会影响胶片上的一部分区域,而不是整张胶片。因此,即使相邻两帧胶片中的同一区域都存在扫描质量问题,它们的具体表现可能也会不同。(3)数字化后的影像可能会受到存储介质的磁场、电磁波等各种干扰,这些干扰通常是随机的,因此也会导致不同帧之间斑块和破损的位置不同。因此,斑块破损通常不会同时发生在相邻两帧的同一位置,在待检测帧的视觉显著度上,斑块区域视觉显著度明显而相邻帧在该区域的视觉显著度不明显。本文将帧差法和视觉显著图法两种方法相结合便能取得良好的掩膜提取效果。同时在对帧图像进行破损检测时,只需要对帧差法得到的可疑区域进行视觉显著图计算,而无需对整帧图像进行视觉显著图计算,此方法在减少了斑块破损检测的计算量。算法流程图如图1所示。算法步骤如下:输入:斑块破损图像;输出:所提取的斑块破损掩膜图像;S t e p 1:对输入的胶片档案斑块破损图像的当前帧图像及其相邻帧采用帧差法对斑块破损区域进行初步预测:选定合适的阈值提取出可疑区域,并对可疑区域进行二值化处理;S t e p 2:计算当前帧可疑区域二值化处理后所得图像的两种视觉显著图;S t e p 3:对计算所得显著图的可疑区域的每一像素进行阈值判定。若没超过阈值则该像素不为破损像素,选择下一像素重新执行当前步骤。若超过阈值则计算相邻两帧像素块的显著度,并标定相邻帧超过阈值的像素块;S t e p 4:对被标定相邻帧的像素块进行各自计数并对计数结果再次进行阈值判定。若相邻帧计数的像素块个数不都小于阈值则该像素不为破损像素。若相邻帧计数像素块个数都小于阈值则认定该像素为破损像素;S t e p 5:继续执行步骤S t e p 3直至遍历显著图的所有可疑区域像素点;S t e p 6:最后将遍历显著图后所有破损像素进行整合,输出所提取的斑块破损掩膜图像。1.2 镜头边界检测和相邻帧的选取R G B颜色直方图是用于分析图像的强有力的工具,它提供了有关图像颜色分布的重要信息,还能通过颜色直方图的形状可以显示图像的亮度、对比度、色彩平衡等属性。如果两张图像的颜色直方图非常相似,那么它们很有可能是同一张图像或者是相似的图像。由于一段镜头内部视频序列在颜色等信息上具有比较强的相关性,颜色变化不是很明显,而在镜头变换时颜色信息通常会有很大变化1 0。一段胶片档案影像一般由多个镜头组成,将一段镜头的开始和结束帧分为头帧和尾帧,上一段镜头的尾帧和下一个镜头的头帧之间像素差别大,颜色信息变化也较明显,这种变化可以从R G B颜色直方图的变化体现出来。图1 算法流程图因此针对一段镜头的头帧将选取其连续后两帧作为相邻帧,尾帧将选取其连续前两帧作为相邻帧。采用基于R G B颜色直方图的视频突变镜头边界的检测办法1 1,对输入的视频序列求其R G B分量的颜色直方图,并计算前后帧颜色直方图的帧间差,通过 统计相邻帧 的三维颜色 值直方图差 值z(k,k+1)来判定镜头是否为边界镜头:z(k,k+1)=1NNRR-0NCG-0NSB-0Hk(r,g,b)-Hk+1(r,g,b)(1)其中,z(k,k+1)表示帧间差,N为颜色为R G B的像素总数,HK,HK+1为相邻帧的R G B颜色直方图。图2为胶片档案中所选取的上一段镜头的尾帧和下一个镜头的头帧图以及其各自的颜色直方图,由图2可知两帧图像的颜色直方图统计分布规律差别较大,判定为边界镜头。1.3 帧差法帧差法是一种基于视频序列的运动检测方法,它通过比较相邻帧之间的像素值差异来检测视频中的运动目标。其基本思想是当一个运动目标进71佳 木 斯 大 学 学 报(自 然 科 学 版)2 0 2 3年入画面时,它会导致相邻帧之间像素值的变化,这些变化可以通过计算相邻帧之间的差异来检测。本文所采用的帧差法是根据斑块破损帧及其前后帧,共三帧图片的帧差来检测斑块破损的方法,主要依据视频序列中的前后帧像素运动较小和斑块在前后帧空间不连续的特性,能够快速检测出待检测帧中斑块的位置。(a)镜头边界帧画面一 (b)镜头边界帧画面二(c)帧画面一颜色直方图 (d)帧画面二颜色直方图图2 镜头边界帧的颜色直方图先将斑块破损待检测帧图像及其前后图像和其后一帧图像转换为灰度图像,再利用式(2)做帧差取得第t帧和第t-1帧的帧差rb、第t帧和第t+1帧的帧差rf:rb=rt(x,y)-rt-1(x,y)rf=rt(x,y)-rt+1(x,y)(2)其中,rt(x,y),rt-1(x,y),rt+1(x,y)分别表示待检测帧及其前后帧,rb表示待检测帧和前一帧的差,rf表示待检测帧和后一帧的差。接着采用式(3)对帧差的结果作阈值处理,将帧差结果rb和rf都大于阈值t h r e s h o l d且帧差结果rb和rf符号相同的像素置为1,相当于做了二值化处理,便可得到帧差法计算结果:d(x,y)=1,(|rb|t h r e s h o l d)(|rf|t h r e s h o l d)(s g n(rb)=s g n(rf)0,o t h e r s (3)其中,s g n()表示符号函数,符号表示其前后两者是且的关系,d(x,y)为二值化处理后得到的结果,即所提及的可疑区域。式(3)主要依据视频序列中的前后帧像素运动较小和斑块在前后帧空间不连续的特性,能够快速检测出待检测帧中斑块的位置。图3(a)为帧差法处理后所得结果,(b)图则为对(a)图处理做二值化处理后的结果。a)帧差法提取的差值结果(b)阈值处理后所得可疑区域图3 帧差法效果1.4 视觉显著图计算视觉显著图是利用人类的视觉显著性特征(V i s u a lS a l i c e n c yM a p,V S F)原理,通过模拟人类视觉系统进行计算。人类视觉系统为了在处理复杂系统时能快速获得结果,会优先注意到视觉感知中明亮、对比度高、边缘锐利等部分1 2。基于这一机制I t t i1 3提出了一种自下而上机制的视觉显著图计算,这一计算方式需要对图像先作灰度处理,再进行向下采样,生成图像金字塔。V S F计算过程如下,首先采用式(4)将图像转为灰度图,减少要处理的信息量:G r a y=0.2 9 9*R+0.5 8 7*G+0.1 1 4*B(4)接着利用中心-环绕差异计算可疑区域内某一像素r(x,y)的中心显著度图和中心外显著度值进行计算,式(5)为图像某一像素的环绕区域和中心区域的定义:s u r r o u n d(x,y,l)=r e c t S u m(x-l,y-l,x+l,y+l)(2l+1)2-1 c e n t e r(x,y)=r(x,y)(5)其中,l 1 2,2 4,4 8,5 6,1 1 2 表示被包围矩形框区域大小,r(x,y)表示图像可疑区域内某点的像素值,r e c t S u m是图像内任一矩形框选区域的积分值,定义如式(6)所示:r e c t S u m(x1,y1,x2,y2)=I(x2,y2)-I(x1,y2)-I(x2,y1)+I(x1,y1)I(x,y)=x x,y yi(x,y)(6)公式(6)坐标的含义如图4所示,(x1,y1)表示框选矩形框的左上角,(x2,y2)表示框选矩形框的右下角。图4 坐标含义图由式(4)-(6)可以推出每个像素的视觉显著子图为式(7):81第4期张旭生,等:一种胶片档案斑块破损掩膜提取算法V S Fo n,l(x,y)=m a xc e n t e r(x,y)-s u r r o u n d(x,y,l),0V S Fo f f,l(x,y)=m a xs u r r o u n d(x,y,l)-c e n t e r(x,y),0(7)对每个像素的每个显著子图进行叠加,可以求得最终该图片的视觉显著图,式(8)给出了V S F的最终定义。其中V S Fo n和V S Fo f f分别用于检测白色斑块破损和黑色斑块破损。V S Fo n=lV S Fo n,lV S Fo f f=lV S Fo f f,l (8)1.5 边界填充根据式(5),在求某一像素点的视觉显著子图时需要选取长宽都为2 l的矩形框,其中l 1 2,2 4,4 8,5 6,1 1 2,但是如果选定的像素点位于图像的边界,那么选定的矩形框必定会超出图像原本的分辨率。此时计算出的显著度图如图5(a)所示。因此,在计算显著度图时,需要对图像的边界进行填充处理1 4,常用的填充方法有:复制最边缘像素、对边缘像素进行对称以及将图片进行循环填充。填充后的效果如图5(b)(c)(d)所示。为了保证显著度的计算准确,处理边界问题采用对边缘像素进行复制的方式填充,针对l的大小,填充的像素大小为1 1 2。(a)边界未处理显著度图 (b)以循环方式填充(c)以复制方式填充 (d)以对称方式填充图5 对灰度图的边界进行填充对边界填充后的图像求视觉显著图,效果如图6所示。可以看到,经过边界填充后的视觉显著图在边界部分效果良好,能够准确地求出图像的视觉显著图。同时,V S Fo f f可以很好的体现出画面中的暗色部分内容,V S Fo n则体现出了亮色部分的视觉显著度。在后续的检测算法中,针对斑块在画面中所呈现出的视觉效果,将使用不同的视觉显著度图作为判别依据:黑色斑块采用V S Fo f f作为判断依据,白色斑块采用V S Fo n作为判断依据。(a)V S Fo f f图像(b)V S Fo n图像图6 待检测帧和相邻帧的两种视觉显著图1.6 斑块破损判定和掩膜提取定义像素块Mm,n t(x,y)待检测帧t以像素p(x,y)为中心的矩形区域,Mm,n t+1(x,y)和Mm,n t-1(x,y)为相邻帧在相同像素位置的像素块,大小都为55个像素,示意图如图7所示。(a)像素块在图片中的表示(b)相邻帧选取的像素块图7 像素块示意图对初步预测得到的结果进行遍历,对可疑区域的像素p(x,y)进行标记,计算当前帧该像素的像素块的两种显著度图。设定阈值t h 1,判定视觉显著图中像素块Mm,n t(x,y)的任一像素有无显著度大于阈值t h 1的像素。若计算结果超过阈值则在相 邻帧中标定该 像素坐标,并计算像素 块Mmc,nc t+1(x,y)和Mmc,nc t-1(x,y)的显著度图,其中c 0,1,所以相邻帧共计需要计算1 8个像素块的视觉显著图。这一步的作用类似运动补偿,是为了避免像素运动而带来的误差。对相邻帧显著图中超过阈值t h 1的像素块再次进行判定,并对超过阈值的像素块进行标定。例如对于相邻的前一帧图像中的九个像素块,设置St-1对被标定像素块个数进行计数,如果有像素块被标定则令St-1计数值加一。同理对于相邻的后一帧图像则设置St+1进行计数操作。接下来设定阈值t h 2并判定相邻两帧的St+1,St-1是否都小于阈值t h 2。若St+1,St-1都小于阈值t h 2则认定该像素为破损像素,否则该像素未破损。91佳 木 斯 大 学 学 报(自 然 科 学 版)2 0 2 3年对可疑区域的像素所有像素p(x,y)做完上述操作后,汇总所有破损像素便可得到斑块破损掩膜。2 实验结果与分析实验 环 境 为U b u n t u 1 8.0 4+NV I D I A G e-F o r c eR T X3 0 8 0+AMD锐龙R 7-5 8 0 0。实验数据为从数字化胶片档案上截取的斑块破损R G B彩色图像,大小为7 2 05 7 6。接下来从掩膜的提取效果和R O C曲线两方面进行实验结果分析,并将本文算法与S D I算法2作对比。2.1 掩膜提取效果用所提出的帧差法结合视觉显著度图的方法对斑块破损进行检测。在上文中已经得到了初步检测结果,对初步检测结果用视觉显著度图进行再判断,提取到的掩膜如图8(a)所示。为了更直观地对掩膜提取的效果进行分析,将提取到的掩膜对原图进行覆盖。如果掩膜图像的像素标定为1,将待检测帧的像素颜色标定为(R,G,B)=(0,2 5 5,0),得到的效果图8(c)如示。(a)算法提取的掩膜(b)破损帧原图 (c)掩膜与原图叠加效果图图8 算法效果图一整体上通过掩膜的覆盖可以看到,原图中破损的部分被很好的覆盖,采用本章提出的方法可以对斑块掩膜进行有效的提取。但也存在着将非斑块破损像素标定为破损,主要是因为相邻帧的像素块搜索范围不够大,可以通过扩大相邻帧的搜索块范围来减小这一误差。选取胶片档案的另一破损帧也作相应处理,并与上文提及的S D I算法提取的斑块破损掩膜作对比,结果如图9所示。S D I算法所提取的掩膜漏检率较大,图9(d)提取的掩膜与图9(b)中真实斑块破损相差较大。对比图9(b)和图9(c)可知本算法提取的掩膜更完整,提取效果更好。(a)破损帧原图 (b)真实斑块破损掩膜(c)本文算法提取的掩膜 (d)S D I算法提取的掩膜(e)所提取掩膜与原图叠加(左为本文算法,右为S D I算法)图9 算法效果图二以图8(b)的斑块破损原图为例,表1中给出了本文算法的斑块破损掩膜检测情况。对于7 2 05 7 6尺寸的图像,本文算法基本能完整提取出斑块破损掩膜,且误检率和漏检率都较低。表1 斑块检测情况图片分辨率实际破损像素掩膜覆盖像素误检像素漏检像素7 2 05 7 66 8 9 36 9 8 49 102.2 R O C曲线R O C曲线1 5是评估二分类模型性能的一种常用方法,用于可视化模型在不同阈值下的真阳性率T P R与假阳性率F P R之间的权衡。T P R表示正确的样本预测为正的数量,占真实情况中正例的比率,F P R表示错误的样本预测为正的数量,占真实情况中负例的比率。T P R和F P R1 5定义如式(9)所示。T P R=T PT P+FNT P R=F PF P+TN (9)在绘 制R O C曲 线 时,横 轴 是F P R,纵 轴 是T P R。R O C曲线约接近左上角、越远离对角线,性能越好。在实际应用中,R O C曲线被广泛用于比较不同模型的性能,可以根据曲线下面积AU C的大小来判断模型的性能,AU C的取值范围为0.5到1,AU C越大代表着模型的性能越好。02第4期张旭生,等:一种胶片档案斑块破损掩膜提取算法利用图9(a)破损帧原图,取得本文算法所提取的掩膜、S D I算法所提取的掩膜以及手工标注的破损斑块的真实掩膜,并作R O C曲线。所作的R O C曲线如图1 0所示。本文算法得到的R O C比较接近左上角,且R O C曲线下面积(AU C)接近于1,表明本文算法提取的掩膜误检率低,斑块破损掩膜提取效果较好,能满足实际检测需求。图1 0 两种算法提取的R O C曲线3 结 语本文提出一种结合帧差法和视觉显著图的胶片档案斑块破损掩膜提取方法,利用帧差法与视觉显著度图相结合的方法,只需计算帧差法处理后可疑区域的显著度图,再对可疑区域进行二重阈值判定并汇总判定结果,便可提取出斑块破损掩膜。此方法提高了斑块破损检测算法速度,可以更好地应对大数据量的检测任务。同时还具有低漏检率和错检率的特点,能够将斑块破损掩膜较为完整地提取出来。本文算法用于小面积的斑块破损有不错的检测性能,后续将继续进行胶片档案斑块破损的修复问题和大面积的斑块破损的检测修复问题。参考文献:1 赵建.基于三帧差法的运动目标检测方法研究D.西安:西安电子科技大学,2 0 1 3.2 A.C.K o k a r a m,R.D.M o r r i s,W.J.F i t z g e r a l d,a n dP.J.W.R a y n e r,“D e t e c t i o no f m i s s i n gd a t ai ni m a g es e-q u e n c e s,”I E E ET r a n s a c t i o n so nI m a g eP r o c e s s i n g,v o l.4,n o.1 1,p p.1 4 9 61 5 0 8,1 9 9 5.3 N a d e n a uMJ,M i t r aSK.B l o t c ha n dS c r a t c hD e t e c t i o ni nI m a g eS e q u e n c e sb a s e do n R a n k O r d e r e dD i f f e r e n c e sJ.T i m e-V a r y i n gI m a g eP r o c e s s i n ga n d M o v i n gO b j e c tR e c-o g n i t i o n,4,1 9 9 7:2 7-3 5.4 AC,K o k a r a m,RD,e t a l.D e t e c t i o no fm i s s i n gd a t a i n i m-a g es e q u e n c e s.J.I E E Et r a n s a c t i o n so n i m a g ep r o c e s s i n g:ap u b l i c a t i o no f t h e I E E ES i g n a lP r o c e s s i n gS o c i e t y,1 9 9 5.5 邬大鹏,程卫平,于盛林.基于帧间差分和运动估计的C a m-s h i f t目标跟踪算法J.光电工程,2 0 1 0,3 7(0 1):5 5-6 0.6 孙辉,赵红颖,熊经武,等.基于光流模型的图像运动估计方法J.光学精密工程,2 0 0 2(0 5):4 4 3-4 4 7.7 王洋迪,郭文明.基于视觉显著度的污损图像缺陷识别方法研究J.计算机仿真,2 0 2 2,3 9(0 9):2 2 6-2 2 9.8 B o r j iA,T a v a k o l iHR,P u g e a u l tN,e ta l.U n d e r s t a n d i n ga n dV i s u a l i z i n gD e e pV i s u a lS a l i e n c yM o d e l s:,2 0 1 9.9 M o n t a b o n eS,S o t oA.H u m a nd e t e c t i o nu s i n gam o b i l ep l a t f o r ma n dn o v e l f e a t u r e sd e r i v e d f r o mav i s u a l s a l i e n c ym e c h a n i s mJ.I m a g e a n dV i s i o nC o m p u t i n g,2 0 1 0,2 8(3):3 9 1-4 0 2.1 0 秦剑鹏,符茂胜,涂铮铮,等.基于颜色直方图变化率的视频镜头检测J.计算机应用与软件,2 0 1 1,2 8(0 4):1 7-2 0.1 1 贾伟.基于颜色直方图的视频突变镜头边界检测J.机械设计与制造工程,2 0 1 4,4 3(0 5):6 7-7 0.1 2 敖欢欢.视觉显著性应用研究D.合肥:中国科学技术大学,2 0 1 3.1 3 I t t i L.Am o d e l o f s a l i e n c y-b a s e dv i s u a l a t t e n t i o n f o r r a p-i ds c e n e a n a l y s i sJ.I E E ET r a n s a c t i o n s o nP a t t e r nA n a l y-s i s&M a c h i n e I n t e l l i g e n c e,1 9 9 8,2 0(1 1):1 2 5 4-1 2 5 4.1 4 P e t r o uM,PG a r c a-S e v i l l a.I m a g eP r o c e s s i n g:D e a l i n gW i t hT e x t u r eM.D B L P,2 0 0 6.1 5 王文冠,沈建冰,贾云得.视觉注意力检测综述J.软件学报,2 0 1 9,3 0(0 2):4 1 6-4 3 9.D O I:1 0.1 3 3 2 8/j.c n k i.j o s.0 0 5 6 3 6.AF i l mA r c h i v eP l a q u eB r e a k a g eM a s kE x t r a c t i o nA l g o r i t h mZHANGX u s h e n g,CHENG u o d o n g*,SHE M i n g l e i,CHENZ i j i a n,DA IZ h e n g u o(F u z h o uU n i v e r s i t y,F u z h o u3 5 0 1 0 8,C h i n a)A b s t r a c t:A i m i n ga t t h ep r o b l e mt h a t t h e f i l ma r c h i v e i m a g en e e d s t o t r a v e r s e t h e e n t i r ep i c t u r e t oe x t r a c t t h ep l a q u ed a m a g em a s kw h e nt h es i z e i s l a r g ea n dt h ep l a q u ed a m a g e i s s m a l l a n dm a n y,a f i l ma r c h i v ep l a q u ed a m a g ee x t r a c t i o nm e t h o dc o m b i n i n gt h ef r a m ed i f f e r e n c em e t h o da n dt h ev i s u a l s a l i e n tm a pm e t h o d i sp r o p o s e d.F i r s t,t h e i n p u t f i l mf i l e i m a g e i se x t r a c t e db yt h ef r a m ed i f f e r e n c em e t h o d,a n dt h e no n l yt h ep i x e l s i nt h es u s p i c i o u sa r e an e e dt ob e j u d g e db yt h ev i s u a l s a l i e n tm a pm e t h o d,a n df i n a l l yt h er e s u l t so fa l lp i x e l j u d g m e n t sa r es u mm a r i z e dt oo b t a i nab i n a r yp l a q u ed a m a g em a s km a p.T h ee x p e r i m e n t a l r e s u l t ss h o wt h a tt h ea l g o r i t h mc a ne x t r a c tt h eb r o k e np l a q u em a s kr e l a t i v e l yc o m-p l e t e l yw i t h o u t c a l c u l a t i n gt h ev i s u a l s a l i e n t i m a g eo f t h ew h o l e f r a m e i m a g e,a n dc a nt a k e i n t oa c c o u n tt h ea l g o r i t h me f f i c i e n c ya n df a l s ed e t e c t i o nr a t e.K e yw o r d s:v i s u a l s a l i e n c em a p;f r a m ed i f f e r e n c em e t h o d;b r o k e np l a q u e;f i l ma r c h i v e s12