自然图像的文本水印去除_杨泽昊.pdf

第 25 卷第 1 期2023 年 1 月大 连 民 族 大 学 学 报Journal of Dalian Minzu UniversityVol25，No1January 2023收稿日期:20220513;最后修回日期:20220712基金项目:辽宁省自然科学基金项目(2020MZLH19);贵州省科技支撑计划项目(2021534)。作者简介:杨泽昊(1994)，男，内蒙古乌兰察布人，大连民族大学计算机科学与工程学院硕士研究生，主要从事图像处理研究。通讯作者:战国栋(1978)，男，吉林长春人，讲师，主要从事字体设计研究，Email:foison_18 126com。文章编号:20961383(2023)01005304自然图像的文本水印去除杨泽昊a，c，闫宇a，c，战国栋b，c(大连民族大学 a计算机科学与工程学院;b设计学院;c大连市汉字计算机字库设计技术创新中心，辽宁 大连 116605)摘要:为了解决混杂文本的自然图像水印去除问题，提出一种可见水印去除算法。该算法通过批量分类文件、锁定水印范围、规模化处理图像，形成端到端的便携式结构。经实验验证，该算法可以精确检测水印位置，并批量处理含水印图像样本，且对于水印文本与图像文本混杂的背景有高效处理结果。相较于其他方法，该算法可以更好对自然图像的文本水印进行去除。关键词:自然图像;文本水印;水印检测中图分类号:TP38941文献标志码:AText Watermark emoval from Natural ImagesYANG Zehaoa，c，YAN Yua，c，ZHAN Guodongb，c(aSchool of Computer Science and Engineering;bSchool of Design;c Dalian Chinese Font DesignTechnology Innovation Centre，Dalian Minzu University，Dalian Liaoning 116605，China)Abstract:In order to solve the natural image watermark removal problem of mixed text，a visiblewatermark removal algorithm is proposed The algorithm forms an endtoend portable structureby classifying files in batches，locking the watermark range，and processing images at scale Ex-periments show that the algorithm can detect the watermark position accurately，process water-marked image samples in batches，and has efficient processing results for the background wherewatermark text and image text are mixed Compared with other methods，the algorithm can betterremove text watermarks from natural imagesKey words:natural images;text watermark;watermark detection水印嵌入到载体图像后，图像中的特殊信息以可见的形式显示出来，即称为可见水印，这主要应用于版权维护和纪念留影1。在某些场景下需要逆向恢复原图像。去除水印的前提是锁定文本水印区域，文本作为语言的物理化身，是保存和交流信息的基本工具之一。传统上，文本识别一直专注于文档图像，其中 OC 技术非常适合数字化平面纸质文档。当应用于自然场景图像时，这些 OC 技术效果会变差，甚至失败，因为它们被调整为黑白色差、基于行的打印文档环境。自然场景图像中出现的文本在外观和布局上变化很大，从大量字体DOI:10.13744/21-1431/g4.2023.01.008与样式中提取，受到不同光照、遮挡、方向、噪声的影响。此外，背景对象的存在会导致虚假误报检测，这使得自然图像文本定位更具有挑战性。去除水印算法的相关研究中。Lin 等2 提出一种子采样技术自适应去除水印，维持图像质量。Zhang 等3 提出了一种加密图像的可逆方案，此方案利用逐位异或运算对原始图像加密，并修改了对应二进制标志的部分嵌入可见水印。Weng等4 提出一种基于动态图像同时保持上下文联系的水印方案，隐藏信息不同位置提取方法和恢复方式各不相同。Chen 等5 提出差分扩展的可逆宿主图像的水印方案。利用深度学习去除水印的方法主要利用信号重建去除水印图像。Lehtinen等6 提出一种无需损坏统计似然模型或图像先验的模型，该模型从训练数据间接学习的方案。深度学习运算周期长，需要大量标注性数据集。本文提出一种端到端的混杂文本型自然图像可见水印去除方法，该方法依靠文字区域检测结合色差值，锁定水印确切位置，再利用快速推进算法消除水印，达到在多样本条件下的精细化去除。1本文方法本次数据集主要采自中国少数民族艺术平台的文物图像，共有 22 379 张图像，划分为 17 类，特征归属于自然图像。它们不仅具备自然图像背景复杂，颜色与布局差异大的特点，还集中体现了水印文字与内容文字混杂的特殊问题。此类图文混杂的自然图像，无论是传统方法还是新兴的深度学习方法，都很难有效处理非水印文字区域内容，容易造成误删，去水印错误示例如图 1。a)水印图像b)错误去除图 1去水印错误示例为解决上述问题，本文提出一种端到端的可见水印去除方法，过程如图 2。Step 1:通过文字区域检测内容结合色差值定位水印区域;Step 2:融合快速修补算法去除可见水印;Step 3:输出去除水印图像。图 2去水印流程2定位水印位置寻找水印位置的工作可以视作文字区域定位，作为数据的艺术图像多数是画作或文物图像，不仅水印文字是明显的文本区域内容，字画书法、雕刻印章、文物刻字等同样会作为干扰内容。本文融合基于 PM(region proposal mechanism)的文字区域检测内容7。利用首部分的 re-gion proposal，首先保证较高准确度，尽量把所有可能的文字区域检测出来，然后经过一个 filtering阶段，提升文字检测的精度。此步骤为泛化的文本区域检测，如果图像只存在水印文字，则可以很好地定位文本区域。但由于部分艺术图像存在文物文字及相关的图形印章，如图 3a。文本区域定位掩图 a 的目标块会出现错判现象，将其认定为水印类文本，从而导致删除原有图画真迹，变为没有文字的文物画作。这明显不是我们想要的去除效果，需要继续处理掩图数据，让掩图只保留水印文字。为进一步锁定水印区域范围，我们根据可见水印的颜色特征进行二值化处理，将 GB(120，120，120)至 GB(160，160，160)以外的颜色变成0，生成掩图 3b。最后将 3a 图像的目标区域与 b图像的白色区域进行融合，形成掩码图像 3c。图 3掩图水印区域定位根据本次数据集水印特征，去除水印算法需45大连民族大学学报第 24 卷要提供大约为 9038 像素宽高的文字掩码块。在区域位置进行范围限制，最终得到希望的文字掩码图像，利用此掩码图像可以准确地定位水印文字，避免破坏自然图像中的文本信息。3去除水印在获得掩图后，即可利用掩图来去除水印内容。关于去除水印的具体方法，本文融合了基于快速推进法的图像修复技术8。其主要考虑图像中要修复的区域，算法从该区域的边界开始，然后进入区域内，逐渐填充边界中的所有内容。它需要在邻近像素周围的一个小邻域进行修复。该像素由邻近所有已知像素的归一化加权和代替。因此，选择权重是一个重要的因素，对于靠近该点的像素，靠近边界的法线和位于边界轮廓上的像素，给予更多的权重，远离此点的则给予更小权重。一旦像素被修复，它将使用快速行进方法移动到下一个最近的像素。算法确保那些靠近已知像素的糟糕部分首先被修复，这就像一个轮替式启发器，直到区域修复完成。根据水印位置定位结果，获取掩图图像如图4b。将掩图与原图进行融合，利用图像修复技术，进行水印去除。其结果完美的保留了文物图像原有的印章刻字，并且对水印文字进行模糊化处理，周边像素色彩几乎没有改变。图 4水印去除效果由于水印区域在右下角，且文物图像的背景颜色具有一致性，在模糊化进程中不会有多余的色块冗杂，修复区域能够很好的与原背景色融合，看不出修改后的痕迹。在修补方面，快速推进法的图像修复技术可以很好的补充缺失，对边界线上的像素填补给予更多权重，能够将水印文字的残留痕迹覆盖，修复效果良好，且不会对图像本身文字内容错误删除。4结果分析本文采用的数据为艺术文物图像，属于混杂文本型自然图像的典型，且样本数量巨大。本文方法主要考虑解决去除水印的重复性工作，并处理水印文字区域精确定位问题，消除水印后的图像分类导入至中国少数民族艺术平台。目前去除水印的算法有多种多样，但效果最好的主要是 Noise2Noise6，利用深度学习来构建网络模型，本质上还是去噪应用，对于混杂文本型自然图像，文字识别效果不佳，且容易将文物原刻字磨损去除。另外，深度学习的网络模型侧重于深度和宽度来加强网络，需要计算的样本内容极大，在缺乏大量标注好的样本时，效果很不理想。对于文物图像来说，几乎没有合适的数据集供网络学习，去除大量画作水印成本太高。若单纯使用 PM 文本区域检测并消除水印，可以有较好地去除效果，色块融合也较为理想，但文字内容处理方面不佳，容易将画作原刻字消除，造成图像信息丢失。特别是对于文物图像，其最高优先级应该是保留原画作的真实内容。从定性角度分析，选取各类文物图像对比去除水 印 效 果 如 图 5。利 用 深 度 学 习 算 法Noise2Noise6 进行水印去除，在 100 次标准化迭代后，仍有较明显痕迹;单纯使用 PM 文本区域检测并消除水印，虽然能够很好的定位文本内容，但会把不属于水印的文本内容消除;本文的端到端水印去除算法，可以针对文物文字复杂背景情况，得到较好效果。a)Noise2Noise 算法b)PM 算法c)本文算法图 5算法水印去除效果对比55第 1 期杨泽昊，等:自然图像的文本水印去除5结语本文主要对混杂文本型自然图像进行可见水印去除研究，实现对中国少数民族艺术平台两万余张文物图像进行去水印操作，从而扩展到更具有普遍性的自然图像。首先，融合基于 PM 的文字区域检测内容并进行色差区域定位，确定水印文本掩图，利用掩码图像配合基于快速推进法的图像修复算法进行水印去除，形成一套端到端的可见水印去除流程。结果分析表明本文的方法具有极高稳定性，准确锁定水印区域并进行去除，避免误删自然图像所包含的文本内容，节省人工成本，有较好的应用价值，提高了去除水印的效率。最后，利用去除水印较好的结果图，与原图进行一对一匹配，可以制作用于深度学习网络使用的数据集，能够为混杂文本型自然图像的水印去除增添一份新的学习数据。虽然本文方法对于各位置水印可以很好识别，但也有部分不足之处。因为利用颜色特征进行二值化处理，当水印文本与周边底色高度相似，则无法进行高效区分，会产生模糊效应，减弱水印去除的效果。参考文献:1LIU Y，TANG S Y，LIU，et al Secure and robust dig-ital image watermarking scheme using logistic and SAencryption J Expert Systems with Applications，2018，97(5):95105 2LIN P Y，CHEN Y H，CHANG C C，et al ContrastA-daptive emovable Visible Watermarking(CAVW)mechanism J Image and Vision Computing，2013，31(4):311321 3ZHANG X P，WANG Z C，YU J，et aleversible visi-ble watermark embedded in encrypted domainC/IEEE China Summit and Intern ational Conference onSignal and Information ProcessingChengdu:IEEE，2015:826830 4CHI Y W，YU H Z，LI C L，et al Visible watermarkingimages in high quality of data hiding J The Journal ofSupercomputing，2013，66(2):10331048 5CHEN C C，TSAI Y H，YEH H C Differenceexpan-sion based reversible and visible image watermarkingscheme J Multimedia Tools and Applications，2017，76(6):84978516 6LEHTINEN J，MUNKBEG J，HASSELGEN J，et alNoise2Noise:Learning image restoration without cleandata J arXiv preprint arXiv:1803 04189，2018 7JADEBEG M，SIMONYAN K，VEDALDI A，et alea ding Text in the Wild with Convolutional Neura lNetworks J International Journal of Comput er Vi-sion，2016，116(1):120 8TELEA A An Image Inpainting Technique Based on theFast Marching MethodJ Journal of Graphics Tools，2004，9(1):2334 9BETALMIO M，BETOZZI A L，SAPIO G Navierstokes，fluid dynamics，and image and video inpainting C/Proceedings of the 2001 IEEE Computer SocietyConference on Computer Vision and Pattern ecognitionCVP 2001，IEEE，2001，1:I(责任编辑王楠楠)65大连民族大学学报第 24 卷