基于改进生成式对抗网络与矢量绘制技术的古蜀锦纹样数字化研究.pdf

研究与技术丝绸 基于改进生成式对抗网络与矢量绘制技术的古蜀锦纹样数字化研究 王维杰 刘 毅 肖 露 方 佳 王金羽 王佳丽(.四川省丝绸科学研究院有限公司成都 .四川大学 轻工科学与工程学院成都)摘要:目前古蜀锦纹样的数字化保存方法多基于数字照片的形式其可编辑性差不利于针对纹样的二次开发与应用更有纹样因拍摄年代久远而导致分辨率低从而导致在传播过程中损失关键信息 文章针对古纹样的原始图片分辨率低与位图图像的可编辑性差等问题提出一种基于改进生成式对抗网络与矢量绘制技术的古蜀锦纹样的复原方法 以四天王狩狮纹锦为例通过对原始图像的超分辨率重建与矢量化绘制完成矢量化建模 实验结果表明本文方法可以实现针对古蜀锦纹样的高精度矢量化重建纹样复原效果的模糊综合评价为比较好的隶属度即为.说明了本文方法的有效性 通过该方法生成的古蜀锦矢量图像可以广泛应用于文旅产品开发与虚拟数字博物馆建设 同时本文方法对其他类型古纹样的矢量化重建具有重要的借鉴意义关键词:生成式对抗网络超分辨率重建古蜀锦纹样矢量绘制数字化保护中图分类号:.文献标志码:文章编号:()引用页码:./.收稿日期:修回日期:基金项目:四川省科技计划项目()作者简介:王维杰()男博士研究生研究方向为纺织品文物数字化保护与智能纺织品的研究 通信作者:王佳丽高级工程师.丝织品是较难保存的文物之一由于细菌等微生物对丝素蛋白的破坏导致丝织物随着时间流逝逐渐丢失织物本来的颜色和纹样特征因此针对传统丝织物的保护与复原是一大难题 保护丝织品文物的传统方法是不断对残片进行修复或复制其中最关键的技术是采用和残片一样的材料与织造技艺同时采用逆向工程精确复现原始织物的组织结构与纹样从而使文物恢复本来的面貌 在这所有的环节中最容易被忽视的是对织物原始纹样的复原 针对纹样的不精确复原容易导致部分珍贵纹样在传播过程中发生变异从而导致文物的原真性遭到破坏蜀锦作为中国三大名锦之首其织造技艺是中国丝绸文化的重要组成部分 由于目前针对古蜀锦残片的保护力度不够导致部分传统蜀锦纹样残片散落于民间 随着时间的流逝一些纹样逐渐消失对蜀锦文化的传承产生了不利影响因此针对现有残片纹样进行数字化修复与整理至关重要 目前古纹样的保护手段主要分为传统方法和现代方法 传统方法主要采用相机拍摄和手工描绘的方式对纹样特征进行保存如黄能馥在中国成都蜀锦一书中通过古蜀锦实物照片及文字描述方式对中国古蜀锦进行了收集和整理然而光栅图像可编辑性差图像在放大之后容易失真不利于纹样的后续传播与开发利用 除了采用相机拍摄手段保存纹样还有研究者基于采集的纹样数字图像进行手工描绘以线稿的形式保存纹样 如赵丰在中国古代丝绸设计素材图系中收集和制作了部分蜀锦纹样线稿图然而由于古纹样不同程度地存在破损、模糊、噪声和分辨率低等问题这项工作在手工绘制线稿前未结合图片预处理技术从而造成纹样细节在绘制过程中不同程度的损失这不利于纹样传播的原真性为了解决传统方法在纹样数字化保护中存在的问题基于数字图像处理技术与深度学习相关技术的现代图像处理方法被广泛用于古纹样的数字化保护 其中针对纹样破损问题的数字化图像修补方法主要分为基于几何学的修复方法和基于图像块的修复方法两种方法分别适用于纹样小区域的破损和大范围的破损 然而两种方法均参照破损纹样周边区域进行补全在面对不规则的独立纹样缺损时两种方法都很难获得令人满意的修复效果 如蒋超等将纺织纹样分为规律型、画作型和综合型三类其中画作型纹样自身的规律性较弱难以通过已知区域的信息对待修复区域进行推理 因此提出采用人机交互的方式引导补全纹样的结构信息这在一定程度上降低了纹样自动化修复效率 类似的工作还包括孙晓婉等提出的一种基于结构线拟合的残损丝织品文物修复技术需要手工绘制结构线来辅助纹样修复过程 因此目前针对复杂纹样的缺损问题主要采用人工参与修复方法进行第 卷 第 期基于改进生成式对抗网络与矢量绘制技术的古蜀锦纹样数字化研究纹样补全 除了纹样破损问题在纹样处理过程中面临的另一个难题是纹样退化包括模糊、噪声和低分辨率等问题 这严重影响对纹样的重建工作因此有必要在纹样重建之前对纹样图像进行预处理 基于传统的数字图像处理手段难以实现高质量的退化图像复原目前基于深度学习技术的数字图像处理技术被广泛应用于图像的退化问题并取得了良好的效果 如基于生成式对抗网络实现遥感图像的超分辨率重建和医学图像超分辨率重建等然而很少有研究探索将生成式对抗网络应用于纺织品文物的纹样超分辨率重建不同于传统光栅图矢量纹样能够实现对原始纹样的结构信息进行数学建模更容易保存纹样的拓扑特征因此对纹样进行矢量化建模对古纹样的数字化保护工作至关重要 对于预处理后的纹样图像可以采用人工提取法与计算机智能生成法提取矢量图形然而现有的矢量化算法生成的矢量图质量参差不齐处理复杂纹样时存在线条不连续和拓扑结构失真等问题 因此目前针对复杂纹样的高精度矢量化重建仍然需要人工参与为了实现针对古蜀锦纹样的数字化保护本文提出了一种基于生成式对抗网络与矢量绘制技术的古蜀锦纹样的数字化保护方法 基于以上技术对四天王狩狮纹锦图像进行了分辨率增强处理与矢量化绘制 本文研究成果将有助于提高传统织锦纹样的数字化复原质量同时也为古织锦纹样的数字化复原提供可参考的技术路线 古蜀锦纹样矢量化重建流程.丝织品文物纹样复原策略丝织品文物因保存状态不佳而造成的图案不清、纹样破损等情况非常普遍因此也为纹样复原工作带来了难度在实际操作中需要为不同保存状态的纹样制定对应的复原策略为了界定纹样复原技术的适用范围本文将待复原的纹样对象分为四个层次:第一层次为花回完整且清晰可辨的纹样第二层次为基本清晰可辨或有微小破洞且花回完整的纹样第三层次为花回循环不完整且仍能够根据已存内容推测的纹样第四层次为破损严重且难以推测花回循环的纹样 对于第一层次的纹样无需对原始图片进行前处理即可进行矢量化建模对于第二层次的纹样需要在对原始图片进行矢量化建模前进行预处理否则容易造成矢量化纹样丢失细节对于第三层次的纹样需要在对原始图片进行考证分析补全及预处理的基础上进行矢量化建模否则无法获得完整花回的纹样对于第四层次的纹样由于无法判断完整花回故只需要在对原始图片进行预处理的基础上照样描绘矢量图形即可.纹样复原流程纹样的整体复原流程如图 所示 首先分析原始纹样的骨架结构提取循环单元针对纹样中的大面积破损模糊部位采取相似区域补全策略进行修补然后基于改进的生成式对抗网络完成补完图像的超分辨率重建之后采用矢量绘制软件完成纹样矢量化建模最后采用模糊综合评价方法对纹样矢量化重建效果进行评价图 纹样复原流程.古蜀锦纹样矢量重建对象分析日本京都法隆寺收藏的大窠联珠四天王狩狮纹锦是何稠仿制的波斯织锦属于典型的联珠团窠纹样 早期的联珠团窠纹蕴含着萨珊国教的寓意其外圈的圆形代表太阳以放射状的形式表现出太阳的光辉 唐代的联珠团窠纹主要由外环纹样要素和中心纹样要素两部分组成外环纹样又称为窠环以联珠环、花草环、文字环等为主要样式由一个或多个元素按照一定规律进行环绕排列形成 窠环的圆形纹样轨迹限定了环内的中心图案范围其圆形构造与环内的中心纹样相互呼应纹样整体呈现饱满、圆润的形式之美四天王狩狮纹锦长 宽 纵横排列着 个联珠团窠纹 如图()所示圆形窠环内以菩提树为中轴四位对称分布的异域骑士骑在有翼的天马上作回头射狮状马身上还分别写着“吉”“山”字样 骑士头戴饰有日月的王冠两对雄狮呈扑跃状前腿扬起狮尾卷曲上翘鬃毛飞舞呈现凶猛之态 在联珠团窠纹相交的空隙部位装饰十字唐草纹(在希腊称为“阿堪萨斯十字纹”)纹样中的四位骑士与波斯银器上刻的萨珊王夏希尔二世骑马射狮的形象相似而波斯侯斯罗二世头戴日月冠隋朝隋炀帝在冕服两肩也饰日月纹背上饰星辰纹寓意“肩挑日月、背负星辰”由此推断四天王狩狮纹锦是波斯文化与汉文化交流的结晶按照图案的构成形式可以分为单独纹样、适合纹样和连续纹样 其中连续纹样主要包括二方连续纹样和四方连续纹样 常见的四方连续骨架排列方式有散点式、连缀式和重叠式 四天王狩狮纹锦纹样属于典型的散点式四方连续纹样如图()所示图案由上下左右四个方向重复循环的团窠主纹样和嵌在主纹样空隙中的宾花图案组成这种排列方式实现了联珠团窠纹节奏与韵律的统一.图 四天王狩狮纹锦.结合丝织品文物纹样复原策略可以得知四天王狩狮纹锦属于纹样基本清晰有局部模糊且花回完整的第二复原层次因此需要在对原始图片进行矢量化建模前进行图像预处理否则容易造成矢量化后纹样细节丢失 通过对纹样中较大面积的破损模糊部位采取相似区域补全策略进行修补可以得到纹样的四方连续单元如图()所示 通过将图()进行超分辨率重建可以获得更加清晰的纹样 古蜀锦纹样超分辨率重建.生成式对抗网络结构本文在文献的基础上通过加深网络层级、修改残差网络结构和参数实现对生成式对抗网络模型的优化 生成式对抗网络结构如图 所示其中低分辨率原始图像通过生成器生成高分辨率图像判别器对生成的高分辨率图像真实性进行判断 通过损失函数反馈与优化算法的配置实现生成网络权重和偏移量的调整提高生成器生成高分辨率图片的能力 同时对判别器输入高分辨图像不断提升其判别能力在对抗式训练迭代过程中基于训练集数据持续更新网络中的参数最终构建高性能的生成式对抗网络模型.生成网络结构文献证明了加深网络层次和增加卷积核数量可以获取图像中更多的细节信息 为了减少超分辨率处理过程中原始图像中细节的损失本文采用 个残差块同时借鉴的方法去掉批量归一化层(层)来节省内存提高网络性能 最终的生成网络如图 所示即通过卷积网络提取低分辨率图片的特征卷积层采用个 卷积核步长图 网络结构示意.图 生成网络结构示意.第 卷 第 期基于改进生成式对抗网络与矢量绘制技术的古蜀锦纹样数字化研究为 采用 激活函数进行非线性映射 随后经过 个残差块残差网络后接一层卷积层通过跳跃连接进行卷积求均值求和 后接两个亚像素卷积层完成 倍图像上采样最后经过一个卷积层和 激活层完成图像超分辨重建.判别网络结构在判别网络中卷积核大小、数量与 大小对网络判别质量有重要影响为了提高感知也采用 的卷积核进行卷积操作 另外采用多层的卷积、全连接层和的操作输出判别结果如图所示具体地判别网络前 层采用 的卷积核进行图像特征提取为了增加提取的特征信息增加 的数量第 层网络利用 的卷积层减少输入通道和卷积核参数实现降维同时减少运算量 最后经过、全连接层和 激活函数输出判别结果判别结果用于分析生成数据与真实数据之间的差距 然后通过反向传播函数优化网络参数值不断提高模型的判别能力直到判别网络无法区分生成网络生成的高分辨率图像与真实的高分辨率图像训练完成图 判别网络结构示意.损失函数生成式对抗网络模型基于最大最小博弈思想优化判别网络和生成网络 在优化判别网络时固定生成网络要求生成网络在真实高分辨率图片 输入的时候结果越大越好对于生成的假样本图片()判别结果越小越好也就是()越小越好由于第一项与第二项的优化目标矛盾因此将第二项改为()在优化生成网络时和真实图像样本无关因此不需要考虑 此时只有生成网络产生的假样本但生成器希望假样本的判别结果取值越高越好所以()取值越大越好但是为了统一成()的形式将 ()最小化合并两个优化模型成最终的目标函数如下式所示:()()()()()()式中:为真实高分辨率图像 为真实低分辨率图像 为真实数据的数学期望()为真实高分辨率图像的概率分布()为真实低分辨率图像的概率分布()是判别器判断真实高分辨率图像是否真实的概率()为真实低分辨率图像通过生成网络生成的高分辨率图像()是判别器判断生成网络生成的高分辨率图片是否真实的概率损失函数通过权衡生成的图像与原始高分辨率图像之间的差距来判断网络的性能在反向传播过程中损失函数通过修改权重参数来不断优化网络 中生成器的损失函数由感知损失和对抗损失构成 其中感知损失函数可表示为下式:/()()()式中:和 为 网络中各个特征映射的宽和高()为真实高分辨率图像经过 网络提取的特征映射()为生成的虚假的高分辨率图像经过 网络提取的特征映射对抗损失可表示为下式:()()式中:()为生成图像()的原始高分辨率图像的概率是通过参数 构建的判别网络 为训练样本数在实际操作过程中发现没有通过均方误差()指导的生成网络虽然能很好地保留图像中的高频部分但产生的伪影影响图像效果 因此最终生成器的损失函数可表示为下式:()式中:和 是对抗损失和 损失对应的权重 中判别器的损失函数可表示为下式:.()()()式中:是判别网络的损失函数为由生成网络根据输入的低分辨率图片 生成的假高分辨率图片 在判别网络中得到的判别结果与 的交叉熵为判别模型判断真实高分辨率图片 的结果和 的交叉熵.评价指标采用峰值信噪比()、结构相似性()和平均意见得分()对本文超分辨方法的优越性进行主客观评价 其中 数值越高表示生成的高分辨图像的失真越少计算如下式所示:()()()()()式中:为图像像素值可取值的最大值 表示图像 和图像 的均方误差 为真实图像 为生成图像 和 分别为图像的长和宽结构相似性()从亮度、对比度、结构三方面计算图像之间的相似性数值越大表示图像失真越小 给定两张图像 和 值可通过下式求出:()()()()()()式中:是 的平均值是 的平均值是 的方差是 的方差是 和 的协方差()()是用来维持稳定的常数.值的范围为 当两张图像一模一样时 值等于 除此之外使用平均意见得分()测试来主观评价生成图像的质量评分从 分别代表差到优 结果和分析.实验环境.实验平台硬件平台:实验计算机型号为 系统为 为 .为 计算机内存为 软件平台:数据下采样基于 软件模型搭建和训练基于 深度学习框架 矢量重建基于 软件版本为.数据集古织物纹样的数据集具有特殊性由于类似样本数据量较少因此考虑引入古壁画数据集并通过对采集的高分辨率数据进行双三次插值()降采样得到与之对应的低分辨率数据 在实践过程中只通过插值降采样得到的低分辨率图像通常只是变得模糊不能适应实际复原场景中原始纹样存在噪声等情况 因此本文在对原始高分辨率数据集降采样的基础上进一步引入椒盐噪声处理获得退化图像的数据集 实验中共采集到满足实验需求的 张高分辨率原始图像经过插值降采样与添加椒盐噪声获得与之对应的低分辨率图像 其中 的数据用于训练网络模型 的数据用于验证的数据用于测试.超分辨率结果与分析为了证明本文方法的先进性分别采用 模型与 模型进行原始四天王狩狮纹锦图像的超分辨率重建不同算法生成的高分辨率图像对比结果如图 所示 从图 可以观察到传统 双三次插值方法获得的放大图像失真度最高边缘细节最模糊 通过 获得的高分辨率图像比 方法获得的高分辨率图像视觉效果更加清晰有效突出了纹样中描边轮廓的高频信息从人物脸部放大图中可以清晰地观察到细节特征这将有助于进行纹样矢量重建 虽然传统的 方法可以获得相对清晰的图像生成效果但是其生成网络损失函数计算中未考虑均方误差()的影响这导致虽然能很好地保留图像中的高频部分但轮廓边缘产生的伪影会影响图像效果如图()中人脸特写所示 本文改进的 方法很好地解决了这一问题在后期绘制矢量纹样时可以有效避免线条轮廓的二义性图 不同算法结果对比.第 卷 第 期基于改进生成式对抗网络与矢量绘制技术的古蜀锦纹样数字化研究采用同一测试集的不同算法的、和 计算结果对比如表 所示 相比传统 算法本文方法的 提高了.提高了.其中基于主观评价的 数值相比传统 算法提高了.分这与图像的主观感受一致表 同一测试集的各项参数对比.算法/.本文方法.矢量绘制结果与分析在对织物图像进行超分辨率放大的基础上采用贝塞尔曲线拟合纹样中的线条轮廓 为了保证绘制结果的准确性测量纹样骨架中主纹样和辅助纹样的比例关系结合历史记录资料和纹样实际特征推断纹样细节 由于四天王狩狮纹锦以菩提树为中轴基本呈中心对称分布因此在绘制纹样时只需绘制窠环内一侧的纹样另一侧图案可通过沿垂直方向对称复制并细微调整后获得 同时基于图案四方连续设计原理宾花图案只需要绘制出/即可 纹样内不同对象的原始纹样与矢量绘制轮廓如图 所示图 原始纹样与复原轮廓对比.将绘制的不同区域组合成最终纹样复原效果如图()所示 图()则显示了原始织物纹样的四方连续单元 通过将复原结果与原始纹样重叠可以观察复原纹样对原始纹样的拟合效果如图()所示 从图()可以观察到窠环内的人物及动物纹样可以比较精确地拟合原始纹样轮廓在纹样细节方面也实现了对原始纹样的重建 图()显示了在圆形窠环处出现了局部与原始纹样不匹配的情况这是由于原始纹样图像在拍摄时不可避免地受到拍摄角度倾斜和织图 四天王狩狮纹锦纹样复原效果.物经纬线倾斜等影响从而造成后期误差 后期误差与纹样设计初期的误差叠加共同影响了纹样的对称性因此基于对称设计的形式美法则与四方连续单元设计中连续性的原则对误差进行适当校正这将有助于纹样在后续传播过程的准确性.古蜀锦纹样复原效果的模糊综合评价为了证明本文方法对复原古蜀锦纹样的有效性采模糊综合评价方法对纹样复原效果进行专家评价 其步骤主要包括:建立因素集、建立评价集、建立权重集、单因素模糊评判和模糊综合评判.建立评价因素集因素集是影响评判对象的各种因素为元素组成的集合由于没有针对古织锦纹样的复原效果的评价体系本文拟从与原始图像的相似性、矢量路径连续性、细节精确性与比例精确性等 个方面建立针对复原效果的综合评价体系 最终确定古纹样复原效果评价指标如下式所示:()()式中:原始图像相似性 矢量路径连续性 细节精确性 比例精确性.建立纹样复原效果评价集评价集是评判专家对评判对象可能做出的各种总的评判结果所组成的集合 本文建立了五级评价指标如下式所示:()()式中:很差 比较差 一般 比较好 很好.建立各指标的权重集由于不同的评价因素对最终评判结果的重要程度不同需要建立各因素针对评价对象的权重集 ()各权数()应满足归一性和非负性条件:()()本文采用层次分析法计算各评价因素的权重系数 首先请 位对织锦纹样设计较为熟悉的蜀锦设计师作为专家组采用 量表对不同评价因素进行比较和评分建立比较判断矩阵 ()矩阵中的对角元素是款式类目的自比较因此 其中 让/然后采用标准化几何平均值法()计算因素集中各指标的权重 设 表示因素集中第 个指标的权重如下式所示:()/()/()权重集为 采用一致性比率指标 对比较判断矩阵的一致性进行检验:/()式中:()/()为一致性指标 为平均随机一致性指标本案例中 .为最大特征根计算如下式所示:()().单因素模糊评判设评判对象按因素集中的第 个因素 进行评判对评价集中第 个元素 的隶属度为 则按第 个因素 评判的结果可用模糊集合来表示如下式所示:()式中:称为单因素评判集它是评价集 上的一个模糊子集把 个单因素评价集组合在一起构成单因素评价矩阵如下式所示:().模糊综合评判模糊综合评判结果 按照下式进行计算如下式所示:()()()式中:()为模糊综合评判指标表示在考虑了评判对象所有因素时评判对象对评判集中某一元素的隶属度.古蜀锦纹样复原效果的模糊综合评价结果根据因素集中各因素两两比较结果构建得到的判断矩阵 为:第 卷 第 期基于改进生成式对抗网络与矢量绘制技术的古蜀锦纹样数字化研究()采用 法计算因素集中各指标的权重为:.()一致性比率指标 /.所以比较判断矩阵通过一致性检验根据专家评分法计算得到的单因素评价矩阵 为:.()所以根据式()计算得到模糊综合评价结果 为:.()模糊综合评价结果显示纹样复原效果为比较差的隶属度为.一般的隶属度为.比较好的隶属度为.很好的隶属度为.根据最大隶属度原则纹样复原效果为比较好.与现有复原结果对比四天王狩狮纹锦目前流行最广泛的是文献中的复原版本 本文从纹样内容和细节刻画两个方面将文献复原纹样与本文方法复原纹样进行对比 为了更好地对比借鉴文献中纹样的配色进行填色如图所示相比于图 文献复原结果与本文复原结果对比.文献中纹样的复原效果采用本文方法绘制的纹样比例更加准确细节上更加丰富 同时在绘制的纹样细节准确度上本文方法优于文献中的绘制结果对比结果如图 所示 这是由于纹样前期预处理对纹样信息的放大作用纹样细节被最大化保留因此获得了相比传统方法更加精确的复原纹样 这进一步证明了本文方法的优越性图 复原图像细节对比.结 论为了保护古蜀锦纹样本文以四天王狩狮纹锦为研究对象在分析纹样内容与特点的基础上基于改进生成式对抗网络对原始纹样进行预处理提高了原始纹样在放大过程的分辨率实现了纹样的矢量化复原与绘制 最后利用模糊综合评价法对纹样复原效果进行了评价评价结果显示纹样达到了比较好的复原效果 数字化修复的古蜀锦纹样为古蜀锦的保护和展示提供了新的方式使古蜀锦的艺术和文化价值得以更多样化的方式传播 本文研究成果将有助于提高传统织锦纹样的数字化复原质量同时也为古织锦纹样的数字化复原提供可参考的技术路线丝绸官网下载中国知网下载参考文献:杨达 张津珲 贾汀.两件唐代织锦残片的修复保护及研究.人类文化遗产保护:.:.黄能馥.中国成都蜀锦.北京:紫禁城出版社.:.赵丰.中国古代丝绸设计素材图系.杭州:浙江大学出版社.:.蒋超 汪家杰 俞琳.一种纺织文物图样数字化修复方法研究.丝绸 ():.():.孙晓婉 贾静 徐平华 等.基于结构线拟合的残损丝织品文物虚拟修复.丝绸 ():.():.贺温磊 王朝立 孙占全.基于生成对抗网络的遥感图像超分辨率重建.信息与控制 ():.():.陈胜娣.基于生成对抗网络的医学图像超分辨率重建.计算机时代():.():.李焕洪.基于多任务驱动的传统民族纹饰图案矢量化系统研发与实现.北京:北京邮电大学.:.程思 乔洪.唐代蜀锦团窠纹的审美特征.纺织科技进展():.():.孙弋 张毅.丝绸之路通商前后禽鸟纹样的起源与形式流变.丝绸 ():.():.乔洪 乔熠 毛艺坛 等.从陵阳公样看中外织锦技艺的交融与创新.丝绸 ():.():.张婉玉 陈宇 周春燕.唐代织锦团窠纹分析及其创新设计.丝绸 ():.():.项子丰 周赳.中国古代丝绸纹样中狮子纹的运用研究.美术教育研究():.():.:./().:./().:./().:.张天露 杨杰 何文玉 等.基于生成对抗网络的人脸超分辨率技术.传感器与微系统 ():.():.佚名.四天王狩猎纹锦.中国艺术时空():.():.第 卷 第 期基于改进生成式对抗网络与矢量绘制技术的古蜀锦纹样数字化研究 .