中国古画人工智能修复方法研究与实践.pdf

144中国古画人工智能修复方法研究与实践刘卉元 中国艺术研究院工笔画院由笔者主持的国家社科基金艺术学青年项目“基于神经网络算法的古画图像还原修复方法研究”课题组在采访中国古画修复专家、调研分析人工智能虚拟修复特点的基础上，提出中国古画数字图像 AI 算法修复的科学方法，其中包含修复流程、评价标准和算法选择。与此同时，课题组通过算法筛选、训练、优化，最终得到适应中国古画修复的人工智能深度学习算法 ACP-LaMa。该算法成果适用于较高清晰度的复杂古画图像修复，且可以较理想地还原中国古画的艺术特色。2023 年，笔者申报中国艺术研究院科研项目“中国古画图像算法修复研究”，进一步优化修复流程和算法表现，并将算法应用拓展到书法作品和工艺美术图像修复等领域。目前，项目成果得到了多位古画修复领域专家的关注和认可，现已申报国家发明专利，并与修复机构开展合作。一、古画人工智能修复的意义（一）辅助传统古画修复古画图像人工智能虚拟修复可以在短时间内为修复工作者提供多种可视化的虚拟修复结果作为修复参照。这种将原来抽象的修复目标具体化、明确化的方法，可有效缩减修复准备工作的投入，最终提高实物古画修复工作的时效性、准确性和可靠性。（二）辅助古画文物保护数字图像虚拟修复不接触原作，能避免对文物的接触和伤害。同时，虚拟修复过程中完成的修复报告和标注，也可以作为学术资料更广泛地运用于文物保护辅助工作。（三）服务我国优秀传统文化推广气息残破、古旧的国画通过数字化修复，转变为符合大众审美喜好的图像作品，能够得到更广泛的传播和展示，是传承中华优秀传统文化的有益方式。二、古画人工智能修复的难点（一）高清图像修复现有技术多针对低清晰度照片类别的图像，而古画扫描或拍照的图像清晰度较高、文件较大。（二）大面积图像修复能力修复算法能理解画面全局的图像信息，而非仅基于缺损周边的少量像素推理缺损，易实现对大面积缺损部位的准确填充。（三）更好地表现中国古画艺术特征修复算法能够较好地表现画面纹理、质感、色彩过渡，线条修复需符合国画用笔，修复区域能表现出中国古画的艺术特征。（四）修复结果的客观性用于训练的数据是否充足和数据是否具备专业性、收敛性，直接影响修复结果是否能在客观上优于人工判断。（五）算法过程优化运算过程要求高效、资源优化，避免运算时间过长、运算资源使用过多等问题。（六）简单易操作修复过程要便于非计算机技术人员学习、使用，这样才有利于在文物保护和美术研究工作者中推广和使用。三、中国古画人工智能修复方法系统构建传统的人工古画修复是一个流程完备、标准清晰的系统性专业，有独立的学术位置。因此，古画算法修复应该参照人工修复的历史经验，总结出一套具有科学性、系统性、可靠性且符合数字图像虚拟修复逻辑的技术方案、修复流程和评价准则。本课题组采访了十余位文物修复保护领域的专家学者，基于中国古画修复工作的现状和需求，梳理出适合于中国古画数字化图像智能修复的实施方案。深度学习算法是当下最具潜力的 AI 图像修复方法，因此课题组将其作为课题研究和实验的核心目标。（一）数据准备工作传统古画修复工作主要依靠资料、经验和学养，人工智能算法的表现则依赖大量的相关数据训练。本课题选取中国古代绘画作为数据训练基础。1.数据收集并建立数据集课题组共整理了中国古画图像 2 万余张，通过定制的软件将图像拆分为 30 万张古画图像，并且持续进行更新补充。2.数据分类处理将全部数据分为 6 个子数据库，具体如下（表 1）:表1 中国古画图像子数据库列表子数据库名称中国古代壁画人物图像子数据库中国古画线描图像子数据库西藏古代绘画子数据库中国古画人工数字修复对照子图像库 中国古画花鸟画子数据库中国古画山水画子数据库以上所列举的子数据库都涉及数据对比图像组，以便算法更容易收敛，如图所示（图 1）。（二）修复流程设计1.流程设计依据若想让算法在古画修复的实际工作中充分发挥作用，就需要参考传统古画的人工修复流程与原则，设计完备的算法修复步骤或软件工具。（1）“洗”：通过图像“去噪”算法，去除画面上细小的斑驳、污渍。（2）“揭”：通过图像编辑软件将画面中错位、沉降和碎片等情况进行复位。（3）“补”：通过中国古画图像修复算法，修复画面的大断裂和大面积缺失。（4）“全”：通过中国古画图像修复算法，修复小的病害、变色和线段缺失。艺术现场中国古画人工智能修复方法研究与实践145146艺术学研究 2024年第2期2.修复实施流程为实现对古画数字图像的最优修复，需多个修复步骤协同完成，也需确定每个步骤的评价标准。首先，修复古画前，需进行破损标注、色彩采集和制定修复策略。复杂病害应分层次修复，逐步实现从纹理、色彩到线条的匹配填充。其次，修复过程中，每个步骤需对比修复标准，未达标处需进行多次算法修复。最后，进行结果分析、问题总结和报告撰写，对修复不够理想的区域可以采用绘图软件加以辅助。本课题组根据实际实验经验归纳了修复流程图（图 2）：（三）中国古画修复的视觉标准和评价方案通 过 对 照 传 统 书 画 修复标准，并结合专家指导意见和进行课题组讨论研究，我们将“洗”“揭”“补”“全”确定为中国古画数字化修复的评价标准。传统书画修复工艺讲究达到“四面光”，因此数字化修复同样应做到高度匹配、浑然一体。修复目标方面要求“修旧如旧”；而修复程度则可划分为“轻度修复”“中度修复”和“高度修复”。（四）中国古画智能修复算法系统整体规划本课题组从学科性、系统性、应用性出发，综合数据准备、算法筛选、流程设计和评价标准，做出中国古画智能修复算法系统的基本规划，具体内容如下（表 2、图 3）：图1-1 宋八十七神仙图仙女。图1-2 宋朝元仙仗图仙女。图1-3 清朝元图仙女。图1 古画道教卷轴画仙女绘画对比图。147艺术现场中国古画人工智能修复方法研究与实践图2 中国古画智能修复算法修复工作流程图。表2 中国古画智能修复算法系统的基本规划步骤算法修复流程传统评价标准算法修复标准“洗”图像去噪滤波算法去噪去除椒盐噪点（1）“如稍明净，仍之为妙。”（周嘉胄）（2）“不可数洗”，“尘垢皆去，纸墨不动”。（米芾）（3）“不可频洗。”（张丑）（4）“画复鲜明，色亦不落”（张彦远）；“不损古墨，不伤古泽”（周二学）。（1）去除图像中椒盐噪声点，去除原作上小尺度的虫蛀、霉斑、小块剥落产生的斑点，不会使画面颜色和清晰度发生明显变化。（2）去噪过程使画面看上去更干净，但不可去除有价值的画面信息。“揭”画面归位绘图工具拆分画面将画面复位（1）“书画性命，全在乎揭”，即不可破坏原画面。（2）书画错位处要“挤缝”，要避免画意断裂。将移位、错位、沉降等画面区域挪移到恰当位置，使画面完整、整齐、连贯。“补”大面积修复算法大面积修复“明显断裂”算法大面积修复“大面积缺失”（1）“补缀，须得书画本身纸绢质料一同者”（周嘉胄），即材料保持一致性。（2）壁画填补要尽量与原壁材料一致，牢固性好。（3）“正其经纬”“润洁平稳”。（文震亨）（4）“绢须丝缕相对，纸必补处莫分。”（周嘉胄）（5）最小干预。（1）断裂处填补的颜色和基底与原画基本一致。（2）颜色自然、古朴和谐。（1）断裂和破损边缘边界过渡自然，不可分辨。（2）色彩层次丰富，能体现出古画自然老化的画面特征。（3）纹理、肌底特征与周边匹配。（4）大面积缺失可多次算法修复叠加。“全”小面积和线段全色接笔算法“全色”修复“小面积模糊、变色、剥落等”（1）修旧如旧、最小干预。（2）补色和接笔必须有根据。（3）“形似须全其骨气”，“须神韵而后全”，全色区域需达到“气韵生动”。（张彦远）（1）填补颜色与原画和谐一致；肌理与原画缺失部分肌理匹配。（2）修补部分不破坏原有画面信息表达。算法“接笔”修复“线条和笔墨痕迹损失等”（1）线条特征符合国画墨线的风格，用笔的提、按、转折和用墨的皴、泼、晕染等特征自然和谐。（2）线条或墨色连接、过渡平滑自然，墨色的深浅、浓淡、干湿能够表现出来。148艺术学研究 2024年第2期四、中国古画修复算法研究和实验分析（一）算法筛选课题组对近 60 种算法方案进行调研、分析和实验，分析过程如下：首先，筛选过程先排除不具备学习能力的传统算法，这类算法修复精度较低。其次，深度学习算法中，大部分可处理图像的像素水平低，运算能力不足，不符合古画扫描或拍照图像的数据特征。最后，淘汰图像理解能力较差，且不具备大面积缺损修复能力的算法。（二）算法优化与训练课题组基于大量的算法调研和实验，筛选采用了适用于大面积图像缺损的“基于傅里叶卷积”的大型掩码修复方法，通过优化算法中的 LaMa 掩码策略，以前文所述“中国古画数据集”作为算法训练对象，得到理想的修复方法ACP LaMa。该算法具有以下优势：图3-1 山西菩萨壁画原图。图3-2 “洗”去掉画面噪点。图3-3 “揭”图像断裂，错层复位。图3-4 “补”明显的断裂和脱落。图3-5 “全”“全色”小面积脱落。图3-6“全”“接笔”线段和画面微调。图3-7 局部“全”修复对比之一。图3-8 局部“全”修复对比之二。图3 菩萨壁画图像智能修复流程演示和局部修复结果对比图。3-13-53-63-73-83-73-83-23-33-4149艺术现场中国古画人工智能修复方法研究与实践第一，项目采用快速傅里叶卷积（FFC）的修复网络，允许运算获得覆盖整个图像范围的感受野，使网络能够泛化到可以处理高分辨率图像。第二，使用基于高感受野语义分割网络的感知损失函数，可以让算法较好地理解全局图像信息，可以有效推理大面积缺损区域信息。第三，优化原有掩码策略，新增符合中国古画图像缺损和病害特点的裂纹掩码策略和多点掩码策略，提高了训练后的算法对修复对象的理解。第四，中国古画人工智能修复方法（ACP-LaMa）单阶段运算可以达到较为理想的效果，节省运算资源，运行效率高。第五，设计将面向用户开发“傻瓜式”算法操作系统，操作界面友好，功能简约、灵活性高，非技术人员也能快速掌握。经过实际案例实验，ACP-LaMa 人工智能图像修复算法基本达到了以上五点要求。以下为案例展示（图 4）：图4-1 永乐宫壁画白描局部。图4-2 人工添加破损区域。图4-3 CoModGAN算法修复。图4-4 MST-Net修复结果。图4-5 本文方法修复结果。图4 永乐宫壁画白描局部多种算法的修复对比图。由算法修复效果对比图可以看出，ACP-LaMa 可以很好地理解中国画的线条信息和艺术特色，可以较为准确地还原被破坏的图像。另外两种对比算法修复表现优秀、修复逻辑贴近古画修复需求的算法，但线条修复能力不足。五、中国古画算法图像修复实例（一）图像修复流程1.病害标注和数据采样课题组以四川宝梵寺壁画作为修复对象，选取达摩朝贡图的局部数字化扫描图像开展人工智能算法修复，修复前图像如图 5-1 所示，病害种类较多，病害情况复杂，并且影响到对人物形象的辨识，主要病害类型如图 5-2 所示，小面积病害由课题组标注如图 5-3 所示。下图（图 5）来源于宝梵寺壁画数字化勘察测绘报告，报告详细记录了勘测壁画的病害标注、色彩采样和分析结果。2.算法修复过程（1）“洗”：该图像点状病害较少，画面较为干净、明亮，经判定不需要进行“去噪”处理。（2）“揭”：该图像没有明显的沉降、错位和错层，经判定无需进行画面复位。（3）“补”：该图像上有一条贯穿佛像面部的横向裂痕，右侧眼部附近有大面积脱落，背光、胸部和白色衣物均有大面积稀碎脱落区域，通过 ACP-LaMa 算法进行 1 至 2 次打掩码修复，修复效果理想。图5-1 达摩朝贡图的局部原图。图5-2 主要病害标注。图5-3 小面积和线段病害标注。图5-4 修复结果。图5 达摩朝贡图局部病害标注和修复前后对比图。5-15-25-35-4艺术学研究 2024年第2期150151艺术现场中国古画人工智能修复方法研究与实践（4）“全”：图 5-3 标注的小面积病害和线段问题，相关病害多且杂，需要仔细修复，大部分区域打 1 次掩码可达到理想效果，少数区域需要 2 至 3 次修复。（二）修复结果及评价综合修复结果，本课题采用的中国古画算法修复方法基本达到了课题制定的评价标准。该实验采用的是“中度修复”的标准，遵循最小干预原则，并没有进行精细化修复，而是保持了画面整体统一、古朴的特征。每一处破损都采用 1 至 3 遍算法修复，视觉上基本达到修复标准要求即可。各个环节的修复基本上都可以达到色彩过渡自然、色块衔接合理、线条平滑、墨色讲究、艺术风格统一和纹理匹配准确。课题组邀请修复专家对修复结果的“客观性”进行评价，修复专家认为此次修复基本达标。同时，该算法对古画面部信息的理解还有待提高，眉毛和眼角的修复有所欠缺，可由绘图工具加以辅助。局部修复结果对比如图（图 6）。（三）其他实验案例（图7图9）图7 宋代绢本绘画孔子弟子局部图像修复对比图。图6 局部沥粉贴金技法修复和线段修复对比图。152艺术学研究 2024年第2期图8 明代张弼书法作品局部图像修复对比图。六、研究成果的创新性价值由课题组提出的中国古画图像修复的 AI 深度学习算法 ACP-LaMa，基于制定科学的修复流程和评价方法，可对中国古画数字图像进行高效的虚拟修复，是人工修复向科技修复发展的实践案例。项目算法成果可以全局理解较高清晰度的中国古画图像信息和中国画线条特征，对大面积缺损修复效果较为理想；修复区实现了笔墨语言、色彩信息和纹理质感与原图匹配，修复区域基本达到气韵生动、肉眼难辨的效果。算法应用运算高效、操作简明，适用于多类型中国古画修复，具有良好的推广性。“基于神经网络算法的古画图像还原修复方法研究”项目通过跨学科视角将文化、艺术和科技进行联动，应用于辅助文物修复保护、美术研究和公众服务等领域，综合实现了其学术价值、应用价值、社会价值和时代价值。图9 故宫藏“漆器”作品局部图像修复对比图。责任编辑：杨梦娇本文系国家社科基金艺术学青年项目“基于神经网络算法的古画图像还原修复方法研究”（项目批准号：17CF198）阶段性成果。