基于生成式深度学习方法的交互式徽标辅助设计系统研究.pdf

270摘要：深度学习方法已应用于徽标设计领域，但现有的徽标设计工具缺少用户参与，无交互式编辑功能，在生成过程中缺少人机协同的考虑。因此，文章基于生成对抗网络模型，以及对于潜在空间的编辑控制，构建基于深度学习的交互式徽标设计系统 LogoPaint，系统包含了输入、编辑、形状生成三个模块，并通过用户测试检验系统的性能。通过用户测试以及测试结果，证明该系统可以满足徽标设计的创作需求。基于深度学习技术的交互式徽标设计综合框架，能够有效辅助设计师完成徽标设计的构思过程，为深度学习技术在徽标设计领域的应用开创了新的思路。Abstract：The deep learning method has been applied to the logo design field,but the existing logo design tools lack user participation and interactive editing function,and lack the consideration of human-computer cooperation in the generation process.Based on the generative adversarial network and the editing control of potential space,LogoPaint based on deep learning is constructed.The system includes three modules:input,editing,and shape generation.The performance of the system is tested by user tests.Through user testing and test results,it is proved that the system can meet the creative needs of logo design.Conclusion the comprehensive framework of interactive logo design based on deep learning technology can effectively assist designers to complete the design process of logo design,and create new ideas for the application of deep learning technology in logo design.关键词：徽标设计；人机协同；设计系统；生成对抗网络Keywords：logo design；man-machine cooperation；design system；generative adversarial network文应吉晨浙江工业大学设计与建筑学院硕士研究生DOI：10.19875/ki.jzywh.2023.11.086引言徽标设计是一个漫长且费时费力的过程，并且要求设计师具备专业设计知识及丰富的设计经验。一系列生成模型的出现改变了传统徽标设计的范式。在设计中引入人工智能，能够帮助设计师快速创造性地产生创意和探索视觉效果，缩短设计构思的过程。不仅减少完成项目所花费的时间，还降低了设计的资金投入。近年来，深度学习技术在徽标设计领域应用已有初步的探索。Sage1等人提出了一种基于合成标签的聚类生成对抗网络 LCGAN，解决了徽标多模态训练不稳定的问题，首次将人工智能应用在徽标创意设计领域，并且提供了一个非常有前景的研究方向。Mino2等人提出了 LoGAN 生成模型，运用 Wasserstein GAN 来生成以十二种不同颜色为条件的徽标。Oeldorf3等人提出将描述性标签作为条件的生成模型 LoGANv2。Zhao4等人开发了一个复合徽标生成系统 ICONATE，用于自动化生成给定复合概念的图标，以促进快速的复合徽标的创建和构思。此外，Atarsaikhan5等人使用风格迁移创建带有新风格样式的徽标。然而，目前基于深度学习的徽标设计研究存在两点挑战：（1）生成模型在可用性以及交互性上较差。没有提供直观的用户控件更改生成过程，无法根据设计任务的变化控制最终的输出结果。（2）设计质量不稳定。生成结果缺乏人类设计师的特定设计知识、美学和文化。为了解决上述问题，本文构建一个基于生成式深度学习方法的交互式徽标辅助设计系统。系统由输入、编辑、形状生成三个模块构成。通过潜在空间编辑以及图像变形控制实现交互式编辑生成。首先，对输入的图像进行投影编码；其次对投影向量进行编辑操作获得调整后的徽标；最后，系统通过在输入的徽标与选择偏好徽标之间生成融合形态的徽标。在设计徽标的过程中，设计师均可对系统生成的徽标方案进行在线编辑反馈。该工作是基于深度学习的模型提出了一个交互式框架，用于设计师与生成系统的交互式协同创新。系统提供了可供设计师与生成系统交互的用户控件。通过图形化系统界面，设计师可以直观地操作系统完成设计方案输出。1 徽标智能设计1.1 徽标智能设计的概念徽标是由整洁、清晰的线条和色块构成的，通过抽象的图案传达对应的含义6。与数据平滑分布的真实图像不同，徽标的数据分布更加离散，所以徽标生成比普通的图像处理更具挑战性。图标的智能设计方法是指使用人工智能和深度学习技术来自动化徽标设计过程。智能徽标设计的目标是创建更高效和用户友好的徽标，并减少设计师创建高质量徽标所需的时间和精力。智能图标设计的研究主要集中在几个关键领域，包括图标自动生成、图标个性化、图标优化、图标推荐等。其中，图标自动生成领域的研究重点是开发能够根据尺寸、颜色、形状等特定标准自动生成图标的算法。这将创建更高效和一致的图标设计，让设计师腾出时间来完成更具创造性的设计任务。深度学习模型的进展能够使深度模型应用于徽标设计领域，与传统的人工设计徽标相比，生成模型可以缩短设计流程，高效地完成徽标设计方案。随着技术的不断进步，这些生成模型很可能会变得更加智能，从而推动更加高效和有效的图标生成。图标自动生成技术不仅有助于设计师，还可以为没有图形设计经验的人提供帮助，这使得他们能够轻松创建高质量的图标方案。随着技术水平的不断提高，图标自动生成技术将变得更加完善和易于使用，并且可以应用于更多的场景。总的来说，图标智能设计方法的研究是一个不断发展的新兴领域，有可能对图标的设计和可用性产生重大影响。1.2 生成对抗网络生成模型的进展为徽标生成系统提供了可行的框架。Ian Goodfellow7提 出 了 基 于 博 弈 理 论 的 生 成 对 抗 网 络（Generative Adversarial Networks，GAN）。GAN 主要由生成器和鉴别器共同组成，向生成器输入符合正态分布的噪声向量G（z），得到一个拟合真实数据分布的假图像，由鉴别器判断数据是否为真。生成器与判别器在博弈状态下进行循环训练，并使鉴别器和生成器使用函数（1）进行极小和极大博弈，其中，鉴别器试图最大化 V，而生成器 G 试图最小化，最终达到最佳的生成效果。生成对抗网络可以定义公式为：其中为生成器，为鉴别器。为真实数据分布，是生成数Research on Interactive Logo Aided Design System based on Generative Deep Learning Method基于生成式深度学习方法的交互式徽标辅助设计系统研究271236|2023|11艺术设计据分布（图 1）。GAN 的生成图像通常是由高维潜在向量输入生成的，这些由潜在向量所组成的空间被称为潜在空间。这些潜在向量通常在一定范围内随机生成，例如从均匀分布或高斯分布中采样。潜在空间是一个多维向量空间，其中包含了可以生成 GAN 生成器能够生成的所有图像的向量表示。潜在空间通常具有高维度，这意味着每个潜在向量都可以对应于一个唯一的图像。通过在潜在空间中对向量进行微小的调整，可以生成与原始图像相似，但又不同的新图像。潜在空间的另一个重要特征是，它通常具有很好的连续性和可计算性，这使得在潜在空间中进行插值、平均或向量算术等操作成为可能。这些操作可以用来生成具有特定属性或特征的图像，或者用来探索潜在空间中的图像结构和模式。2 徽标生成设计系统 LogoPaint设计系统命名为 LogoPaint，设计系统包含三大功能：手绘输入、在线编辑以及形状生成。在下文中，首先介绍各个模块的操作步骤和功能，然后介绍每个系统模块实现的技术细节。2.1 系统操作界面步骤 1（a）是生成系统的人机交互的输入步骤，旨在拓宽人机交互的输入方式。在输入步骤中，采用手绘输入草图的方式，因为对于设计师来说，手绘能够快速将设计想法可视化。在输入界面中，提供了画笔、擦除、返回等常规绘画工具，支持设计师的自定义输入。点击“完成”按钮后，输入的设计材料将被发送到编码器。图 2 概述了输入模型架构。输入模块有两个主要功能：（1）可以提供手绘草图输入。（2）将输入图像嵌入潜在空间，提供后续的编辑。步骤2（b）允许用户调整预处理后的徽标草图，探索更多的替代方案，例如多属性上的探索。系统可以保证整体图像不突变的情况下，改变图像的部分特征，将徽标更改得更流畅或者线条的粗细更加均匀等。系统设置了一列滑块，每个滑块被设置为在潜在空间的特定语义方向上扰动给定的样本，允许用户针对特定属性修改原始的设计方案。系统左下一栏提供了调整特征参数，用户通过移动滑块修改参数，系统界面中向用户呈现修改特定属性后的徽标预处理图像。徽标编辑具有两个主要功能：（1）原始徽标的多方向属性上修改。（2）呈现徽标预处理后形状。步骤 3（c）旨在在两个徽标之间创造融合的中间方案，通过两个目标概念之间连接形成创新的设计概念。经过训练的 GAN 生成器可以用作特定域内噪声向量和生成形状之间的映射。形状生成的用户界面包括显示当前编辑照片的主窗口、显示上传的徽标形成的数据库，以及用于说明原始照片和最终结果之间的插值顺序的显示框。首先，用户在数据库浏览候选徽标结果；其次，用户从数据库选择希望融合的意向徽标。用户完成一次编辑后，系统会在界面中呈现输入和最终意向徽标图片之间插值的融合方案，中间结果是兼具两者徽标特征的中间结果。用户可以重复此项操作直至生成出满意的设计方案，多次的操作过程会在系统界面中生成一个可供挑选的方案矩阵。交互式形状生存模块具有两个主要功能：（1）设计师可以通过偏好选择融合对象生成意向方案，并从一系列的组合形状中寻找创新方案。（2）促进对特定徽标设计方案的迭代。2.2 系统框架徽标生成系统主要由三个关键组件构成：输入模块、编辑模块和形状融合模块。首先，系统对输入的手绘草图进行编码重建，通过梯度下降的方法重建图像并得到潜在空间中的编码；第二，通过对潜在空间中图像变量的编辑得到基于初始方案的诸多变体方案；第三，系统对两个潜在空间中的向量执行插值来创建一系列新的设计方案。2.2.1 输入模块输入模块。Lipton8提出关于在 GAN 模型潜在空间中找到对应输入图像向量的方法。如图 3 所示，在潜在空间中输入模块输入的图像 P，通过梯度下降的方式重建图像并将投影至潜在空间获取对应的隐向量，以便操作生成系统对初始方案进行进一步的编辑。输入模块实现图片重建的核心组件由编码器组成，编码器是将一幅给定的图像转换到预训练的 GAN模型的潜在空间中，从而使生成程序能够从反求的代码中重建出图像。图像嵌入编码器由图片编码器、生成模型和感知器组成。潜在空间投影分成三步，首先是通过图像编码进行图像阈的均值初始化，寻找一个逼近的向量，生成模型根据生成图像，感知器通过对比生成图像和输入的真实图像，使用梯度下降8寻找一个优化的向量，最小化损失函数（2），以度量给定图像和由生成的图像之间的相似性，经过训练迭代后最终得到最优向量。最小化向量的公式如下：图 1生成对抗网络模型架构（图片来源：作者自绘）图 2LogoPaint 的系统界面（图片来源：作者自绘）图 3系统框架图（图片来源：作者自绘）272参考文献：1Sage A,Agustsson E,Timofte R,et al.Logo synthesis and manipulation with clustered generative adversarial networksC/Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,2018:5879-5888.2Mino A,Spanakis G.Logan:Generating logos with a generative adversarial neural network conditioned on colorC/2018 17th IEEE International Conference on Machine Learning and Applications(ICMLA).IEEE,2018:965-970.3Oeldorf C,Spanakis G.LoGANv2:Conditional style-based logo generation with generative adversarial networksC/2019 18th IEEE International Conference On Machine Learning And Applications(ICMLA).IEEE,2019:462-468.4Zhao N,Kim N W,Herman L M,et al.Iconate:Automatic compound icon generation and ideationC/Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems,2020:1-13.5Atarsaikhan G,Iwana B K,Uchida S.Contained neural style transfer for decorated logo generationC/2018 13th IAPR International Workshop on Document Analysis Systems(DAS).IEEE,2018:317-322.6Ad G,Adr V,Pascu N E.Logo design and the corporate identityJ.Procedia-Social and Behavioral Sciences,2012,51:650-654.7Goodfellow I,Pouget-Abadie J,Mirza M,et al.Generative adversarial networksJ.Communications of the ACM,2020,63(11):139-144.8Barratt S,Sharma R.A note on the inception scoreJ.arXiv preprint arXiv,2018:1801.9Szegedy C,Vanhoucke V,Ioffe S,et al.Rethinking the inception architecture for computer visionC/Proceedings of the IEEE conference on computer vision and pattern recognition,2016:2818-2826.10Lipton Z C,Tripathi S.Precise recovery of latent vectors from generative adversarial networksJ.arXiv preprint arXiv,2017:1702.11Zhu J Y,Krhenbhl P,Shechtman E,et al.Generative visual manipulation on the natural image manifoldC/Computer VisionECCV 2016:14th European Conference,Amsterdam,The Netherlands,October 11-14,2016,Proceedings,Part V 14.Springer International Publishing,2016:597-613.其中，是输入图像，为预训练模型，是图像中标量的数量，是需要优化的潜在代码，为卷积层输出的特征图，是第 j 层输出中的标量数。2.2.2 编辑模块徽标编辑模块。编辑修改模块由转换器和生成器组成9，该模块学习如何转换向量，以便当输入到生成器时，生成图像的相关属性发生变化。徽标编辑是通过编辑向量完成的，其中数据项测量与约束的偏差，平滑项强制在潜在空间小步移动，因此图像的内容不会发生很大的形变。编辑的操作被定义为：其中，为可调节的特征参数，为潜在空间中学习到的方向。2.2.3 形状生成模块形状生成模块。在形状生成模块的实现中，使给定两个具有各自向量的徽标图像，通过线性插值实现图像融合。潜在向量的插值是探索和可视化生成图像潜在空间的有效方法。在形状融合实施中，将使用线性插值作为交叉操作来保持潜在空间的预期分布，每次移动相等的增量，能够得到有规律、渐进的变化图形。线性插值公式：生成模型从编辑模块中接受对应的初始向量；然后在用户可以选择喜欢的图像，编码器会将图像投影至潜在空间并找到对应的向量；下一步通过对两个向量执行、线性插值，用第一等分与第一等分相替换，便完成了一个插值操作并获取新一代向量，新的潜在向量群用于生产一组新的图像。执行完第一代的操作后，用户可以通过选择外部的图像，引入新的向量执行第二代的交叉操作同时更新潜在向量群。用户可以自由地继续迭代生成过程，直到用户停止循环迭代或达到最大的次数。3 用户测试本文采用定性评估的方法验证系统的性能。邀请 20 人（10 名专业设计师、10 名新手设计师）参与用户测试。评价将从两个方面来验证系统：（1）实验人员在无指定主题的情况下设计图标。（2）实验人员在指定特定主题的下设计图标。要求参与者在限时 5 分钟内完成实验。完成实验后，实验人员需要填写一份 5 级制的里克特量表。量表从 10 个方面对设计系统进行打分，这 10 个标准是易用、友好、沟通、灵活、及时、预先设定、个性化、满意度、有趣和有效（表 1）。综合实验数据，参与者对设计系统很满意。每个项目的综合平均分都在 3 分以上，其中有 6 个项目得分超过 3 分（易用、友好、灵活、及时、个性化、满意度）。结合统计以及相关实验人员的用户访谈，LogoPaint系统的图形化操作界面能够显著提高用户体验，能够让没有技术背景的设计师快速掌握生成模型的使用。其次是能够随时修改的功能，能够有效辅助设计师在设计过程中构思方案，节约了反复改稿的时间。综上所述，图标设计系统是一个灵感碰撞的过程，极大地激发了设计师的创作灵感。基于深度学习的交互式徽标设计方法能够满足设计师的设计创作需求（图 4）。结语人机协同生成徽标是一个综合设计学领域和计算机领域的交叉尝试，对研究人员来说是一个具有挑战性的研究方向。本文提出了针对徽标设计的交互式生成系统。系统提供了人机协同的创新平台，通过设计师与人工智能系统的协作，解决徽标设计的问题，展示了如何对徽标进行交互式编辑生成，并在徽标设计过程中，结合了设计师的交互控制与深度学习模型的生成能力，提高了徽标设计质量以及设计效率，构建了一个以用户为中心的交互系统界面，以直观可视化的方式让没有技术背景的设计师能够与人工智能系统合作。经过评估，系统能够输出高质量的设计方案。虽然该系统对专业徽标设计师来说生成的效果与专业渲染图之间还存在一定差距，但能帮助设计师高效地构思创意以及完成徽标设计的快速表达。人工智能正在深刻地改变设计创新的流程以及方式。在促进设计师与人工智能的协作方面，工作初步验证了人机协同创新的可行性，并为其他基于深度学习的设计工具提供了经验。表 1李克特量表结果（图片来源：作者自绘）图 4设计方案效果（图片来源：系统生成）