生成对抗网络在艺术设计领域的创造潜能研究.pdf

包 装 工 程 第 44 卷 S1 期 24 PACKAGING ENGINEERING 2023 年 4 月 收稿日期：20230131 作者简介：王士顺（1988），博士，山东工艺美术学院讲师，主要研究方向为设计学交叉学科。生成对抗网络在艺术设计领域的创造潜能研究 王士顺（山东工艺美术学院，济南 250300）摘要：目的目的 本研究提供对生成艺术美学价值的技术调查，并为他们在选定的艺术设计任务中的应用提供新思路，这些任务涉及根据特定样式创建和分析的艺术设计形式。方法方法 分析由生成对抗网络模型产生的二维及二维拓展三维的艺术设计创造示例研究，引入并显示用于小型训练集的技术，以提高合成设计的视觉质量及创造潜能。结果结果 尽管生成对抗网络作为深度学习中的新兴研究领域，已展示出令人印象深刻的综合设计能力，但它们在艺术设计中的应用受到限制。本研究的实验结果证明了如何利用训练数据来控制生成作品的艺术创造力及机器作品的美学价值和多样性。结论结论 最后，实验证明如何将生成对抗网络用于分析，以深入探索由该技术形成艺术设计作品的美学评估。关键词：生成对抗网络；艺术设计；艺术创造力；美学评估；美学价值 中图分类号：TB472 文献标识码：A 文章编号：1001-3563(2023)S1-0024-05 DOI：10.19554/ki.1001-3563.2023.S1.004 自生成对抗网络诞生以来，对其研究已经成为机器学习领域的一个热点。它利用对抗学习的机制训练模型，解决了当年生成算法无法解决的问题。1比如人们在亚马逊上收到购物建议，以及可以借助谷歌提醒每日行程和安排，特斯拉已在自动驾驶方面投入了数百万美元，此类案例在持续发生。每当大众从 AI领域中排除某些东西时，研究人员就将其视为要克服的挑战。但是，上述所有任务都被认为是机械的，因为它可以通过数学建模并依靠计算机执行。可以预测在不久的将来 AI 的发展，并想象通过应用程序或计算机程序执行任何机械任务。但是机器可以创造艺术吗？机器是否可以在艺术设计中发挥其作用？艺术设计创作是数学上可建模的任务吗？AI 在未来艺术设计领域的创造潜能有多大？机器美学如何得到评估？生成艺术是否可以具备美学价值？计算生成艺术设计相关的研究人员长期以来一直在寻求能够实现将计算机从笨拙的绘图机制提升到能够作为协作伙伴或主要作者参与设计创作的人工智能代理的目标方法。诺韦格（谷歌公司研究人员）2将这种基于代理的人工智能定义为能够学习和解释经验以适应性地实现目标的能力。创建这样的代理的影响可能会改变艺术设计相关学科。作为设计过程中的合作伙伴，这些代理可以通过帮助艺术家及设计师更有效地进行设计创作探索。随着设计角色变得更为自主化和某些设计任务变得完全自动化，他们可能会重新定义架构师的角色。尽管这些人工智能代理的 开发进展有限，但 AI 研究的最新进展有潜力使这些更进一步变为现实。机器学习是 AI 的一个子领域，致力于研究识别数据模式的技术。机器学习领域中深度神经网络的出现彻底改变了涉及识别数据定性模式的任务的自动化。这些深层的判别模型表现出色，甚至在图像和声音识别等各种各样的分类任务上也能胜过人类专家。这些“深度生成模型”的研究较少，但正在成为主要的研究领域。生成对抗网络是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。它作为深度学习中的一个新兴研究领域，已展示出令人印象深刻的综合设计能力，但是，它们在艺术设计中的应用受到限制。近几年，在计算机生成艺术作品中已经证明了生成复杂性的水平，虽然这在计算生成设计中的先前案例中是无法证实的。但他们有能力从示例中学习并推断出学习到创建新实例的潜能可能会影响许多与艺术设计相关的学科，并在生成二维平面图时仅以有限的方式探索了它们在艺术设计中的应用。1 生成设计中的先前方法 先前关于计算生成设计的研究已经探索了范围广泛的确定性（即始终从相同的输入产生相同的输出）和非确定性（即通常从相同的输入产生不同的输出）的方法来解决艺术设计相关领域自动化的问题。第 44 卷 S1 期 王士顺：生成对抗网络在艺术设计领域的创造潜能研究 25 这些方法可以分为：优化和搜索、基于物理的算法和概率算法。1）优化和搜索算法。优化和搜索算法已经在许多工程领域设计方面得以应用，以及在艺术设计上尝试了各种设计任务，如计划生成，它们在该学科中的应用证明了可以通过确定性和非确定性方法查找设计的能力。2）基于物理的算法。基于物理的算法将自然界中发现的表单生成过程抽象为基础，以生成建筑设计外观。该领域中的一些早期工作使用基于物理学的计算机动画技术通过模拟力创建了示意建筑体。最近的工作将复杂的物理模拟与数学增长模型结合起来以生成结构设计。3）概率算法。概率生成方法使用从示例设计生成的概率分布来指导新方法的创建。马尔可夫链已用于生成城市计划。该领域的研究证明了从经验中学习和解释数据的能力，该方法大大优于概率模型能够完成这些任务的精度。总而言之，根据诺韦格（谷歌公司研究人员）给出的定义，大多数调查的生成方法几乎没有人工智能。具体而言，他们表现出的经验学习能力和为生成设计的目标而自适应地解释该经验的能力很小。2 深度生成艺术设计作品示例 与先前描述的方法相反，深度生成模型已经证明了能够学习和解释数据以合成二维和三维设计的能力，其复杂性和适应性水平优于竞争方法3。深度生成模型通过使用多层人工神经元来创建分段的高维函数来实现此目的，该函数可以逼近概率分布，该概率分布突显了 2D 和 3D 设计示例的定性特征4。这些概率的抽象表达甚至已被可视化，并用于分析特定二维图像的深层组织性质。2.1 二维生成示例（艺术作品）时间的概念造就了现实世界的二维表达，人类视觉能力的有限性决定了要靠感知去了解更多的外在环境，但仍然视二维的表达形式为视觉上的常用方式，计算机对于图像的处理同样基于二维的平面化表现，将较为深层的、机器可识别的潜在关系进行图像化处理。数学计算本身就是抽象的，艺术同样也可以是抽象的，因此，将两者结合，以此来探索和设想未知的感官世界，是一次进化的过程。人为艺术作品（左）和生成对抗网络模仿的作品（右）见图 1，显示的是 2020 年中央美院应届毕业生毕业设计中的一幅作品，是借助生成对抗网络模型分析形成的设计作品。创作过程。机器学习或者讲深度学习的过程，同样具备数据及数据特征、模型和训练这些关键的概念。那么此作品数据集部分使用了两类：“第一类就是大量的历史上的抽象艺术的作品，这个数据量还是大且复杂，那么希望通过这一部分的训练，使 AI 或者说使模型对于抽象艺术具备一种通识能力，一部分会不断地生成图像，不断地模仿人为绘制的艺术作品，另一部分则会来判定他是不是人为的作品，哪一些是艺术创造的，哪一些是计算机生成的赝品。这是一种互相博弈的过程，也是在进化中最重要的部分矛盾”5。在整个生成对抗网络的创作过程中，需要人为地和计算机进行合作，让模型协助完成图像的初步筛选、记录过程、完成计算以及拓展作品的知识结构等，高幅度提升人的认知效率，从纷繁复杂的信息中选择需求信息，使人能够更加关注于逻辑和结果。当人和计算机有着共同的方法论（理想），便产生一致的行动，就可以利用感知去更好地想象，这是一种独特的想象，是一种新的灵感产生的来源，然而整个过程中计算力帮你整理和计算。图 1 人为艺术作品（左）和生成对抗网络模仿的作品（右）26 包 装 工 程 2023 年 4 月 当然，在生成对抗网络模型生成的整个过程中，这些网络可以通过监督（即标记培训数据需要大量的人工成本）、半监督（即标记某些培训数据）或无监督（即未标记培训数据）的方法进行培训。生成模仿模型深度生成作品的监控过程见图 2，无监督方法最适合生成设计研究人员，因为与其他方法相比，无监督方法所需的数据准备工作更少。由于这些功能，也是机器学习研究人员中开发最广泛的方法，并且已经开始探索在各种从二维拓展到三维的设计任务中它们的应用。比如早在 2015 年提出的深度卷积生产对抗网络模型的概念，以提高生成对抗网络在显示、识别和合成此类图像的能力。此概念展示了一个与三维相关的图像合成示例涉及使用深度卷积的生产对抗模型，并尝试从真实卧室的示例照片中学习，以便生成新卧室配置的图像。同样把深度卷积的生产对抗模型调整为三个维度，并提出 3D-生成对抗模型用于三维对象的合成，并使用它们来创建家具、车辆和枪支的新设计。虽然先前的工作表明生成对抗模型可以用于三维设计合成，但是它也表明该合成的输出难以控制。例如，不可能生成具有预定义特征（特定的扶手样式等）的椅子。图 2 生成模仿模型深度生成作品的监控过程 2.2 二维拓展三维生成示例（设计作品）无监督式生成对抗网络是使用条件生成对抗网络来允许用户控制图像合成，信息无监督式的生成网络模型试图在解决二维转向三维设计的问题。比如伊索尔62017 年在名为“pix2pix”的软件工具中扩展了条件生成对抗网络模型的使用，以解释设计师的实时草图，从而为产品和空间立面生成新的二维设计。同年他还提出循环生成网络作为条件生成网络的一种通用形式，能够处理不成对的数据以执行 2D 和 3D样式转换任务，其中来自一种设计的定性特征（笔触、调色板、几何语言等）被转移到另一种设计。在此基础上，为了提高二维中生成对抗网络中合成的控制力和保真度，便产生了基于条件熵的对抗性学习推理生成模型。它除了包括在对抗性变分贝叶斯生成对抗网络模型之外，该模型也包含在内。证明了在合成二维图像的控制和保真度方面都比以前的方法有所提高，但是尚未探索它们在三维合成中的应用。生成对抗网络模型能够生成任何深度生成模型中最高分辨率的图像7。该属性与综合问题的范围相结合，可以应用并使它们对艺术设计作品有用。但是，它们在该领域中的使用仅限于二维图像和图形结构的合成。2018 年郑浩、黄伟新应用 pix2pix 生成了单户住宅平面图的二维图像8。他们还探索了 pix2pix以从草图生成城市的航拍图像，以嵌套方式使用pix2pix 来创建嵌套在站点边界内的多单元住宅计 划，并使用信息无监督模型生成了表示单户住宅布局的图形结构。这些都是在使用生成对抗网络模型在二维拓展三维设计作品方向上的尝试。用于风格化建筑计划生成和分析的案例。本部分中探索的生成任务是以勒柯布西耶的作品为代表的具现代艺术设计建筑风格的二维转三维建筑计划的生成。这项任务的培训数据由勒柯布西耶的 100 个来自多个项目的建筑计划扫描图像组成9。相对于使用生成对抗网络的规范，此培训集的规模很小，但是此选择提供了一个机会来测试生成对抗网络在培训集上的功能，而培训集更适合于艺术设计学科。作为参考，已证明可以在图像合成任务中达到最佳性能的训练集大小可以包含 10 000 至 50 000 张图像。平面图是灰度图，并按比例缩放以适合 256 像素256 像素区域。因此，这些计划彼此之间具有不同的规模，从而创建了一套在规模和内容上展现出高度多样性的培训集。这些数据是手工制作的，大约需要 16 个小时。在此生成任务中使用了两种不同的生成对抗网络模型。首先使用深度卷积生成对抗网络，然后使用瓦瑟斯坦距离的生成对抗网络。两种生成网络模型均在 Python 中进行了编码，以进行深度学习。之所以选择这些库，是因为它们具有广泛的文档资料，并且与其他可用选项相比相对易于使用。两种生成对抗网络架构的实现均可通过 GitHub 获得。经过 1000 个训练周期后，由深度生成对抗网络第 44 卷 S1 期 王士顺：生成对抗网络在艺术设计领域的创造潜能研究 27 产生的来自 100 套勒 柯布西耶计划示例图像的训练图像见图 3。由于培训内容的规模和所选择计划的多样性，他们具有粗略的素质，但是它们却揭示了勒柯布西耶计划中常见的组织主题。在图 3 的第一行中，风车图案作为整理装置变得显而易见。这种风车模式在勒柯布西耶的几个项目中都可以找到（例如威尼斯医院、斯特拉斯堡计划中的巴黎宫）。d 和 e 部分显示出在低密度空间密度和高密度空间密度之间协商的螺旋形式，以组织看起来像是围绕其质心的循环核心的运动。生成的计划还揭示了一组轴向轴心，这些轴心创建了不对称的空间对位点，并为聚集的细胞生长提供了支架。图中的 f 部分似乎反映了勒柯布西耶对几何类型的多样化使用，因为它将构图周边的曲线几何与内部正交分隔的网格混合在一起。图 3 100 套勒柯布西耶计划示例图像的训练图像 3 机器艺术的创造力和目标 刚刚描述的示例已导致艺术家、哲学家、设计人员和认知研究人员及程序员怀疑机器是否具有创造潜力。到目前为止，计算创造力已将自己确立为 AI的一个子领域10。西蒙（英国伦敦帝国理工学院计算系研究成员）将其研究定义为：“计算系统的哲学，科学和工程学，通过承担特定的责任，表现出公正的观察者认为具有创造力的行为”。由于该主题需要对通过创造力理解的内容进行一定程度的数学建模，所以将继续对该主题进行讨论。从这个意义上说，波顿（世界上最著名的认知科学家之一）11提出了以下关于创造力的定义：“具有新颖，令人惊讶且有价值的想法或手工艺品的能力”。一般来说，没有人会完全反对这个定义。因此，创造力必须包括新颖性，惊喜和价值。关于艺术创造力的特殊性，正是分析定义中最有争议的部分，也正是定义的“价值”所在。本文尝试表明否认对艺术创作的价值忽略了两个重要的事实：对艺术设计作品的机械评估和机器体现。基于人工神经网络的模型，创新算法已经取得了丰硕的成果。尤其是这些模型的子类型，生成对抗网络使计算机程序阿尔法狗击败了被认为是世界上最佳人类围棋选手的李塞多尔。这项比赛用来表明生 成对抗网络有效地创造了对人类似乎不合理的运动。因此，不再争论算法至少可以创造出新颖而令人惊讶的计算机程序围棋高手阿尔法狗。但是，这与艺术设计创作是同源的吗？对机器创造物的美学评估又如何呢？此处的基本要点是通过结合“创造力”和“计算”概念定义了一种特殊类型的艺术设计作品。因此，机器美学被理解为“艺术品是由某些计算机程序独自运行而产生的，而对人类的干扰很小或为零”。有许多经过训练的算法示例，可以产生美观的输出以供人工评估其价值。此类艺术中最受欢迎的案例之一是油画埃德蒙德贝拉米的肖像，这是利用 AI 生成的作品，于 2018 年 10 月被佳士得拍卖行收得12。此后该计算机生成的肖像作品已被广泛宣传为 AI 艺术品，并成功被首次拍卖。随后，旧金山灰色地区艺术基金会的拍卖会在售出的 29 件机器艺术作品中共筹集了近 100 000 美元13。通过这些成功被拍卖的计算机生成作品，这使人们感到疑惑的是机器是否可以创造艺术品，并获取相应的价值。4 生成作品创造潜能的价值评估。4.1 人类对机器美学价值的评估 如今，人们对机器美学的看法进行了评估。在文28 包 装 工 程 2023 年 4 月 章“将艺术投入人造：对计算机生成的艺术的审美反应”14，研究人员研究了人类观察者如何响应计算机和人类产生的艺术设计作品。研究结果表明，人们对机器美学抱有负面看法，可以预见的是，机器艺术表现出可塑性表征特征的作品被认为比抽象作品更加人为。同样，观察者更加重视机器艺术作品中笔触和小瑕疵的模仿。当观察者看到作品的生产时，这种对机器艺术的审美价值的负面偏见正在减弱。这促使他们提出，增加机器人的拟人特征可能会消除对机器作品的敌意。确实，似乎人类观察者希望看到艺术家在创作自己的作品。如果机器艺术设计作品所采用的“黑匣子”模型对其美学价值造成阻碍，那么思考一下如果能克服它会发生什么会很有趣。不幸的是，仍然没有像西方世界系列所邀请想象的那样复杂的机器人。但是，可以通过展示人类作品和机器作品来克服这一障碍，而无需告诉观察者哪个是哪个。正是这一方面在“通过学习样式并偏离样式规范而产生艺术的创造性对抗网络”中进行了研究。通过生成对抗网络修改，研究人员在开发的基础上，对该算法进行了优化，以使其不仅致力于模仿人类的艺术风格，而且确实具有创造力。这项研究的结果表明，人类对生成对抗网络创作的机器作品的评分更高，超过了 2016 年在巴塞尔艺术展上首次亮相的抽象表现主义样本。参与者被要求共划为 1-5 分五档。分别从意图、视觉结构、交流和灵感的定性指标几个方面进行评分。在每个项目中，它的得分均高于人类艺术。4.2 机械评估机器作品的美学价值 当哈罗德（英国著名艺术家，Aaron 创始人）编写了计算机程序 Aaron（他设计为自主生产艺术品）时，他过滤了看上去对他来说很有价值的输出。从那时起，基于人工神经网络的算法有了长足的进步。如前所述，生成对抗网络模型是当今使用最广泛的。在该网络中，审美评估是通过相同的算法执行的。首先，需要了解生成对抗网络网络评估的工作原理：生成对抗网络有两个子网，一个生成器和一个鉴别器。鉴别者可以访问一组图像（训练图像）。鉴别器试图鉴别（来自训练集的）“真实”图像和由发生器产生的“假”图像。生成器尝试生成类似于训练集的图像，而看不到这些图像。生成器首先生成随机图像，然后从鉴别器接收信号，无论鉴别器发现它们是真实的还是伪造的。该对偶模型已将美学评估纳入其中。实际上，当“区分符”被“生成器”欺骗时，生成对抗网络的美学价值类似于提供给它的原始训练图像集的美学价值。由此可见，她不会创造艺术，而是模仿艺术风格。如在深度生成的修改中，鉴别器向生成器提供了两个信号：艺术或非艺术的分类，以及与特定艺术风格的对应。这样，“提出的该模型生成的图像可以被描述为新颖的图像，而不是模仿艺术品的分布，但是在美学上具有吸引力”。因此，“与人类艺术家不同，这些系统不会随着时间的推移而增长或演化”，这似乎是没有道理的。生成对抗网络能够自行创建和评估。当然，这些特点使研究能够肯定的是它确实在美学上能有所增长和发展。对机器作品美学价值的这种机械评估可能与“创意自主”的概念有关15，詹宁斯在他的文章“发展创造力：人工智能中的人工障碍”中对此进行了讨论。这位作者声称，对于 AI 开发人员而言，最大的挑战是证明他的系统不仅仅是他自己的人类创造力的扩展。因此，詹宁斯引入了创新自主性的概念，该概念要求系统能够在不咨询他人的情况下评估其创作，能够调整其进行评估的方式，而无需明确告知何时或如何进行评估，并且不应该对这些过程进行评估且完全是随机的。5 结语 生成对抗网络作为深度学习中的新兴研究领域，展示出深刻的综合设计能力，但它们在艺术设计中的应用受到限制。基于生成对抗网络的系统，可保证生成的创造自主权。但是，在一定程度上，这些情况可以视为样式的模仿。因为尽管所有生成对抗网络都是自主创新的，但这并不意味着创新自主权是独有的。一个创意系统必须包含一个至少包含三个元素的体系结构：生成器、鉴别器和元级别控制层，其中使用系统内部反馈来修改其自身的约束。并且元级别的控制层可能是决定系统是否具有创造自主权的决定性条件。因此，希望通过研究能够有助于积极探索生成对抗网络在艺术设计作品中的创造潜能，并得以在众多方向进行有效使用和学习，结合生成对抗网络在艺术设计作品的创作评估，探索深度学习在艺术创作上的研究意义。参考文献：1 吴少乾,李西明.生成对抗网络的研究进展综述J.计算机科学与探索,2020.2 NORVIG,Artificial Intelligence:A Modern ApproachC.Boston:Pearson Education,2016.3 CRESWELL,A.“Generative Adversarial Networks:An Overview.”IEEE Signal Processing Magazine,2018(1):53-65.4 徐军刚,深度生成模型概述J.IETE 技术评论,2015.5 中央美术学院造型学院 2020 年毕业设计作品OL.(2020-04-20)2022-09-17 https:/ 41 页）第 44 卷 S1 期 李锡坤，等：基于文献计量法的 Grasshopper 参数化设计方法国内应用评述 41 D.大连:大连理工大学,2017.16 昝池,刘崇,刘艳艳.老旧小区冬季室外风环境模拟分析研究以徐州市王陵路 49 号院为例J.青岛理工大学学报,2020,41(4):28-34.17 林涛,刘茜.自由形态建筑的能耗模拟及体型优化J.四川建筑科学研究,2016,42(5):114-117.18 匡纬.风景园林“参数化”规划设计发展现状概述与思考J.风景园林,2013(1):58-64.19 袁旸洋,成玉宁.过程逻辑与模型参数化风景园林规划设计解析J.中国园林,2018,34(10):77-82.20 龚瑜.基于参数化的风景园林规划设计研究D.杭州:浙江大学,2017.21 陈凌锋.基于Rhino与Grasshopper参数化技术在风景园林规划设计中地形的应用研究D.广州:仲恺农业工程学院,2018.22 梅欹,李天劼,金冰欣.杭州户外空间小气候环境改造策略与模拟研究J.建筑与文化,2020(5):55-56.23 张驰,杨雪松.基于 Rhino+Grasshopper 的风景环境复杂地形道路选线设计算法模型研究J.中国园林,2021,37(3):77-82.24 钱小琴,刘喆,赵天祎,等.基于宫胁造林法的近自然城市森林数字化设计探索以河北省绿博园邢台林为例J.景观设计学(中英文),2021,9(6):60-76.25 卞京.产品造型设计的参数化探讨D.杭州:中国美术学院,2012.26 戴欣伟.基于 Grasshopper 的参数化设计在产品设计中的应用探索J.设计,2016(11):122-123.27 张芳兰,陈瑞营,邵帅,等.基于参数化逆向建模的踝足矫形器设计J.图学学报,2020,41(1):141-147.28 邓卫斌,王彤彤,叶航.基于参数化思维的产品创新设计方法J.包装工程,2022,43(8):76-84.29 孙雪莹.高端袜品三维设计辅助软件开发研究D.西安:西安理工大学,2018.30 孙睿.“无器官身体”参数化设计与 3D 打印J.山东农业大学学报(自然科学版),2018,49(3):456-459.31 明晔,尹志伟.现象认知驱动的参数化设计北京奥运玲珑塔室内改造设计J.建筑技艺,2011(Z1):79-81.32 李森然,耿晓杰.基于分形理论的家具形态创构研究J.家具与室内装饰,2018(1):16-17.33 刘宗明,李羿璇.基于 Grasshopper 插件的灯具参数化设计研究J.包装工程,2018,39(18):209-213.34 柳冠中.事理学论纲概述J.设计,2013(9):114-115.（上接第 28 页）6 ISOLA,P.Image-to-Image Translation with Conditional Adversarial NetworksC.In Proceedings of the Thirti-eth IEEE Conference on Computer Vision and Pattern Recognition,2017.7 CRESWELL A,T WHITE V.Generative Adversarial Networks:An OverviewJ.IEEE Signal Processing Magazine 35,2018(1):53-65.8 郑浩,黄伟新.建筑图纸的机器学习识别与生成C.建筑计算机辅助设计协会第三十八届年会论文集,2018.9 IM D J,H MA G.Quantitatively Evaluating GANs with Divergences Proposed for TrainingC.International Con-ference on Learning Representations,Vancouver,BC,2018.10 TOIVANEN.Towards Transformational Creation of Novel Songs J.Connection Science,2019.11 BODEN M.(2011).Creativity and Art:Three Roads to SurpriseM.Oxford:Oxford University Press.12 STILL A,&D INVERNO M.Can Machines Be Artists?J.A Deweyan Response in Theory and Practice,2019(1):36.13 MILLER A.The Artist in the Machine:The World of AI-powered CreativityM.The MIT Press,2019.14 CHAMBERLAIN R.Putting the Art in Artificial:Aes-thetic Responses to Computer-generated ArtJ.Psy-chology of Aesthetics Creativity and the Arts,2018(2),177-192.15 JENNINGS K.Developing Creativity:Artificial Barri-ers in Artificial IntelligenceJ.Minds and Machines,2010(4),489-501.