2023年中国AIGC文生图产业白皮书.pdf

x中国 A I G C 文生图产业白皮书中 国 A I G C 产 业 联 盟 x 无 界 A I2024 年 1 月 杭州未来科技城x中国 A I G C 文生图产业白皮书“对人工智能而言，图象信息真正可能被觉知而成为视觉，不同的视觉，即是对人工智能而言，图象信息真正可能被觉知而成为视觉，不同的视觉，即是不同的风格而已。而区分其特征并标注的还是人，因为人具有命名的能力，也不同的风格而已。而区分其特征并标注的还是人，因为人具有命名的能力，也是标注智能的方法。我们选择视觉的风格，就是营造文化的能力，人类就是在是标注智能的方法。我们选择视觉的风格，就是营造文化的能力，人类就是在审美和选择中发展新一代的未来。审美和选择中发展新一代的未来。”沈华清，浙江大学设计艺术系副主任“AIGC AIGC 可能复制人类文明的进化历程，从通用模型走向专用模型或行业模可能复制人类文明的进化历程，从通用模型走向专用模型或行业模型。对于型。对于 AIGC AIGC，我们要以宏观叙事，从微观行事。，我们要以宏观叙事，从微观行事。”长铗，无界 AI 创始人，著名科幻作家，连续三届中国科幻最高奖“银河奖”（20062008）得主“AIGC AIGC 的出现，使今天人类社会信息符号的传递与分享成为了数字世界自驱的出现，使今天人类社会信息符号的传递与分享成为了数字世界自驱进化的能量基因。进化的能量基因。”张四化，山东大学计算机科学与技术学院党委副书记引言“AIGC AIGC 未来要和各产业深度融合，必须先把制造业作为主攻方向未来要和各产业深度融合，必须先把制造业作为主攻方向。”倪考梦，温州市社科联副主席，中国 AIGC 产业联盟发起人注：本报告编写委员会邀请各行业知名人士分享对 AIGC 时代的推荐语（排名不分先后）“AIGC AIGC 时代将诞生前所未见的超级商业模式，时代将诞生前所未见的超级商业模式，过往过往的的企业企业估值逻辑有望出现估值逻辑有望出现极大变化极大变化。”刘兴亮，刘兴亮时间创始人，拥有数百万粉丝的知名数字经济学者“从从 AIGC AIGC 到到 AI AGENT AI AGENT，集合群体智慧共上新的台阶。，集合群体智慧共上新的台阶。”余波，追梦者基金合伙人“未来的时代是科技的时代，是未来的时代是科技的时代，是 AI AI 的大时代，的大时代，AIGC AIGC 将显著提升生产效率，助将显著提升生产效率，助力人人都是创作者成为现实，给经济带来新活力。力人人都是创作者成为现实，给经济带来新活力。”吴太兵，万兴科技（300624.SZ）董事长“从无中生有到言之有物，从无中生有到言之有物，AIGC+AIGC+东方审美是人工智能传承和发展中华传统东方审美是人工智能传承和发展中华传统造型与造物观念的创新利器。造型与造物观念的创新利器。”张光帅，教授，山东工艺美术学院人工智能设计研究中心主任、数字艺术与传媒学院副院长“放飞每个个体的创意和想象，在放飞每个个体的创意和想象，在 AIGC AIGC 时代遇见共同的美好。时代遇见共同的美好。”章乐焱，恒生电子（600570.SH）首席架构师“每个人都可以用每个人都可以用 AIGC AIGC 的思维、技术、工具对自己现有的工作和生活进行前的思维、技术、工具对自己现有的工作和生活进行前瞻性构想、创新性应用、开拓性实践。瞻性构想、创新性应用、开拓性实践。”梁伟，教授级高工，中国电信研究院大数据与人工智能研究所副所长，科技部重点研发计划评审专家“理性是人类独有的禀赋，艺术与科学总是在山脚下分手，最后又在山顶上相理性是人类独有的禀赋，艺术与科学总是在山脚下分手，最后又在山顶上相遇，遇，AIGC AIGC 时代到来，期待看到人工智能与人类智慧在此消彼长中逐渐对齐，时代到来，期待看到人工智能与人类智慧在此消彼长中逐渐对齐，实现二者的双向奔赴与双向丰富。实现二者的双向奔赴与双向丰富。”张媛，上海广播电视台 SMG 著名主持人、制作人x中国 A I G C 文生图产业白皮书目录文生图通识篇文生图通识篇0101 从 AIGC 到 AI 文生图 0202 AI 文生图的发展历程 0303 主流 AI 文生图工具04 04 AI 文生图的终局：AI 视频产业实践篇产业实践篇0101 AIGC 产业与就业影响0202 AIGC+泛娱乐产业 0303 AIGC+影视与传媒 0404 AIGC+设计工具0505 AIGC+营销 0606 AIGC+电商 0707 AIGC+服装模特与时尚设计0808 AIGC+动漫与游戏 0909 AIGC+家装与建筑设计 1010 产业实践的先决条件：AIGC 版权保护与流转 1111 结论展望与产业图谱x中国 A I G C 文生图产业白皮书文生图通识篇x中国 A I G C 文生图产业白皮书AIGC AIGC 产业架构图产业架构图文生图通识篇 01 节：从 AIGC 到 AI 文生图x中国 A I G C 文生图产业白皮书AIGCAIGC，即，即 Artificial Intelligence Generated Content Artificial Intelligence Generated Content，人工智能生成内容。它是，人工智能生成内容。它是生成式生成式 AIAI（Generative AGenerative AI I）技术所激发的新一轮内容创作者经济浪潮；让人人都）技术所激发的新一轮内容创作者经济浪潮；让人人都可以简易、便捷、低成本地借助可以简易、便捷、低成本地借助 AI AI 的力量完成文本、图片、视频、音频等多媒体内的力量完成文本、图片、视频、音频等多媒体内容的高效高质量生产；是对以短视频、自媒体等为代表的大规模容的高效高质量生产；是对以短视频、自媒体等为代表的大规模 UGCUGC（用户生成内（用户生成内容）经济的进一步范式升级，故称容）经济的进一步范式升级，故称“AIGCAIGC”。AIGC AIGC 擅长制造和传播爆款内容，尤擅长制造和传播爆款内容，尤以图片、视频等视觉形态最为突出。所示以图片、视频等视觉形态最为突出。所示 AI AI 图片皆为广泛影响网络的代表：图片皆为广泛影响网络的代表：左图：2023 年索尼世界摄影奖落幕，AI 作品虚妄记忆：电工荣获创意类大奖；中图：2022 年由 OpenAI 与时尚 COSMO 杂志合作制作的首个 AI 杂志封面；右图：2022 年 9 月，由 Midjourney 生成的绘画作品太空歌剧院在美国科罗纳州博览会上获得艺术比赛一等奖。10 10 年以来推进年以来推进 AIGC AIGC 浪潮过程中重大技术节点与代表浪潮过程中重大技术节点与代表文生图通识篇 01 节：从 AIGC 到 AI 文生图虚妄记忆：电工COSMO 女宇航员太空歌剧院人工智能生成内容（人工智能生成内容（AIGCAIGC）风靡全球）风靡全球x中国 A I G C 文生图产业白皮书新西湖新西湖白小苏古良渚古良渚AIBEN古温州古温州白小苏AIAI“新西湖新西湖”全名为新西湖繁盛全景图，由人类画师与全名为新西湖繁盛全景图，由人类画师与 AIGC AIGC 共同参与完成。主要用到三项主流的共同参与完成。主要用到三项主流的 AI AI 绘画技术：线稿上色（绘画技术：线稿上色（ControlNet ControlNet LineartLineart）、无限拓展（）、无限拓展（OutpaintingOutpainting）、建筑模型训练（）、建筑模型训练（Dreambooth&LoraDreambooth&Lora）等。创作方将该作品的）等。创作方将该作品的使用权无偿捐赠给杭州市贸易促进会、中国国际使用权无偿捐赠给杭州市贸易促进会、中国国际动漫节执行委员会、杭州西湖风景名胜区管委会、杭州万事利丝绸文化股份有限公司、杭州灵伴科技有限公司（动漫节执行委员会、杭州西湖风景名胜区管委会、杭州万事利丝绸文化股份有限公司、杭州灵伴科技有限公司（RokidRokid）等多家单位和企业以共创、推广）等多家单位和企业以共创、推广杭州文化，共享杭州文化，共享 AI AI 作品版权。作品版权。AIAI“古温州古温州”，则以温州朔门古港遗址的资料为基础，以，则以温州朔门古港遗址的资料为基础，以“千年商港，未来温州千年商港，未来温州”为主题，借助为主题，借助 AI AI 工具为古港遗址勾勒出了一幅工具为古港遗址勾勒出了一幅“东方威尼斯东方威尼斯”繁华景繁华景象。象。2023 2023 年年 3 3 月月 29 29 日，这幅图片刊登在温州日报，成为温州日报日，这幅图片刊登在温州日报，成为温州日报“商周刊商周刊文博文博”板块元宇宙主题报道的靓丽一笔。板块元宇宙主题报道的靓丽一笔。案例虽小，管中窥豹，可见一斑。从案例虽小，管中窥豹，可见一斑。从 2022 2022 年至年至 2023 2023 年，国内年，国内 AI AI 绘画产业正是从这样微小的案例开始了举世瞩目的产业应用浪潮，从最初的静态图片绘画产业正是从这样微小的案例开始了举世瞩目的产业应用浪潮，从最初的静态图片走向复杂、交互式的走向复杂、交互式的 AIGC AIGC 产业应用场景。产业应用场景。文生图通识篇 01 节：从 AIGC 到 AI 文生图AIGC AIGC 就在身边：新西湖、古良渚、古温州就在身边：新西湖、古良渚、古温州x中国 A I G C 文生图产业白皮书2022 2022 遇见遇见 AIGC AIGC 的序章：的序章：AI AI 文生图文生图AI AI 时代与互联网时代开源热度对比时代与互联网时代开源热度对比曾经互联网时代靠着开源精神完成了一次次科技商业变革，如搭建网站、云计算、曾经互联网时代靠着开源精神完成了一次次科技商业变革，如搭建网站、云计算、APPAPP每条曲线都见证了那个十年的飞速发展。而今天每条曲线都见证了那个十年的飞速发展。而今天 AI AI 开源运动，出现即巅峰，开源运动，出现即巅峰，项目的下载和引用正在以指数级速度蔓延项目的下载和引用正在以指数级速度蔓延文生图通识篇 02 节：AI 文生图的发展历程由由 aiwatch.ai aiwatch.ai 发布的生成式发布的生成式 AI AI 年终数据报年终数据报告中提炼并量化出了告中提炼并量化出了 AIGC AIGC 文生图赛道的细分文生图赛道的细分分支（备注：量化数据取自分支（备注：量化数据取自 2023 2023 年年 11 11 月份全月份全球同类产品的流量访问数据，不含大公司产球同类产品的流量访问数据，不含大公司产品）。市场份额从高到低依次为：图像生成（品）。市场份额从高到低依次为：图像生成（11 11 亿）、图像编辑（亿）、图像编辑（1.6 1.6 亿）、设计助理（亿）、设计助理（4849 4849 万）、万）、Logo Logo 生成（生成（1890 1890 万）、设计工具（万）、设计工具（928 928 万）、艺术（万）、艺术（605 605 万）、万）、AvatarsAvatars（460 460 万）。万）。注：图片以及内容数字来源 aiwatch.ai，经授权 图像生成图像生成图像编辑图像编辑设计设计助理助理图片图片增强增强LogoLogo生成生成图像图像搜索搜索x中国 A I G C 文生图产业白皮书AI AI 文生图的艺术质量呈现出指数级进化速度文生图的艺术质量呈现出指数级进化速度故事始于故事始于 2022 2022 年春天，年春天，Disco Diffusion Disco Diffusion 的开源打开了的开源打开了 AI AI 绘画的浪潮之门绘画的浪潮之门 2022 2022 年年 4 4、5 5 月份月份：AI AI 绘画只擅长抽象之美或者色彩美学，以令人绘画只擅长抽象之美或者色彩美学，以令人“眼花缭乱眼花缭乱”的色彩涂抹构图向世人展的色彩涂抹构图向世人展示出示出 AI AI 艺术的别样魅力。这段时期人们常用的工具是艺术的别样魅力。这段时期人们常用的工具是 Disco Diffusion Disco Diffusion 以及以及 Midjourney Midjourney 初代版本。初代版本。2022 2022 年年 6 6、7 7、8 8 月份月份：AI AI 绘画开始集中突破绘画的逻辑性和质量，可以逐步写实、产出具有艺术性的作绘画开始集中突破绘画的逻辑性和质量，可以逐步写实、产出具有艺术性的作品。这段时期以品。这段时期以 Midjourney Midjourney 为主要工具代表。为主要工具代表。2022 2022 年年 9 9 月份月份：AI AI 绘画最重要开源力量绘画最重要开源力量 Stable Diffusion Stable Diffusion 成为社区大热门，且凭借成本低、高质量、高逻成为社区大热门，且凭借成本低、高质量、高逻辑性、更强的通用绘制能力以及快速生成等优势迅速占领市场，辑性、更强的通用绘制能力以及快速生成等优势迅速占领市场，AI AI 绘画的艺术质量和逻辑能力开始进入绘画的艺术质量和逻辑能力开始进入“飞飞轮式轮式”发展，且发展，且 Midjourney Midjourney 也开始引入其开源技术也开始引入其开源技术。2022 2022 年年 1010、11 11 月份月份：AI AI 绘画的第一个现象级潮流绘画的第一个现象级潮流“二次元模型二次元模型”横空出世，以横空出世，以 NovelAI NovelAI 等开源产品和力等开源产品和力量为突出代表，进一步蔓延到整个量为突出代表，进一步蔓延到整个 Stable Diffusion Stable Diffusion 社区，更多的开源模型和产品加入到这个队伍中，生态社区，更多的开源模型和产品加入到这个队伍中，生态力量开始形成。二次元模型的高质量性和现实影响力也令世人展开了对力量开始形成。二次元模型的高质量性和现实影响力也令世人展开了对 AI AI 绘画版权的争议。绘画版权的争议。11 11 月份，国内月份，国内 AI AI 绘画第一波大浪潮启动，抖音迅速推出的绘画第一波大浪潮启动，抖音迅速推出的“抖音抖音 AI AI 绘画（二次元）绘画（二次元）”流量成功辐射数以千万计网民，国流量成功辐射数以千万计网民，国内第一波千万级内第一波千万级 AI AI 绘画用户群形成。绘画用户群形成。2022 2022 年年 12 12 月份月份：紧接着二次元浪潮，人们仿佛打开了：紧接着二次元浪潮，人们仿佛打开了“通往异次元的大门通往异次元的大门”，开始让三次元、，开始让三次元、2.5 2.5 次元照次元照进进 AI AI 绘画，于是新一波浪潮绘画，于是新一波浪潮“AI AI 真人模型真人模型”形成。传统互联网上充斥着大量由形成。传统互联网上充斥着大量由 AI AI 生成的生成的“美女美女”、“真真实场景实场景”、“平行时空新闻平行时空新闻”等新形态内容。与此同时，闭源力量等新形态内容。与此同时，闭源力量 Midjourney Midjourney 也几近也几近 AI AI 绘画的艺术巅峰，绘画的艺术巅峰，各行业的大量设计师与内容工作者群体开始用各行业的大量设计师与内容工作者群体开始用 Midjourney Midjourney 生成极高质量且满足现实生产需求的生成极高质量且满足现实生产需求的 AI AI 图片。图片。2023 2023 年至今年至今：AI AI 绘画在极高质量、通用逻辑能力、细节完美度以及精准控制层面已经开始大范围绘画在极高质量、通用逻辑能力、细节完美度以及精准控制层面已经开始大范围“侵蚀侵蚀”各行各业的生产与消费过程，各产业以及互联网都到处充斥着各行各业的生产与消费过程，各产业以及互联网都到处充斥着 AI AI 生成的内容。第一波生成的内容。第一波 AI AI 大范围赋能产业的大范围赋能产业的共识正逐步形成。共识正逐步形成。Stable Diffusion Stable Diffusion 生态力量和生态力量和 Midjourney Midjourney 产品力成为当下人们唯二选择。产品力成为当下人们唯二选择。创作者刘秋杉文生图通识篇 02 节：AI 文生图的发展历程春春夏夏秋秋冬冬20232023x中国 A I G C 文生图产业白皮书面对面对 AI AI 绘画一年来指数级的进化速度，绘画一年来指数级的进化速度，2023 2023 年年 AI AI 绘画正式开启绘画正式开启“全面商用全面商用”时刻。从多样性的艺术维时刻。从多样性的艺术维度冲击多样性的行业商业，在流量平台等虚拟内容经济的加持下，数以千万甚至上亿计的互联网用户群深度冲击多样性的行业商业，在流量平台等虚拟内容经济的加持下，数以千万甚至上亿计的互联网用户群深受其影响。受其影响。其中以其中以“摄影模型摄影模型”和和“真人模型真人模型”等为代表的等为代表的“真实世界模型真实世界模型”对现实世界的冲击最为显对现实世界的冲击最为显著，包含商业应用、泛娱乐消费甚至诸多负面影响。著，包含商业应用、泛娱乐消费甚至诸多负面影响。案例：网友用真人模型画出了“儿童版的马斯克”，并戏谑道“马斯克正在研制的抗衰老药方实验失败”。凭借极高的现实还原度和容貌特征，这样令人耳目一新的内容在全网病毒式蔓延，最后受到了马斯克本人的关注和回复：“我可能吃太多了。”借助类似技术和模型，麦当劳在六一儿童节期间发起了“童趣滤镜，回到童年”的全民参与 AI 互动的营销事件：只需上传自己的一张自拍，便可一键变回小时候的模样。其大胆之创新，广受好评。2023 2023 年年 AI AI 文生图文生图“侵蚀侵蚀”的商业版图：实用性的商业版图：实用性 AI AI 绘画时代到来绘画时代到来 上海师范大学影视传媒学院副教授戴菲：“看到 AI 做的特朗普被捕图，以假乱真，你会发现这里面没有任何曝光失误、构图失误。”我们在我们在 2022 2022 年曾预测，年曾预测，2023 2023 年数以亿计的年数以亿计的 AIGC AIGC 内容将充内容将充斥着整个互联网，绝大多数网民在刷抖音或者小红书时都会在斥着整个互联网，绝大多数网民在刷抖音或者小红书时都会在不知不觉中浏览到不知不觉中浏览到 AIGC AIGC 内容，占比可能达到内容，占比可能达到 5 510%10%；以小；以小红书平台为例，都会将疑似红书平台为例，都会将疑似 AI AI 生成的内容打上生成的内容打上“疑似包含疑似包含 AI AI 创作信息，请注意甄别真实度创作信息，请注意甄别真实度”的标签以供用户警惕。一时的标签以供用户警惕。一时间，泛娱乐场景成为间，泛娱乐场景成为 AI AI 文生图商业化的文生图商业化的“第一阵地第一阵地”。文生图通识篇 02 节：AI 文生图的发展历程x中国 A I G C 文生图产业白皮书AI AI 文生图工具变迁之路：面对这万般变化，请掌握先进的生产力工具文生图工具变迁之路：面对这万般变化，请掌握先进的生产力工具文生图通识篇 03 节：主流 AI 文生图工具x中国 A I G C 文生图产业白皮书AI AI 文生图模型阵营及简史文生图模型阵营及简史文生图通识篇 03 节：主流 AI 文生图工具 一切都始于一切都始于 CLIP CLIP 开源，开源，CLIP CLIP 是一个通过自然语言监督有效地学习视觉概念的神经网络。通过使用是一个通过自然语言监督有效地学习视觉概念的神经网络。通过使用 CLIP CLIP 可将文本和图像连接在一起可将文本和图像连接在一起 CLIPCLIP（Contrastive LanguageImage Pre-trainingContrastive LanguageImage Pre-training）是文本和图像对照的预训练模型，数据集使用的是）是文本和图像对照的预训练模型，数据集使用的是 LAION-400M LAION-400M，包含，包含 4 4 亿组从互联网上收集的文本图像对。文本编码器亿组从互联网上收集的文本图像对。文本编码器提取文本特征，图像编码器提取图像特征，两个放到一起对比相似度，从而让提取文本特征，图像编码器提取图像特征，两个放到一起对比相似度，从而让 AI AI“掌握掌握”文本图像的匹配关系文本图像的匹配关系x中国 A I G C 文生图产业白皮书开源之王开源之王 Stable Diffusion Stable Diffusion 的模型风格化细分及其生态占比的模型风格化细分及其生态占比 2022 2022 年年 8 8 月，月，AI AI 绘画最为重要的开源力量绘画最为重要的开源力量 Stable Diffusion Stable Diffusion 正式向全世正式向全世界开放其模型代码、训练数据集、生产内容的版权归属协议。完全自由的界开放其模型代码、训练数据集、生产内容的版权归属协议。完全自由的开源运动激起了全世界开发者、创业者、产业公司和普通爱好者的热忱，开源运动激起了全世界开发者、创业者、产业公司和普通爱好者的热忱，在短短半个月时间内，在短短半个月时间内，SD SD 的谷歌搜索趋势彻底超越大名鼎鼎的的谷歌搜索趋势彻底超越大名鼎鼎的 DALLEDALLE，成为人们谈论，成为人们谈论 AI AI 绘画不可规避的话题。绘画不可规避的话题。SD SD 的开源也令的开源也令 AI AI 巨巨头们倍感震惊。头们倍感震惊。2022 2022 年，年，Stable Diffusion Stable Diffusion 的开源发布由两大公司实体驱动，分别是的开源发布由两大公司实体驱动，分别是 Stability.Ai Stability.Ai 和和 RunwayMLRunwayML。二者共同促进了。二者共同促进了 SD SD 大版本的成功。大版本的成功。截止截止 2023 2023 年年 7 7 月份，月份，Stability.Ai Stability.Ai 已将已将 SD SD 开源版本迭代至开源版本迭代至 Stable Stable Diffusion XL Diffusion XL 1.01.0（SDXL SDXL 1.01.0）。）。SD SD 所基于的开创性的所基于的开创性的“潜在空间潜在空间”（Latent SpaceLatent Space）技术将扩散模型）技术将扩散模型（Diffusion ModelDiffusion Model）再次推上新的台阶，是）再次推上新的台阶，是 AI AI 绘画走向大规模商用化的绘画走向大规模商用化的关键一步关键一步（如 latent 空间让快速生成高分辨率图像成为可能，对比之下，过往的 DALL-E2 和 Google Imagen 则是基于传统的 pixel 空间）。“我们有 100 名员工，社区有 10 万人。这就是我们力量的来源，我们来自世界各地。我们释放了 Stable Diffusion，1000 个项目如雨后春笋般出现。将 AIGC 交到数十亿人手中将带来新机遇的爆炸式增长。”Stability.Ai 创始人 Emad Mostaque文生图通识篇 03 节：主流 AI 文生图工具x中国 A I G C 文生图产业白皮书Stable Diffusion Stable Diffusion 重要开源技术路线：全民训练，无尽的模型生态重要开源技术路线：全民训练，无尽的模型生态文生图通识篇 03 节：主流 AI 文生图工具仅依靠仅依靠 SD SD 官方基础版本大模型并不足以产生五彩缤纷的官方基础版本大模型并不足以产生五彩缤纷的 AI AI 绘画体验，它只是一绘画体验，它只是一个基础的个基础的“通用底子通用底子”，需要更多开发者在其之上进行更多样化、更高质量的风格，需要更多开发者在其之上进行更多样化、更高质量的风格化训练。便有了以模型广场、精准控制、训练框架为代表的开源模型生态的繁荣。化训练。便有了以模型广场、精准控制、训练框架为代表的开源模型生态的繁荣。可以适配千行百业的垂直模型开始涌现，同时也造就了行业应用可以适配千行百业的垂直模型开始涌现，同时也造就了行业应用 AI AI 的场景涌现。的场景涌现。EmbeddingEmbeddingDreamboothDreamboothLoRaLoRa模型大小KB KB 级级G GB B 级级MB MB 级级用时是否需要加载否否是是动态加载动态加载需要的训练资源较低显存较低显存较高显存较高显存适中显存适中显存用于的训练场景入门学习入门学习基础底模基础底模单一人物和画风单一人物和画风市场使用强度弱弱强强极强极强Stable Diffusion Stable Diffusion 千行百业千行百业热门热门模型场景模型场景 抖音 AI 特效：二次元模型、真人模型、图生图 AI 照相馆：真人模型、模型训练、AI 换脸 模特换装、室内设计、电商：行业垂直模型、精准控制海外以 Lensa、国内以妙鸭相机（左图）为代表，掀起了“一键 AI 海马体”热潮，背后技术是基于 SD 的模型微调、LoRa、真人模型、换脸等VIVO 官方短视频应用发布了类似妙鸭相机的 AIGC 写真功能（右图）x中国 A I G C 文生图产业白皮书 2023 2023 年初，年初，Stable Diffusion Stable Diffusion 生态重要生态重要控制组件控制组件 ControlNet ControlNet 横空出世，给出了横空出世，给出了一条完美解决一条完美解决 AI AI 绘画发展进程中绘画发展进程中“精准精准控制控制”难题的道路。难题的道路。该开源技术使用了一种称为该开源技术使用了一种称为“Conditional Generative Adversarial Conditional Generative Adversarial NetworksNetworks”（条件生成对抗网络）的技（条件生成对抗网络）的技术来生成图像，与传统的生成对抗网络术来生成图像，与传统的生成对抗网络不同，不同，ControlNet ControlNet 允许用户对生成的图允许用户对生成的图像进行精细的控制。像进行精细的控制。例如它将传统意义上的【设计】抽象分例如它将传统意义上的【设计】抽象分解为解为 AI AI 或者计算机视野下的【线或者计算机视野下的【线/轮轮廓】、【深度】、【语义】、【姿势】廓】、【深度】、【语义】、【姿势】等众多基础原子操作。根据应用场景，等众多基础原子操作。根据应用场景，随心所欲地组合这些基本原子和元素，随心所欲地组合这些基本原子和元素，实现绘制的整体可控性和对大千世界通实现绘制的整体可控性和对大千世界通用场景的绘制。用场景的绘制。腾讯腾讯 AI AI 实验室开源推出的实验室开源推出的 IP-Adapter IP-Adapter 模型为模型为 Controlnet Controlnet 生态做出了突出贡生态做出了突出贡献，可识别参考图的风格和内容，然后献，可识别参考图的风格和内容，然后生成相似的作品，且可搭配其他控制器生成相似的作品，且可搭配其他控制器使用。使用。实现实现 AIGCAIGC 精准创作的精准创作的“利刃利刃”：ControlNetControlNet文生图通识篇 03 节：主流 AI 文生图工具x中国 A I G C 文生图产业白皮书终局之战：从终局之战：从 AI AI 文生图向文生图向 AI AI 视频时代跨越视频时代跨越文生图通识篇 04 节：AI 文生图的终局：AI 视频x中国 A I G C 文生图产业白皮书AI AI 视频项目汇总，视频项目汇总，2024 2024 机遇就在其中机遇就在其中文生图通识篇 04 节：AI 文生图的终局：AI 视频从基本大类上划分从基本大类上划分 AI AI 视频视频t textext2video2video（文本到视频）（文本到视频）image2videoimage2video（图片到视频）（图片到视频）video2videovideo2video（视频到视频）（视频到视频）其中其中 video2video video2video 细分广泛，又可以包含细分广泛，又可以包含“编辑编辑”（例如替换原视频中物体）、（例如替换原视频中物体）、“结合参考或控制结合参考或控制”（例（例如借助骨骼图）等多种表现形态。如借助骨骼图）等多种表现形态。纯文本生成视频当下以纯文本生成视频当下以 Pika 1.0 Pika 1.0 和和 Runway Gen Runway Gen 最为突出，案例丰富；最为突出，案例丰富；文本文本+单张图片可以生成不错的效果，单张图片可以生成不错的效果，AnimateDiff AnimateDiff 可以跟可以跟 Pika Pika 早期版本对标；早期版本对标；基于参考或控制会有丰富的玩法，如大火的基于参考或控制会有丰富的玩法，如大火的 Animate AnyoneAnimate Anyone，C Controlnet ontrolnet 完成大部分工作。完成大部分工作。x中国 A I G C 文生图产业白皮书产业实践篇x中国 A I G C 文生图产业白皮书深入千行百业，深入千行百业，让让 AIGC AIGC 成为赋能产业的成为赋能产业的“第四次工业革命第四次工业革命”细数正受细数正受 AI AI 文生图冲击的行业，透过案例，去芜存文生图冲击的行业，透过案例，去芜存菁，让菁，让 AIGC AIGC 成为赋能产业的成为赋能产业的“第四次工业革命第四次工业革命”。新技术对产业的变革，不论是工具流还是降本增效层新技术对产业的变革，不论是工具流还是降本增效层面，往往是结构性变化，从边际成本走向固定成本。面，往往是结构性变化，从边际成本走向固定成本。AIGC AIGC 不应该只通过不应该只通过 C C（Content Content 内容）来影响一个内容）来影响一个点、一个端或者一个表面，而应该成为一种该产业原点、一个端或者一个表面，而应该成为一种该产业原生的服务（生的服务（Service Service 或者或者 N Native Appative App），去影响整），去影响整个产业链条的结构升级。个产业链条的结构升级。回顾回顾“互联网互联网+”时代，在互联网基础设施和技术完时代，在互联网基础设施和技术完善后，跟今天何其相似乃尔，有很多善后，跟今天何其相似乃尔，有很多“互联网互联网+各行各行各业各业”的现象出行。但近的现象出行。但近 10 10 年证明，真正受到结构年证明，真正受到结构性冲击，建立起产业原生破坏性创新性冲击，建立起产业原生破坏性创新 App App 的，只有的，只有有限可数的一些产业。有限可数的一些产业。AIGC AIGC 创业跟互联网创业同宗创业跟互联网创业同宗同源，不外如是同源，不外如是AIGC+AIGC+产业进行时：行业垂直模型涌现，赋能工作流产业进行时：行业垂直模型涌现，赋能工作流产业实践篇 01 节：AIGC 产业与就业影响x中国 A I G C 文生图产业白皮书就业影响：新兴岗位出现就业影响：新兴岗位出现判断一项新科技浪潮是否已经对产业产生了巨大影响的有效方法之一便是去各大招聘网站搜索相关判断一项新科技浪潮是否已经对产业产生了巨大影响的有效方法之一便是去各大招聘网站搜索相关新兴岗位出现的数量、种类及其薪资水准。一旦出现井喷之势，说明产业界已经从商业逻辑的角度新兴岗位出现的数量、种类及其薪资水准。一旦出现井喷之势，说明产业界已经从商业逻辑的角度证明了其短期或者长期的价值性。近一年来，国内招聘市场中涌现了大量带有证明了其短期或者长期的价值性。近一年来，国内招聘市场中涌现了大量带有“AIGCAIGC”或或“AIAI”前缀的全新科技岗位，如前缀的全新科技岗位，如 AIGC AIGC 画师、画师、AIGC AIGC 研究员、研究员、AI AI 模型训练师、模型训练师、AIGC AIGC 社群运营等等。这些社群运营等等。这些岗位对技能的要求跟过去有着较大差别，总结来讲，需要应聘者能够研究、实操、掌握最前沿的岗位对技能的要求跟过去有着较大差别，总结来讲，需要应聘者能够研究、实操、掌握最前沿的 AIGC AIGC 技术、工具和产品。而在这个过程中，巨大的认知差非常考验从业者是否具备强大的学习能技术、工具和产品。而在这个过程中，巨大的认知差非常考验从业者是否具备强大的学习能力、自我纠正能力、实践能力、战略预判能力等综合性职场技能，驱动从业者向力、自我纠正能力、实践能力、战略预判能力等综合性职场技能，驱动从业者向“超级个体超级个体”进进化，日后能以化，日后能以 1 1 人之力取代一个部门的产业价值。人之力取代一个部门的产业价值。产业实践篇 01 节：AIGC 产业与就业影响 2023Q1 AIGC 领域招聘年薪中位数达 33.75 万元；AIGC 2023Q1 新发职位数是 2020Q1 的 5.63 倍，近一年 AIGC 新发职位招聘平均年薪 40.12 万元；OpenAI 为 AI 工程师提供的年薪中位数高达 92.5 万美元x中国 A I G C 文生图产业白皮书组织结构影响：向左组织结构影响：向左“毁灭毁灭”，向右，向右“重生重生”公司名称人数OpenAI 500Hugging Face 200Jasper 200Anthropic AI 150CopyAI143Cohere 50Midjourney 50产业实践篇 01 节：AIGC 产业与就业影响x中国 A I G C 文生图产业白皮书2022 2022 年底，年底，“抖音抖音 AI AI 绘画绘画”大火。当今抖音、快手、小红书、哔哩哔哩等创作者经济大火。当今抖音、快手、小红书、哔哩哔哩等创作者经济平台充斥着大量平台充斥着大量 AIGC AIGC 介入的图文和短视频内容，介入的图文和短视频内容，“狂刷百条必有狂刷百条必有 AIAI”。与此同时，越。与此同时，越来越多的自媒体博主选择主动去借助来越多的自媒体博主选择主动去借助 AI AI 的力量提高自己作品的创作质量和效率，的力量提高自己作品的创作质量和效率，AI AI 带带来的崭新内容形态也吸引了一大波消费者的关注和好奇尝鲜。这是一场同时有关虚拟内来的崭新内容形态也吸引了一大波消费者的关注和好奇尝鲜。这是一场同时有关虚拟内容生产者与消费者的双促效应：生产者擅用生产力，消费者愿意为之买单，如此才能形容生产者与消费者的双促效应：生产者擅用生产力，消费者愿意为之买单，如此才能形成社会与商业发展的正向促进和增量发展。成社会与商业发展的正向促进和增量发展。泛娱乐：流量推向泛娱乐：流量推向 AIGCAIGC2022 2022 年底发布的写在年末的年底发布的写在年末的 AIGC AIGC 简单展望一文中预测：简单展望一文中预测：（1）随着 AI 绘画模型、审美驱动、数据集地不断进化，2023 年 AI 绘画水准将远超 2022，随之带来持续性的用户体验升级；（2）技术与产品体验的量级提升，会带来更大规模新用户的参与，全球将有超过 5000 万活跃忠实用户，而中国境内也将培育千万量级的活跃忠实用户，成为具有中坚力量的国内初代 AIGC 网民；（3）数以亿计的 AIGC 内容随之被创造出来，充斥着全渠道的互联网媒介，绝大多数网民在刷抖音或者小红书时都会在不知不觉中浏览到 AIGC 内容，占比可能达到 510%；（4）传统的互联网营销、传播、娱乐等行业将会主动接纳 AIGC 新内容形态，成为 2023 年 AIGC 开启商业化版图的第一阵地，借助互联网指数级的传播效应，AIGC 内容将覆盖到数亿网民，为 AIGC 带来新一轮的用户教育；（5）随着 AIGC 能够产生越来越多商业成熟的内容，现有互联网流量巨头平台将会深入整合和嵌入 AIGC 属性，例如将 AI 绘画、AI 特效等深度结合到短视频创作、直播娱乐、直播带货等场景；（6）AIGC 所创造的前所未有的新内容会更容易帮助传统互联网创作者吸引流量、起号，例如 2022 年国内数以万计的抖音用户通过发布 Midjourney 画作在短短几周时间内涨粉数万，将传统起号的效率大大提升，而这在 2023 年将扩充至数以百万计的社交媒体账号；（7）AIGC 带动创作者端的涌动，将整个互联网创作者经济规模带上新的高度。大量未能参与到曾经短视频创作洪流的消费用户会成为