从零开始玩转AIGC.pdf

封面目录页第一章 打造文生图小应用函数计算 FC 部署 AI 大模型实现文生图.5使用阿里云 NAS+PAI-EAS 部署 Stable Diffusion 文生图模型.48AIGC Stable Diffusion 文生图 Lora 模型微调实现虚拟上装.56使用 Hologres+PAI+LLaMA2 搭建企业专属问答知识库.82第二章 打造专属知识库基于 Hologres 向量计算与大模型免费定制专属聊天机器人.90使用 PAI-DSW 基于 LangChain 的检索知识库问答.98OpenSearch LLM 智能问答版搭建对话式搜索服务.113第三章 打造你的数字分身用 1 张图像生成数字人，快来制作你的 AI 视频吧.125玩转 ControlNet：Stable Diffusion 制作艺术二维码.132玩转 ControlNet：Stable Diffusion 制作光影文字效果.145函数计算 FC 部署 AI 大模型实现文生图5第一章打造文生图小应用函数计算 FC 部署 AI 大模型实现文生图5函数计算 FC 部署 AI 大模型实现文生图作者：函数计算 FC1.实验简介本次实验将带大家自己更换大模型，实现更高质量的图像生成。函数计算部署Stable Diffusion,内置模型库+常用插件+ControlNet。这是一项接近零基础的教程，其中并不会包含复杂的概念或者深奥的算法。换句话说，只要你稍有计算机基础，了解如何敲入命令，知道怎么使用浏览器打开网页，你就能很轻松的完成这个实验。AI 生成内容的形式相当丰富，除了文字外，还可以进行绘画、作曲、演唱、编剧、设计等。最近热度非常高的 Text to Image 就是 AI 加持下非常时髦的一种图片创造方式。看看下面这些图片，你一定很难想象它们都是 AI 生成的吧。许多人可能觉得，使用 AIGC 有很高的门槛，普通人是很难入门的。其实不然，随着 AI 技术的快速发展以及众多开源项目的诞生，我们每个人都可以很轻松且廉价的使用到 AIGC。谁能想到，在 2018 年，人工智能生成的画作在佳士得拍卖价还高达 43.25 万美元，而时隔才数年，让 AI 为我们创作绘画已经成了人人触手可及的事情。在这些开源项目中，Stable Diffusion 无疑是优秀生之一。Stable Diffusion 是一种扩散模型（Diffusion Model）的变体，称为“潜在扩散模型”（Latent Diffusion Model），由CompVis、Stability AI 和 LAION 的研究人员和工程师创建。函数计算 FC 部署 AI 大模型实现文生图6它使用来自 LAION-5B 数据库子集的图像进行训练。使用这个模型，可以生成包括人脸在内的任何图像，因为有开源的预训练模型，所以我们也可以在自己的机器上运行它。Stable Diffusion 能够根据我们提供的一些提示词以及可以调整的部分参数，通过模型计算生成一张不错的图片。2.实验手册1）实验资源准备体验此实验会产生一定费用，请您在体验前阅读下面说明，重要必读！必读！必读！部署 Stable Diffusion,主要使用 函数计算 FC、文件存储 NAS 两个产品，您在开始实验前：务必在实验前，新用户领取函数计算试用额度、NAS 试用额度务必在实验前，保证账户里有至少 1 元钱，防止造成欠费停机您领取的函数计算+NAS 试用额度，可以 0 元使用 Stable Diffusion 大约 17.36 小时，存储模型库的模型约 9.15GB（部署 SD 默认开通性能型 NAS，通用型 NAS 50GB 换算成性能型 NAS 为 9.15GB）。超出试用额度后，函数计算、文件存储 NAS 开始计费。明确三个问题：必产生小额扣费：使用 SD 就会耗费函数计算流量费用，该费用不在试用额度内，因此函数计算 FC 部署 AI 大模型实现文生图7开始使用就会扣费，请保证账户里至少有 1 元钱，出 100 张图约 0.25 元，查看账户余额及充值注意观察试用额度：超出试用额度即会付费，请注意观察余量，接收提醒短信，可直接查看剩余额度出账非即时：云产品出账时间非即时，大约为使用后的 1-4 小时，如发现没有用但有扣费的情况为之前耗费资源开始出账，可查看资源明细账单常见问题 Q&AQ1：我该领用哪种资源？资源一：函数计算 FC首次开通函数计算用户可领取 0 元函数计算试用资源。如果您没有免费试用资格或者在 4 月 6 日 20:00 前已开通函数计算服务，推荐购买函数计算 9.9 老客户专享套餐。无套餐直接使用会产生函数计算后付费订单，具体计费情况请参考计费概述。资源二：文件存储 NAS首次开通文件存储 NAS 的用户可 0 元领取 NAS 试用资源，本实验将默认开启性能型NAS，免费额度为 9.15GB。文件存储 NAS 老用户，可按量付费或购买 NAS 资源包进行体验，可参考计费概述。Q2：为什么我领取了试用额度，依然有函数计算小额计费？函数计算 FC 部署 AI 大模型实现文生图8本实验需要使用到“公网出流量”和“磁盘使用量”两个计费项，而试用额度不支持抵扣公网出流量和磁盘使用量的费用。如您未购买相关资源包，公网出流量使用量和超出 512MB的磁盘使用量将计入按量付费。本体验涉及使用少量公网出流量和磁盘使用量，为了避免停机风险，请您确保账号中有至少 1 元余额”，具体计费情况请参考计费概述。本实验公网出流量使用量和超出 512MB 的磁盘使用量计费参考如下：如果您生成 100 张图。公网出流量：5MB/每张图*100 张图=500MB，0.25 元（0.50 元/GB）磁盘使用量：0.00000175*10GB*5s 生成一张图耗时*100 张图=0.008 元（使用量512MB：超出部分 0.00000175 元/GB*秒）说明：预估费用仅供参考，实际费用取决于图片大小、调用频率等多种因素，如需长期使用本服务，请仔细阅读函数计算（FC）资源使用费用，避免产生意料之外的费用；如仅为体验功能不做长期使用，请一定按照文档最后删除步骤，部署之后立即删除。Q3：为什么我领取了 NAS 50G 3 个月额度，存了几个模型后发现有付费？您上传的模型会存储在阿里云文件存储 NAS 上，NAS 通用型的实例规格分为性能型和容量型，您领取的 NAS 免费额度可以抵扣容量型实例 50G 的存储 或者性能型实例子 9.15G的，本实验使用性能型 NAS，因此您的 NAS 免费额度为性能型 9.15G，超出此存储大小之后，NAS 一定会收取您的费用。性能型实例超出免费额度后后每个 GB 每个月收取您 1.8元假如小明 0 元购买了文件存储 NAS 资源包，可上传多少个基础大模型或 lora 模型呢？文件存储 NAS 提供通用型 NAS 资源包 50 GiB，使用期限 3 个月。本实验使用性能型 NAS，性能型 NAS 5.47 50 GiB 通用型基准容量能抵扣 50 5.47=9.15 GiB 性能型 NAS 使用量。假如基础大模型 3.97G，Lora 模型 400MB，那么小明使用免费额度可以存储 2 个大模型，3 个 Lora 模型。函数计算 FC 部署 AI 大模型实现文生图9请您注意账单，必要时可以选择删除 NAS 实例。a）资源方式介绍本实验支持开通免费试用、个人账户资源两种实验资源方式。建议首次开通函数计算用户选择开通免费试用。函数计算老用户选择个人账户资源。在实验开始前，请您选择其中一种实验资源，单击确认开启实验。b）选择开通免费试用（函数计算首次开通用户）领取函数计算 FC 试用额度新客户 0 元试用资源额度如下：2023 年 09 月 01 日 00:00 之后开通函数计算的用户，可 0 元享老客户专享套餐，有效期3 个月，总价值 180 元。套餐限购 1 次，内含四个试用包：50 万 vCPU*秒 CPU+200 万GB*秒内存+800 万次函数调用+100 万 GB*秒 GPU。请注意：试用额度不支持抵扣公网出流量和磁盘使用量的费用。如您未购买相关资源包，公网出流量使用量和超出 512 MB的磁盘使用量将计入按量付费。本体验涉及使用少量公网出流量和磁盘使用量，为了避免停机风险，请您确保账号中有至少 1 元余额”，具体计费情况请参考计费概述。函数计算 FC 部署 AI 大模型实现文生图10在本实验页面下方卡片会展示本实验支持的试用规格，选择函数计算 FC 并单击立即试用。首次开通函数计算的新客户，可以在函数计算新客首购套餐页面，单击立即购买。领取文件存储 NAS 试用额度。文件存储 NAS 0 元试用资源额度如下：函数计算 FC 部署 AI 大模型实现文生图11文件存储 NAS 提供通用型 NAS 资源包 50GiB，使用期限 3 个月。本实验使用性能型 NAS，性能型 NAS 5.47 50 GiB 通用型基准容量能抵扣 50 5.47=9.15 GiB 性能型 NAS 使用量。在本实验页面下方卡片会展示本实验支持的试用规格，选择文件存储 NAS，并单击立即试用。在文件存储 NAS 页面，单击立即购买。c）选择个人账户资源（无免费试用资格或函数计算老客户）如果您没有免费试用资格或者在 4 月 6 日 20:00 前已开通函数计算服务，请您选择个人账户资源进行实验。函数计算 FC 老客户，您有两种付费方式：方式一：您可以直接使用函数计算后付费开始实验，计费标准详情请参考计费概述。请您仔细阅读计费标准，防止有意料之外的付费。方式二：本实验推荐您购买函数计算老客户专享套餐包，进行实验。额度如下：2023年 04 月 06 日 20:00 之前开通函数计算的用户，可 9.9 元享老客户专享套餐，有效期3 个月，总价值 180 元。套餐限购 1 次，内含四个试用包：50 万 vCPU*秒+200 万GB*秒内存+800 万次函数调用+100 万 GB*秒 GPU。请注意：试用额度不支持抵扣函数计算 FC 部署 AI 大模型实现文生图12公网出流量和磁盘使用量的费用。如您未购买相关资源包，公网出流量使用量和超出512 MB 的磁盘使用量将计入按量付费。本体验涉及使用少量公网出流量和磁盘使用量，为了避免停机风险，请您确保账号中有至少 1 元余额”，具体计费情况请参考计费概述。具体操作为：前往函数计算产品详情页。单击老客户专享套餐。在函数计算老客首购套餐页面，单击立即购买。文件存储 NAS 老客户函数计算 FC 部署 AI 大模型实现文生图13文件存储 NAS 老用户，可按量付费或购买 NAS 资源包进行体验，可参考计费概述2）创建应用&安装模型再次提醒本实验可领用下方卡片中的函数计算免费额度；首次开通函数计算的新客户，可以购买新客首购套餐；如您是函数计算老客户，可购买老客户专享套餐包（所有套餐包购买请查看第一步骤描述信息）。请注意领用/购买套餐包进行实验，如选择后付费形式进行实验，请注意账户扣费。计费情况详情请参考计费概述。前往函数计算控制台。在左侧导航栏中，单击应用。注意：如果您之前使用过应用中心，在单击应用之后出现类似于下面的页面，此时您可以单击创建应用继续流程。函数计算 FC 部署 AI 大模型实现文生图14在单击应用/创建应用之后，您可以看到应用列表。在应用页面，人工智能分类，选择“AI 数字绘画 stable-diffusion 自定义模型版”，单击立即创建。在创建应用页面，了解自动创建的资源，并且选择距离您最近的地域函数计算 FC 部署 AI 大模型实现文生图15由于 Hugging Face 网站访问不稳定，部分 Stable Diffusion 插件存在检查模型更新的逻辑，在国内使用受影响的插件可能会遇到启动、出图时间变慢、无法出图等问题。如果您遇到上述问题，可以考虑在海外集群部署 Stable Diffusion，2003 年 9 月 13 日，部署地域默认选择日本，用户可以自行选择国内区域。选择日本地域，函数计算试用额度仍然可用，但是 NAS 免费额度暂时不可用，费用是 1G/月 2.34 元。根据实际需要，可以选择不同的绘图风格。内置模型仅供参考，后续如有需要，您可以上传自己的模型。此时还需要关注页面上角色名称部分，如果角色名检查缺失云产品的操作权限，请根据引导添加所需的权限函数计算 FC 部署 AI 大模型实现文生图16此时需要单击前往授权进行授权，授权完成可能会提示：说明：如果您的角色名称已有相关权限，可忽略此步骤。本次实验提供的镜像由 Serverless Devs 开源项目贡献者贡献，仅供您体验使用。您也可以使用自己的构建的镜像，构建方法详情请参见项目代码内的 README 文档。确认以上信息无误后，点击创建应用仔细阅读应用创建提醒，确认并勾选已经知晓函数计算收费项目，阅读重要提醒。勾选“我已经了解上面内容，并同意上述描述”，点击“同意并继续部署”开始进行应用部署函数计算 FC 部署 AI 大模型实现文生图1710.等待 Stable Diffusion 项目部署，整个过程大概需要 2 分钟左右部署完成后，您可以获得 Stable Diffusion 的访问域名，注意：由于未进行“初始化模型管理”此时您的 Stable Diffusion 只能使用内置模型，不能自主换模型，如需自己更换模型请查看第 13 步函数计算 FC 部署 AI 大模型实现文生图18点击该域名，您便可以进入 Stable Diffusion 页面。点击生成，可以得到您的第一张图片。（启动后的第一张图需要加载模型，相对后续出图速度相对较慢）我们为您内置了一些常用的插件包括“adetailerroopdeforumllulall in one 等等。为了提升启动加载速度及出图速度这些插件默认关闭，您可以根据需要启用（勾选插件并点击 Apply and quit）插件。插件具体作用及使用方式请根据插件名检索相关的文档和教程。函数计算 FC 部署 AI 大模型实现文生图19如果您需要上传自己的模型，可以在控制台点击“初始化模型管理”存储模型需要使用阿里云另外一款产品，文件储存 NAS 为另一款云产品，会产生额外的存储费用。NAS 新用户请务必先领用免费赠送资源后再创建。资源包默认赠送 9GiB性能型 NAS(三个月免费资源包的 50GiB 需要除以 5.47 倍抵扣系数)。请阅读并了解可能产生的费用，并点击确认挂载 NAS 存储函数计算 FC 部署 AI 大模型实现文生图20如果您从未创建过 NAS 或者首次部署，可选择自动配置，来授权我们自动为您创建 NAS文件系统。如果您之前已有 NAS，可以选择“手动配置”，把您想要挂载的 NAS 放进去函数计算 FC 部署 AI 大模型实现文生图21点击确认，等待模型管理初始化完成，大约需要 30 秒-2 分钟左右挂载 NAS 完成后，您可以在 应用详情模型管理域名，进入模型管理工具界面，进行模型管理您也可以在在模型管理标签页进行模型管理，您可以快速跳转到 Stable Diffusion 特定目录，并且通过上传文件按钮传入您自定义的模型函数计算 FC 部署 AI 大模型实现文生图22在管理工具页面，您可以查看函数基本信息、使用集成的 Stable Diffusion 页面、操作文件、通过内置的模型库快速下载模型、查看常见问题的解答上传模型（支持压缩文件上传和解压，具体操作可参考“ControlNet 使用部分）通过本地上传，您可以将电脑中已有的文件上传云端，通过离线上传，您可以将特定链接的文件上传至云端（位于海外的文件链接可能会由于网络波动导致传输失败）上传完成后，您可以点击 Stable Diffusion 模型旁边的按钮刷看到您上传的文件，并在选择后使用新的模型函数计算 FC 部署 AI 大模型实现文生图233）使用模型库使用模型库&常用插件使用模型库为了方便大家快速下载和使用模型，我们集成了一些热门模型，您可以根据需要进行下载。模型库使用说明：模型库功能由阿里云 OSS 提供，模型/数据集/文件均来源于第三方，不保证合规性，请您在使用前慎重考虑。这些模型均遵循 creativeml-openrail-m 或 cc-by-nc-sa-4.0 许可，请您也遵守该许可的约定。您还应严格遵守法律法规、第三方要求等，特别是不得利用本服务从事违法违规行为（如上传/输入/生成/下载/使用违法或不良信息等）。如您发现任何模型/数据集/文件等有问题，请及时联系我们处理。相关模型介绍函数计算 FC 部署 AI 大模型实现文生图24选择合适的模型，点击 下载模型，点击 下载选中的模型注意：模型将会被下载至您的 文件管理（NAS）中，这会产生一定的文件存储费用，具体计费见 阿里云文件存储 NAS函数计算 FC 部署 AI 大模型实现文生图25开始下载，大概 3 秒左右即可下载完毕您也可以在传输列表观观察下载进度模型下载完毕，文件管理/mnt/auto/sd/models/Stable-diffusion 已经保存的文件重启 Stable Diffusion 即可使用模型函数计算 FC 部署 AI 大模型实现文生图26使用插件在进行函数计算 Stable Diffusion 答疑的过程中，遇到很多同学在装一些插件的过程中遇到了难题，有一些需要安装一些依赖，有一些需要写一些代码，很多时候安装一个插件就能折腾几天，我们收集了很多同学需要的插件，这一次把比较难装的 Stable Diffusion 插件都装好了。可以根据自己的需要自行勾选。使用时在列表中进行勾选，点击 Apply and quit,重启的 WebUI 就会自带插件函数计算 FC 部署 AI 大模型实现文生图27内置常用插件ADetailer 插件：修复崩坏脸Deforum 插件：瞬息宇宙视频制作Prompt all in one 插件：提示词翻译助手roop 插件：一键换脸image browser 插件：图像管理rembg 插件：一键快速抠图Tagger 插件：图片反推提示词dataset tag editor 插件：训练 lora 打标插件4）使用文字生成图片使用文字生成图片生成图片的操作方式非常简单，只需要在左侧的 Prompt 输入框中填入提示词，之后单击右侧的 Generate 按钮即可。提示词就是生成图片的依据，既可以是描述需要生成内容的词，如：girl,sunset,forest 等；也可以是用于是描述图像属性的词，如：best quality,beautiful,masterpiece 等。我们甚至可以通过提示词选择图片生成的视角、光线、画风；人物的姿势、着装、表情；背景的内容等。我们建议您加上画风描述词，让您的图片更加美观，如：Cyberpunk（赛博朋克），shinkaimakoto（新海诚），Ghibli Studio（吉卜力），Paul Gauguin（梵高）等等函数计算 FC 部署 AI 大模型实现文生图28在图片生成的过程中，我们可以在页面上看到生成过程的中间图片逐渐变得清晰。同时，也可以通过进度条直观的了解图片生成的进度和预估剩余时间。示例：在 Prompt 输入框中，填入如下提示词，然后单击 Generate。In a cyberpunk city,a girl is on the street,raining,light effect,SimonStalenhag,Ian McQue,Ghibli Studio,Beeple,Kaino University函数计算 FC 部署 AI 大模型实现文生图29您可以组合各类模型、Lara 等玩法，解锁 AI 生图的更多乐趣函数计算 FC 部署 AI 大模型实现文生图30函数计算 FC 部署 AI 大模型实现文生图315）释放资源释放资源在实验完成之后，如果您需要长期使用，请忽略此步骤。如果您不需要长期使用，请按照如下步骤对资源进行释放。释放函数计算。在应用页面，找到您部署的应用，单击右侧操作列下的删除。在删除应用对话框中，选择我一确定资源删除的风险，依旧要删除上面已选择的资源，然后单击删除应用及所选资源。释放文件存储 NAS。请注意这是个高危操作，因为可能会导您的数据丢失。请您谨慎选择。登录文件存储控制台，在文件系统列表页面，找 Alibab-Fc 开头到目标文件系统，在操作列，选择删除。函数计算 FC 部署 AI 大模型实现文生图32移除挂载点及生效策略，然后单击删除。函数计算 FC 部署 AI 大模型实现文生图336）计费参考计费参考本实验设计到两个产品的付费：阿里云函数计算，阿里云文件存储 NAS函数计算费用流量费用（小额）请您根据实际情况进行评估，更多计费详情，请请参考计费概述。磁盘使用量 和 公网出流量不包含在函数计算试用额度内,只要使用 SD 必会产生小额费用，如果小明生成 100 张图，须付的费用为：公网出流量：5MB/每张图*100 张图=500MB，0.25 元（0.50 元/GB）磁盘使用量：0.00000175*10GB*5s 生成一张图耗时*100 张图=0.008 元（使用量512 MB：超出部分 0.00000175 元/GB*秒函数计算 FC 部署 AI 大模型实现文生图34函数计算资源费用小明使用函数计算部署了 Stable Diffusion 大约要消耗多少函数计算资源呢？函数计算配置：GPU 16 GB、vCPU 8 核、内存 32 GB首次生成一张图所耗费的资源（冷启动）：GPU 费用 16*(60+5)=1040 GB-SCPU 费用 8*(60+5)=520内存费用 32*(60+5)=2080 GB-S其中：60 秒冷启动，5 秒生成一张图。后续生成一张图所耗费的资源（热启动）：GPU 费用 16*(5)=80 GB-SCPU 费用 8*5=40内存费用 32*5=160 GB-S其中：5s 秒生成一张图。假如小明 0 元购买了免费试用包，或老客专享资源包资源包额度为：vCPU 试用额度：前 50 万 vCPU*秒 vCPU 资源使用免费。内存试用额度：前 200 万 GB*秒内存资源使用免费。函数调用试用额度：前 800 万次函数调用免费。GPU 试用额度：前 100 万 GB*秒 GPU 资源使用免费。那么小明可以生成的图片数量估计为：GPU 试用额度可生成图片数量：1000000/80=12500 张CPU 试用额度可生成图片数量：500000/40=12500 张内存试用额度可生成图片数量：2000000/160=12500 张最终小明在免费使用额度，可以免费生成 12500 张图。函数计算 FC 部署 AI 大模型实现文生图35注意 1：当小明领取了新人函数计算资源包后，可以免费使用 17.36 小时 sd-webui，超出 17.36 小时后将开始付费。注意 2：当小明无须 SD-WEBUI 生成图片时，请及时关闭 SD-WEBUI 使用界面！进入 SD-WEBUI 使用界面就会产生计费，无论是否生成图片。文件存储 NAS小假如小明 0 元购买了文件存储 NAS 资源包，可上传多少个基础大模型或 lora 模型呢？文件存储NAS提供通用型 NAS资源包50GiB，使用期限3个月。本实验使用性能型 NAS，性能型NAS 5.47 50 GiB 通用型基准容量能抵扣 50 5.47=9.15 GiB 性能型 NAS 使用量。假如基础大模型 3.97G，Lora 模型 400MB，那么小明使用免费额度可以存储 2 个大模型，3 个 Lora 模型。7）Lora 模型使用我们看到其他人做的很漂亮的图，其实很大一部分是使用了 lora 模型构建的，在这里介绍一下如何安装使用。我们可以从 https:/ lora 模型到本地，然后把它上传到/mnt/auto/sd/models/Lora/目录。前往 https:/ FC 部署 AI 大模型实现文生图36切换到 lora。选择其中的一个模型并进行下载。下载完毕后可以更改一下名称，然后上传至 mnt/auto/sd/models/lora。函数计算 FC 部署 AI 大模型实现文生图37接下来前往 WebUI，选择右上角小图标，可以看到您安装的 lora 模型文件。回到 liblibai，复制一下图片生成信息。函数计算 FC 部署 AI 大模型实现文生图38然后就是调参，先选中 LoRA，此时正向提示词有相应的变化。接下来按照我们复制下来的参数进行输入，注意复制参数的 lora 部分需要去掉，因为我们修改了名字。参数调好开始静待生成。生成类似下图。函数计算 FC 部署 AI 大模型实现文生图398）ControlNet 使用ControlNet 包含插件和模型两部分。为了降低费用消耗，建议先下载到本地后，通过admin 上传至 NAS。ControlNet 插件地址项目地址：https:/ Code 按钮，并选择 Download ZIP 下载插件代码（Github 为境外网站，连接可能不稳定，遇到问题可以尝试重试解决）函数计算 FC 部署 AI 大模型实现文生图40下载完成后，通过管理工具上传您的下载的 zip 包刷新下当前目录内容，并将 controlnet 解压到当前目录。等待解压完成后会自动刷新，此时可以看到解压好的目录函数计算 FC 部署 AI 大模型实现文生图41进入目录后，将其中的内容剪切或复制至上一层在上一层目录粘贴最终形式如下（此时可以删掉刚才上传的 zip 包以及随机名称的文件夹）回到 Stable Diffusion，重新加载 WebUI，而后刷新页面函数计算 FC 部署 AI 大模型实现文生图42确保扩展插件目录已存在 sd-webui-controlnet，应用并重启用户页面此时可以看到您的页面上已经有了 ControlNet 配置项函数计算 FC 部署 AI 大模型实现文生图43接下来需要下载 SD 需要的模型，进入 HuggingFace，可以看到 ControlNet 官方模型列表https:/huggingface.co/lllyasviel/ControlNet-v1-1/tree/main这里我们以 OpenPose 为例，右键 下载按钮，点击复制链接进入 ControlNet 目录，将上面的文件离线上传。由于 HuggingFace 为境外网站，您可能需要多等待一会时间。也可以先下载到本地后再进行上传。需要注意的是，OpenPose 还需要一些预处理器，为了提升出图效率并降低费用，建议这些也手动下载函数计算 FC 部署 AI 大模型实现文生图44对应地址：下载地址存放目录https:/huggingface.co/lllyasviel/Annotators/resolve/main/body_pose_model.pth/mnt/auto/sd/extensions/sd-webui-controlnet-main/annotator/downloads/openpose/body_pose_model.pthhttps:/huggingface.co/lllyasviel/Annotators/resolve/main/hand_pose_model.pth/mnt/auto/sd/extensions/sd-webui-controlnet-main/annotator/downloads/openpose/hand_pose_model.pthhttps:/huggingface.co/lllyasviel/Annotators/resolve/main/facenet.pth/mnt/auto/sd/extensions/sd-webui-controlnet-main/annotator/downloads/openpose/facenet.pth除此之外，如果您需要编辑姿势，还需要安装姿势编辑器插件插件的地址为 https:/ 件 安 装 完 成 后，在Release 列 表，您 还 需 要 下 载 并 上 传 解 压dist.zip 到sd-webui-openpose-editor 目录函数计算 FC 部署 AI 大模型实现文生图45重载 WebUI 后，您就可以正常使用 OpenPose 功能了如下图，您需要先上传一张图片，勾选“启用”和“Allow Preview”，选择“预处理”为“openpose_full”和“模型”为“control_v11p_sd15_openpose”而后点击他们中间的按钮，即可生成姿势函数计算 FC 部署 AI 大模型实现文生图46通过姿势右下角的 edit，您可以自由修改姿势关键节点，并在文生图过程中得到满足姿势的图片恭喜您完成了本场景实验通过本次实验您获得了使用函数计算部署 Stable Diffusion 模型基于 Stable Diffusion 体验 AI 绘画函数计算 FC 部署 AI 大模型实现文生图47本场景使用到的云产品文件存储 NAS函数计算 FC相关实践系列课利用函数计算一键部署 AIGC 应用联系我们钉钉扫码加群使用阿里云 NAS+PAI-EAS 部署 Stable Diffusion 文生图模型48使用阿里云 NAS+PAI-EAS 部署 Stable Diffusion 文生图模型作者：阿里巴巴存储技术简介：阿里云的 AIGC 存储解决方案是覆盖了数据收集、模型训练以及模型推理整个生命周期，本实验场景主要覆盖模型推理过程，介绍如何使用模型在线服务（PAI-EAS）以及文件存储 NAS 部署 AIGC 应用，快速生成图片。AIGC 作为人工智能技术和产业应用的要素之一，可自动生成图片、音频、文本、视频、代码等内容，随着技术能力的不断迭代升级，将降低内容创作门槛、释放创作能力。AI 绘画工具 Stable Diffusion，是一种基于潜在扩散模型（Latent Diffusion Models）的文本到图像、图像到图像生成模型，能够根据任意文本或图像输入，生成高质量、高分辨率、高逼真的图像。基于 Stable Diffusion WebUI，可以在网页上轻松进行文生图、图生图的操作。使用阿里云 NAS+PAI-EAS 部署 Stable Diffusion 文生图模型49阿里云的 AIGC 存储解决方案是覆盖了数据收集、模型训练以及模型推理整个生命周期，本实验场景主要覆盖模型推理过程，介绍如何使用模型在线服务（PAI-EAS）以及文件存储NAS 部署 AIGC 应用，快速生成图片。1.准备工作在阿里云免费试用的官网页面中（https:/ NAS、PAI-EAS 的试用资源，然后领用相关资源。戳这里，领取 PAI-EAS 免费试用。2.实验步骤1）创建相关的 VPC、安全组和交换机登录阿里云控制台，创建一个专有网络 VPC，VPC 的名称可以根据业务或个人喜好自行命名。选择 IPV4 网段时，可以从默认的三个网段中任选一个。在创建 VPC 的同时，需要把相关的交换机也创建好。因为和机器学习平台 PAI 连接，属于一种 VPC 的专网连接，需要通过专业的交换机实现。使用阿里云 NAS+PAI-EAS 部署 Stable Diffusion 文生图模型50在 VPC 和交换机创建完成之后，接下来要创建安全组策略。通过 VPC 页面的云服务、云服务器安全组策略页面，可以创建安全组，此时选择默认的安全组策略即可，网络就选择刚才创建的 VPC。相关描述建议根据个人选择进行添加，访问规则可不用改动。2）创建相关的文件存储资源在文件存储的控制台，选择创建文件存储通用型 NAS。选择地域要勾选河源，因为相关的免费试用资源都是在华南 2（河源）。在专有网络 VPC、虚拟机交换机选择在前一步所创建使用阿里云 NAS+PAI-EAS 部署 Stable Diffusion 文生图模型51好的 VPC 网络和交换机的名称，再点击立即购买，就会收到文件存储 NAS 创建成功的提示，在文件系统列表中可以查看到通用型 NAS 系统。3）通过 PAI 平台部署模型进入机器学习平台 PAI 的页面搭建模型，首先需要在工作空间列表中新建一个工作空间，建议工作空间按照工程来进行命名（比如 mynewaigc），可以把一组的工程集中在一个工作空间中。工作空间创建好后，接下来使用模型在线服务（PAI-EAS）来部署模型。在部署模型之前，首先要选择刚才创建的工作空间 mynewaigc，然后进入 EAS。进入 EAS 之后呢，有多种服务可供选择，本次实验需要选择部署服务。填写模型服务信息时，需要自定义一个服务名称。由于本次要部署 Stable Diffusion 的一个 web 应用，所以部署方式需要选择镜像部署 AI-Web 应用。在镜像的选择上，PAI 平台已经帮用户打包好了 AIGC 的应用，点击选择stable-diffusion-webui，镜像版本选择 2.2 版本。使用阿里云 NAS+PAI-EAS 部署 Stable Diffusion 文生图模型52接下来需要选择存储的空间，也就是在模型配置选择 NAS 挂载。此时可以选择之前创建的NAS 文件系统，每个文件系统默认会自带的挂载点，也可以一并选择。在源路径上，无需自 输 入“/”使 用 NAS 的 根 路 径，无 需 自 定 义 路 径。至 于 挂 载 路 径，选 择/code/stable-diffusion-webui/data，相当于“/”这个子目录就是我们所要指定的数据存储的目录。这样的话，整个这个模型部署以及图片都会在挂载的目录上生成。使用阿里云 NAS+PAI-EAS 部署 Stable Diffusion 文生图模型53挂载路径填写完成后，开始选择运行模型需要使用的资源。这时得选择公共资源组和常规资源配置。在资源配置选择中，点击试用活动，可以看到之前在试用活动中领用的资源，然后选择一台 GPU 服务器。此时页面会显示这台服务器每小时会产生 13.98 元的费用。不过，这部分费用可以通过领用的试用资源中的 500 元代金券进行抵扣。所以，如果担心在测试使用的过程中产生不必要的费用，可以重点关注使用的时长。最后，在专有网络配置中，选择之前创建的 VPC、交换机、安全组，就可以开始部署应用。当应用部署完成之后，如果服务状态处于运行中，就意味这个服务部署完成。使用阿里云 NAS+PAI-EAS 部署 Stable Diffusion 文生图模型544）使用模型实现文生图在服务方式中选择点击查看Web应用之后，会进入我们所部署的Stable Diffusion的Web界面，使用文生图功能可以通过提示词生成对应的图片。比如输入 cute dog 很快就能得到一张小狗的图片。在默认情况下，Stable Diffusion 只支持使用英文+有限的 emoji 颜文字来作为提示词（Prompt）。通过安装 WebUI 插件，可以输入中文或其他语言生成图片。互联网上已有很多相关教程，可自行查找学习，在此不一一赘述。3.清理资源模型使用结束后，接下来需要清理资源，以免产生不必要的费用。首先，要停止模型、删除资源，当 PAI-EAS 里关联的 GPU 资源被清除，就不会再产生相关的费用。使用阿里云 NAS+PAI-EAS 部署 Stable Diffusion 文生图模型55然后再去删除文件系统，这时需要在文件系统列表中删除之前创建的文件存储资源。由于文件存储资源挂载到 VPC 网络中，还有生命周期策略以及回收站的设置，因此需要清除这三项的关联信息。当这些信息全部清除完成之后，点击删除即可。最后要做的是专用网络 VPC 资源的清除，这时需要先删除交换机和安全组策略再强制删除VPC 网络资源，从而释放所有的网络、网关等资源。至此，本次实验所创建的所有资源全部被释放完成，不会再产生额外的费用。欲了解更多，请点击这里。AIGC Stable Diffusion 文生图 Lora 模型微调实现虚拟上装56AIGC Stable Diffusion 文生图 Lora 模型微调