玩转AIGC.pdf

序随着人工智能技术的不断发展，AIGC 作为其中一种重要的应用，正越来越受大众关注与重视。AI 从理解语言、理解文字、理解图片和视频，走向了生成内容，这称之为 AIGC，即人工智能自动生成内容，是一种人机共创新模式。目前，AIGC 主要的应用场景分为互联网人机交互界面，如问答式购物，问答式搜索，问答式内容推进等；游戏和互娱 AI 内容生产，如游戏原画及素材生成，剧情生成，NPC 人物生成等；消费电子智能家居和家电，如智能音箱，智能手表，其他可穿戴智能设备等。企业服务创意和素材生成，如商业文案生成，法律文件审核，企业广告策划等。本文将围绕文本生成、图像生成以及视频生成这三块主流 AIGC 的应用来给大家讲解详细的操作指南以及实践方案。以下是来自弹性计算 GPU 云服务器的 8 个 AIGC 最佳实践，可以帮助大家更好、更快速的搭建属于自己的 AIGC 应用，玩转 AIGC。目录页从 0 快速搭建个人版“对话大模型”.5基于 AIACC 加速器快速实现 AIGC 绘画.15快速搭建 AI 对话机器人.25AIGC 文本生成 3D 模型.30AIGC 文本生成视频.38基于 AIACC 加速器快速实现 LLaMA-7B 指令微调.44基于 AIACC 加速器快速实现 Stable Diffusion 生成特定物体图片.60使用 Megatron-Deepspeed 训练 GPT-2 并生成文本.78从 0 快速搭建个人版“对话大模型”5从 0 快速搭建个人版“对话大模型”一、背景信息Alpaca 大模型是一款基于 LLaMA 的大语言模型，它可以模拟自然语言进行对话交互，并协助用户完成写作、翻译、编写代码、生成脚本等一系列创作任务。同时，使用了中文数据进行二次预训练，提升了中文基础语义理解能力。本文基于阿里云 GPU 服务器和 Alpaca 大模型，指导您如何快速搭建个人版“对话大模型”。二、操作步骤1.创建 ECS 实例1）在 ECS 实例创建页面，创建 ECS 实例。关键参数说明如下，其他参数的配置，请参见自定义购买实例。从 0 快速搭建个人版“对话大模型”6实例规格：选择实例规格为 ecs.gn7i-c16g1.4xlarge。镜像：公共镜像 Ubuntu 20.04，并选中安装 GPU 驱动，选择 CUDA 版本 11.4.1/Driver版本 470.161.03/CUDNN 版本 8.2.4。公网IP：选中分配公网IPv4地址，带宽计费方式选择按量付费，带宽峰值选择100 Mbps，以加快模型下载速度。2）添加安全组规则。在 ECS 实例安全组的入方向添加安全组规则并放行 7860 端口。具体操作，请参见添加安从 0 快速搭建个人版“对话大模型”7全组规则。3）查看驱动以及 CUDA 库是否安装成功。a）使用 root 用户远程登录 ECS 实例。具体操作，请参见通过密码或密钥认证登录 Linux实例。首次登录 ECS 实例时，系统会自动安装驱动。当显示如下图所示的回显信息时，表示驱动以及 CUDA 库已安装成功。特别提醒：系统自动安装驱动以及 CUDA 库时，请不要手动操作或者重启实例，否则可能会导致驱动或 CUDA 库安装失败。等到安装驱动以及 CUDA 库完成以后，系统会自动重启。如果创建完 ECS 实例后，没有立即远程登录 ECS 实例，可能看不到类似下图的回显信息。b）再次使用 root 用户远程登录 ECS 实例。具体操作，请参见通过密码或密钥认证登录Linux 实例。从 0 快速搭建个人版“对话大模型”8c）执行以下命令，查看 GPU 驱动的版本。nvidia-smi回显信息类似下图所示。d）执行以下命令，查看 CUDA 库的版本。nvcc-V回显信息如下图所示。从 0 快速搭建个人版“对话大模型”9配置软件1）执行以下命令，安装 Git 和 Git LFS 软件。apt install-y git git-lfs python-is-python32）依次执行以下命令，安装模型所需要的 Python 包。pip install git+https:/ install sentencepiece=0.1.97-i https:/ install peft=0.2.0-i https:/ GitHub 上下载 Transformers 库，由于网络原因偶尔可能会不成功，建议您多尝试几次。3)在 PyTorch 环境下验证 GPU 是否正常工作。a）执行以下命令，进入 PyTorch 环境。pythonb）执行以下命令，验证 GPU 是否正常工作。import torchtorch.cuda.is_available()返回 true，表示 GPU 正常工作。从 0 快速搭建个人版“对话大模型”10c）执行以下命令，退出 Python。quit()下载与配置模型1）依次执行以下命令，下载 tmux 并创建一个 tmux session。apt install-y tmuxtmux说明：下载模型耗时较长，建议在 tmux session 中下载，以免 ECS 断开连接导致下载中断。2）执行以下命令，下载 Chinese-LLaMA-Alpaca 模型。git clone https:/ chinese-alpaca-lora-13b 模型。git-lfs clone https:/huggingface.co/ziqingyang/chinese-alpaca-lora-13b4）执行以下命令，下载 llama-13b-hf。llama-13b-hf 是预训练的 llama 13b 模型，已经转换成了 Huggingface 的模型格式。下载llama-13b-hf 大约有 40 GiB 的数据，预估下载时间约 30 分钟，请您耐心等待。LLaMA 是第三方提供的 Huggingface 格式的预训练模型数据。Meta 官方发布的 LLaMA模型禁止商用，并且官方暂时还没有正式开源模型权重。这里使用这个下载链接只为做演示使用，不承担任何法律责任。git-lfs clone https:/huggingface.co/decapoda-research/llama-13b-hf从 0 快速搭建个人版“对话大模型”115）依次执行以下命令，合并代码。cd Chinese-LLaMA-Alpaca/python scripts/merge_llama_with_chinese_lora.py-base_model/llama-13b-hf/-lora_model/chinese-alpaca-lora-13b/-output_type huggingface-output_dir./llama_with_lora_hf命 令 行 中 需 要 用-output_dir 命 令 指 定 一 个 输 出 目 录，本 示 例 中 输 出 目 录 为/root/Chinese-LLaMA-Alpaca/llama_with_lora_hf。转换需要一段时间，需要耐心等待。6）执行以下命令，查看转换完成后的文件。ls-lh llama_with_lora_hf部署 WebUI1）执行以下命令，在/root 目录或者您的工作目录，下载 WebUI 并且进行代码部署。cdgit clone https:/ 0 快速搭建个人版“对话大模型”122）执行以下命令，安装代码及依赖库。cd text-generation-webui/pip install-r requirements.txt-ihttps:/ models 目录下面生成一个软链接，指向合并后模型数据的目录。合并后的数据模型目录为/root/Chinese-LLaMA-Alpaca/llama_with_lora_hf，您可以从合并代码步骤获取。ln-s/root/Chinese-LLaMA-Alpaca/llama_with_lora_hf/models/llama_with_lora_hf参数说明如下：/root/Chinese-LLaMA-Alpaca/llama_with_lora_hf/：指的是合并模型存放的目录，您可以从合并代码步骤获取。models/llama_with_lora_hf：指的是模型名称，您可以修改成其他名称。验证结果完成以上操作后，您已经成功完成了 WebUI 部署和个人版对话大模型的搭建。您可以在WebUI 页面，进行验证。1）执行以下命令，运行 WebUI。cdtext-generation-webui/pythonserver.py-modelllama_with_lora_hf-listen-chat-load-in-8bit参数说明如下：-model：指定的是步骤 3 生成的软链接的名称，不需要带前面的 model/目录名。本示例软链接的名称为 llama_with_lora_hf。-listen：用于设置 WebUI 监听所有外部 IP（不配置-listen 默认只能监听本地 IP），从 0 快速搭建个人版“对话大模型”13以实现从实例外访问 WebUI。默认监听端口是 7860，您可通过-listen-port 来指定其他监听端口。-chat：用于指定默认的运行模式，本文示例为对话模式（可按需尝试其他模式）。-load-in-8bit：用于指定以 8bit 模式加载模型。正常加载 13B 模型需要 26 GB 以上显存，A10 显卡只有 24 GB，所以需要以 8bit 模式加载，模型占用显存大约为 15 GB。当显示如下图所示的回显信息时，表示运行 WebUI 成功。2）在 ECS 实例页面，获取 ECS 实例的公网 IP 地址。3）在浏览器中输入 http:/:7860，即可访问个人版对话大模型。您可以输入相应的问题和AI 机器人进行对话。从 0 快速搭建个人版“对话大模型”14基于 AIACC 加速器快速实现 AIGC 绘画15基于 AIACC 加速器快速实现 AIGC 绘画一、背景信息Stable Diffusion 是一个可通过文本生成图像的扩散模型，基于 CLIP 模型从文字中提取隐变量，并通过 UNet 模型生成图片；最后通过逐步扩散、逐步处理图像，优化图像质量。AIACC-Inference（AIACC 推理加速器）Torch 版可通过对模型的计算图进行切割，执行层间融合，以及高性能 OP 实现，大幅度提升 PyTorch 的推理性能。您无需指定精度和输入尺寸，即可通过 JIT 编译的方式对 PyTorch 框架下的深度学习模型进行推理优化。更多信息，请参见手动安装 AIACC-Inference（AIACC 推理加速）Torch 版。本文基于阿里云 GPU 服务器和 Stable Diffusion 的 WebUI 框架，指导您如何基于 AIACC加速器快速实现 AIGC 绘画。特别提醒阿里云不对第三方模型的合法性、安全性、准确性进行任何保证，阿里云不对由此引发的任何损害承担责任。您应自觉遵守第三方模型的用户协议、使用规范和相关法律法规，并就使用第三方模型的合法性、合规性自行承担相关责任。基于 AIACC 加速器快速实现 AIGC 绘画16二、操作步骤创建 ECS 实例1）前往实例创建页。2）按照界面提示完成参数配置，创建一台 ECS 实例。需要注意的参数如下，其他参数的配置，请参见自定义购买实例。实例：选择实例规格为 ecs.gn7i-c16g1）4xlarge。镜像：本文使用已部署好推理所需环境的云市场镜像，名称为 ai-inference-solution。公网 IP：选中分配公网 IPv4 地址，带宽计费模式选择按使用流量，带宽峰值设置为 100Mbps，以加快模型下载速度。基于 AIACC 加速器快速实现 AIGC 绘画173）添加安全组规则。在 ECS 实例安全组的入方向添加安全组规则并放行 50000 端口。具体操作，请参见添加安全组规则。4）创建完成后，在 ECS 实例页面，获取公网 IP 地址。说明:公网 IP 地址用于生成图片测试时访问 WebUI 服务。下载并配置模型本实践中，下载了以下三个模型，您可以根据需要，切换模型进行测试。v1-5-pruned-emaonly.safetensors：Stable Diffusion v1）5 模型，一种潜在的text-to-image（文本到图像）的扩散模型，能够在给定任何文本输入的情况下生成逼真的图像。提醒：该模型中文提示词效果不好，建议使用英文提示词。基于 AIACC 加速器快速实现 AIGC 绘画18Taiyi-Stable-Diffusion-1B-Chinese-v0.1：太乙-中文模型，基于 0.2 亿筛选过的中文图文对训练，可以使用中文进行 AI 绘画。Taiyi-Stable-Diffusion-1B-Anime-Chinese-v0.1：太乙-动漫风格模型，首个开源的中文 Stable Diffusion 动漫模型，该模型是基于 Taiyi-Stable-Diffusion-1B-Chinese-v0.1 进行继续训练，经过 100 万筛选过的动漫中文图文对训练得到的。太乙-动漫风格模型不仅能够生成精美的动漫图像，还保留了太乙-中文模型对于中文概念强大的理解能力。1）使用 root 用户远程连接 ECS 实例。该市场镜像中，运行环境及模型都安装在/root 目录下，连接实例时需使用 root 用户。具体操作，请参见通过密码或密钥认证登录 Linux 实例。2）执行如下命令，下载 v1-5-pruned-emaonly.safetensors 模型。cd/stable-diffusion-webui/models/Stable-diffusionwgethttps:/huggingface.co/runwayml/stable-diffusion-v1-5/resolve/main/v1-5-pruned-emaonly.safetensors当显示如下图所示的回显信息时，说明已下载完成。3）执行如下命令，下载 Taiyi-Stable-Diffusion-1B-Chinese-v0.1 模型。cd/stable-diffusion-webui/repositories/git lfs clone https:/huggingface.co/IDEA-CCNL/Taiyi-Stable-Diffusion-1B-Chinese-v0.1基于 AIACC 加速器快速实现 AIGC 绘画19当显示如下图所示的回显信息时，说明已下载完成。4）执行如下命令，下载 Taiyi-Stable-Diffusion-1B-Anime-Chinese-v0.1 模型。cd/stable-diffusion-webui/repositories/git lfs clone https:/huggingface.co/IDEA-CCNL/Taiyi-Stable-Diffusion-1B-Anime-Chinese-v0.1当显示如下图所示的回显信息时，说明已下载完成。5）为 Nginx 添加用户登录验证。该镜像预装了 Nginx 软件，用于登录鉴权，以防止非授权用户登录。a）执行如下命令，创建登录用户和密码。htpasswd-bc/etc/nginx/password$UserName$Password说明：$UserName请替换为您自定义的用户名，例如 admin；$Password请替换为您自定义的密码，例如 ECStest1234。b）执行如下命令，重启 Ngnix。systemctl restart nginx基于 AIACC 加速器快速实现 AIGC 绘画20c）执行如下命令，查看 Ngnix 状态。systemctl status nginx当显示如下图所示的回显信息时，说明 Ngnix 处于运行中。d）执行如下命令，设置 Ngnix 开机自启动。systemctl enable nginx开始文本生成图片步骤一：启动步骤一：启动 WebUIWebUI 服务服务执行如下命令，启动 WebUI 服务。cd/stable-diffusion-webui/nohup./run_taiyi.sh&特别提醒：建议您等待 1 分钟，等待 WebUI 加载完成。基于 AIACC 加速器快速实现 AIGC 绘画21步骤二：开启步骤二：开启 AIAI 绘画并测试绘画并测试 AiccTorchAiccTorch 加速效果加速效果1）在浏览器地址栏输入 http:/:50000，在弹出的登录对话框，输入上章节第 5 步中创建的用户和密码，单击登录。2）开始 AI 绘画。说明 首次应用 AiccTorch 进行图片生成，或者切换模型后的首次图片生成，会多占用约30s 时间，以进行 AiccTorch 模型加载。开启 AiccTorch 加速时进行 AI 绘画（默认已开启）在对话框中输入关键字，如铁马冰河入梦来，概念画，科幻，玄幻，3D，单击生成/Generate（您可以尝试多次 Generate，生成更符合需求的图片）。页面右侧将会展示生成的图片和推理时间，本示例中单张图片推理时间为 1.19基于 AIACC 加速器快速实现 AIGC 绘画22禁用 AiccTorch 时进行 AI 绘画单击设置/Settings 页签，左侧导航选择 AiaccTorch，取消选中 Apply Aiacctorchin Unet to speedup the whole network inference when loading models 后，单击应用设置/Apply settings，再单击重新加载 WebUI/Reload UI。在对话框中输入关键字，单击生成/Generate，重新生成图片，查看推理时间（本示例为 2.04s）。基于 AIACC 加速器快速实现 AIGC 绘画23对比发现，开启 AiccTorch 后，单张图片的推理时间要远少于禁用 AiccTorch。查看不同模型的推理效果在步骤下载并配置模型中下载了 3 个模型，可根据需求切换模型，查看不同模型的推理效果。1）在页面左上角，切换模型，例如切换为 Taiyi-Stable-Diffusion-1B-Anime-Chinese-v0.1 模型。基于 AIACC 加速器快速实现 AIGC 绘画242）在对话框中输入提示词和反向提示词。提示词示例：1 个女孩,绿眼,棒球帽,金色头发,闭嘴,帽子,看向阅图者,短发,简单背景,单人,上半身,T 恤反向提示词示例：水彩,漫画,扫描件,简朴的画作,动画截图,3D,像素风,原画,草图,手绘,铅笔生成的动漫风格图像如下图所示。快速搭建 AI 对话机器人25快速搭建 AI 对话机器人一、背景信息ChatGLM-6B 是一个开源的、支持中英双语对话的语言模型，它基于 General LanguageModel（GLM）架构，具有 62 亿参数；并使用了和 ChatGPT 相似的技术，经过约 1 T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，能生成符合人类偏好的回答。本文基于阿里云 GPU 云服务器和 ChatGLM-6B 语言模型，指导您如何快速搭建一个 AI 对话机器人。快速搭建 AI 对话机器人26重要提示：阿里云不对第三方模型“ChatGLM-6B”的合法性、安全性、准确性进行任何保证，阿里云不对由此引发的任何损害承担责任。您应自觉遵守第三方模型的用户协议、使用规范和相关法律法规，并就使用第三方模型的合法性、合规性自行承担相关责任。二、操作步骤创建 ECS 实例1）前往实例创建页。2）按照界面提示完成参数配置，创建一台 ECS 实例。需要注意的参数如下，其他参数的配置，请参见自定义购买实例。实例：选择实例规格为 ecs.gn7i-c16g1）4xlarge。镜像：本文使用已部署好推理所需环境的云市场镜像，名称为 ai-inference-solution。公网 IP：选中分配公网 IPv4 地址，带宽计费模式选择按使用流量，带宽峰值设置为 100Mbps，以加快模型下载速度。快速搭建 AI 对话机器人273）添加安全组规则。在 ECS 实例安全组的入方向添加安全组规则并放行 50001 端口。具体操作，请参见添加安全组规则。4）创建完成后，在 ECS 实例页面，获取公网 IP 地址。说明:公网 IP 地址用于生成图片测试时访问 WebUI 服务。快速搭建 AI 对话机器人28下载模型1）使用 root 用户远程连接 ECS 实例。该市场镜像中，运行环境及模型都安装在/root 目录下，连接实例时需使用 root 用户。具体操作，请参见通过密码或密钥认证登录 Linux 实例。2）执行如下命令，下载 ChatGLM-6B 模型。cd/root/chatglmgit-lfs clone https:/huggingface.co/THUDM/chatglm-6b模型下载大约需要 35 分钟，当显示如下图所示的回显信息时，说明已下载完成。进行 AI 对话1）执行如下命令，开启 WebUI 服务。cd/root/chatglm/ChatGLM-6Bstreamlit run web_demo2.py-server.port 50001&当出现如下回显的时候，表示启动成功。快速搭建 AI 对话机器人292）在浏览器地址栏输入 http:/:50001，进入 Web 页面。3）在用户命令输入对话框中，输入对话内容（例如中国有几个直辖市?），单击发送，即可开始 AI 对话。AIGC 文本生成 3D 模型30AIGC 文本生成 3D 模型一、背景信息自多态模型 GPT-4 发布后，AIGC（AI Generated Content，AI 生成内容）时代正扑面而来，从单一的文字文本，演化到更丰富的图片、视频、音频、3D 模型等。本文将基于 HRN 人脸重建模型，以人脸头像作为输入，利用层次化表征实现快速人脸几何、纹理恢复，指导您如何实现使用文本生成高精度 3D 模型。关于模型的详细信息，请参见HRN 人脸重建模型。重要提示：阿里云不对第三方模型“HRN 人脸重建模型”的合法性、安全性、准确性进行任何保证，阿里云不对由此引发的任何损害承担责任。您应自觉遵守第三方模型的用户协议、使用规范和相关法律法规，并就使用第三方模型的合法性、合规性自行承担相关责任。二、操作步骤创建 ECS 实例1）前往实例创建页。AIGC 文本生成 3D 模型312）按照界面提示完成参数配置，创建一台 ECS 实例。需要注意的参数如下，其他参数的配置，请参见自定义购买实例。实例：选择实例规格为 ecs.gn7i-c16g1）4xlarge。镜像：本文使用已部署好推理所需环境的云市场镜像，名称为 ai-inference-solution。公网 IP：选中分配公网 IPv4 地址，带宽计费模式选择按使用流量，带宽峰值设置为 100Mbps，以加快模型下载速度。AIGC 文本生成 3D 模型323）添加安全组规则。在 ECS 实例安全组的入方向添加安全组规则并放行 50000 端口。具体操作，请参见添加安全组规则。4）创建完成后，在 ECS 实例页面，获取公网 IP 地址。说明：公网 IP 地址用于生成图片测试时访问 WebUI 服务。搭建 Stable Diffusion 环境1）使用 root 用户远程连接 ECS 实例。该市场镜像中，运行环境及模型都安装在/root 目录下，连接实例时需使用 root 用户。具体操作，请参见通过密码或密钥认证登录 Linux 实例。2）执行如下命令，下载 v1-5-pruned-emaonly.safetensors 模型。cd/stable-diffusion-webui/models/Stable-diffusionwget https:/huggingface.co/runwayml/stable-diffusion-v1-5/resolve/maiAIGC 文本生成 3D 模型33n/v1-5-pruned-emaonly.safetensors当显示如下图所示的回显信息时，说明已下载完成。3）为 Nginx 添加用户登录验证。该镜像预装了 Nginx 软件，用于登录鉴权，以防止非授权用户登录。a）执行如下命令，创建登录用户和密码。说明:$UserName请替换为您自定义的用户名，例如 admin；$Password请替换为您自定义的密码，例如 ECStest1234。htpasswd-bc/etc/nginx/password$UserName$Passwordb）执行如下命令，重启 Ngnix。systemctl restart nginxc）执行如下命令，查看 Ngnix 状态。systemctl status nginxAIGC 文本生成 3D 模型34当显示如下图所示的回显信息时，说明 Ngnix 处于运行中。d）执行如下命令，设置 Ngnix 开机自启动。systemctl enable nginx文本生成 3D 模型步骤一：（可选）基于步骤一：（可选）基于 StableStable DiffusionDiffusion 生成头像图片生成头像图片通过文本生成人脸头像，作为人脸重建模型的图片输入。您也可以跳过该步骤，使用镜像中已有的头像生成 3D 模型。1）在浏览器地址栏输入 http:/:50000，在弹出的登录对话框，输入步骤 3 中创建的用户和密码，单击登录。AIGC 文本生成 3D 模型352）在对话框中输入简单的提示语，单击生成/Generate 生成头像，然后单击保存/Save。说明:以下提示语仅为示例，您可以根据需要，自行输入提示语。Elon Musk，mugshot，smiledMark Zuckerberg，mugshot，with a serious faceAIGC 文本生成 3D 模型36步骤二：使用头像图片生成步骤二：使用头像图片生成 3D3D 模型模型1）执行如下命令，切换 conda 环境到 modelscope 中。conda activate modelscope2）执行如下命令，切换到 scripts 目录。cd/root/scripts3）（条件必选）上传头像图片。如果您是通过步骤一生成的图片或自定义图片，需将图片上传到 root/scripts 目录，并获取带格式的头像图片名称（例如 image.png）用于生成 3D 模型。具体操作，请参见上传文件。说明:ai-inference-solution 镜像中自带了头像图片（存放于 root/scripts 中），您也可以跳过该步骤，直接使用该镜像中的图片，试玩头像图片生成 3D 模型。AIGC 文本生成 3D 模型374）执行如下命令，使用头像图片生成 3D 模型。./faceTo3D.py 头像图片文件名本文以头像图片文件名为 image.png 为例（请根据实际需求替换），则命令为：./faceTo3D.py image.png说明:首次执行脚本时，会通过公网自动下载所需模型库，100 Mbps 带宽下载时间大约为2 分钟，请耐心等待。生成的 3D 模型文件存放在/root/scripts/output 目录中，其中.obj、.mtl、.jpg 可导入Unity、UE 等软件中使用；头像旋转视频（rotation video）、可视化图片（visual image）可用于快速浏览生成效果。AIGC 文本生成视频38AIGC 文本生成视频一、背景信息自多态模型 GPT-4 发布后，AIGC（AI Generated Content，AI 生成内容）时代正扑面而来，从单一的文字文本，演化到更丰富的图片、视频、音频、3D 模型等。本文基于阿里云 GPU 服务器和文本生成视频模型，采用 Unet3D 结构，通过从纯高斯噪声视频中，迭代去噪的过程，实现文本生成视频功能。重要提示：阿里云不对第三方模型“文本生成视频大模型”的合法性、安全性、准确性进行任何保证，阿里云不对由此引发的任何损害承担责任。关于模型的详细信息，请参见文本生成视频大模型。您应自觉遵守第三方模型的用户协议、使用规范和相关法律法规，并就使用第三方模型的合法性、合规性自行承担相关责任。二、操作步骤创建 ECS 实例1）前往实例创建页。2）按照界面提示完成参数配置，创建一台 ECS 实例。需要注意的参数如下，其他参数的配置，请参见自定义购买实例。实例：选择实例规格为 ecs.gn7i-c16g1）4xlarge。镜像：本文使用已部署好推理所需环境的云市场镜像，名称为 ai-inference-solutAIGC 文本生成视频39公网 IP：选中分配公网 IPv4 地址，带宽计费模式选择按使用流量，带宽峰值设置为 100Mbps，以加快模型下载速度。2）添加安全组规则。在 ECS 实例安全组的入方向添加安全组规则并放行 50000 端口。具体操作，请参见添加安全组规则。AIGC 文本生成视频404）创建完成后，在 ECS 实例页面，获取公网 IP 地址。说明：公网 IP 地址用于生成图片测试时访问 WebUI 服务。下载并配置模型1）使用 root 用户远程连接 ECS 实例。该市场镜像中，运行环境及模型都安装在/root 目录下，连接实例时需使用 root 用户。具体操作，请参见通过密码或密钥认证登录 Linux 实例。2）执行如下命令，下载 v1-5-pruned-emaonly.safetensors 模型。cd/stable-diffusion-webui/models/Stable-diffusionwget https:/huggingface.co/runwayml/stable-diffusion-v1-5/resolve/main/v1-5-pruned-emaonly.safetensors当显示如下图所示的回显信息时，说明已下载完成。AIGC 文本生成视频413）为 Nginx 添加用户登录验证。该镜像预装了 Nginx 软件，用于登录鉴权，以防止非授权用户登录。a）执行如下命令，创建登录用户和密码。说明:$UserName请替换为您自定义的用户名，例如 admin；$Password请替换为您自定义的密码，例如 ECStest1234。htpasswd-bc/etc/nginx/password$UserName$Passwordb）执行如下命令，重启 Nginx。systemctl restart nginxc）执行如下命令，查看 Nginx 状态。systemctl status nginx当显示如下图所示的回显信息时，说明 Nginx 处于运行中。AIGC 文本生成视频42d）执行如下命令，设置 Nginx 开机自启动。systemctl enable nginx文本生成视频1）使用 root 用户远程连接 ECS 实例。该市场镜像中，运行环境及模型都安装在/root 目录下，连接实例时需使用 root 用户。具体操作，请参见通过密码或密钥认证登录 Linux 实例。2）执行如下命令，切换 conda 环境到 modelscope 中。conda activate modelscope3）执行如下命令，切换到 scripts 目录。cd/root/scripts4）执行如下脚本，生成视频。./text2video.py运行过程中，请根据提示输入英文文本，例如 Clown fish swimming through the coralreef.。说明:首次执行脚本时，会通过公网自动下载所需模型库，100 Mbps 带宽下载时间大约为 20 分钟，请耐心等待。AIGC 文本生成视频43文件存放：生成的 text2video.mp4 视频文件存放在/root/scripts/output 目录中。文件下载：在左上角菜单栏，选择文件 打开新文件树，找到目标文件后右键，单击下载文件即可。基于 AIACC 加速器快速实现 LLaMA-7B 指令微调44基于 AIACC 加速器快速实现 LLaMA-7B 指令微调一、背景信息LLaMA（Large Language Model Meta AI）是 Meta AI 在 2023 年 2 月发布的开放使用预训练语言模型（Large Language Model，LLM），其参数量包含 7B 到 65B 的集合，并仅使用完全公开的数据集进行训练。LLaMA 的训练原理是将一系列单词作为“输入”并预测下一个单词以递归生成文本。LLM 具有建模大量词语之间联系的能力，但是为了让其强大的建模能力向下游具体任务输出，需要进行指令微调，根据大量不同指令对模型部分权重进行更新，使模型更善于遵循指令。指令微调中的指令简单直观地描述了任务，具体的指令格式如下：instruction:Given the following input,find the missing number,input:10,12,14,_,18,output:16Alpaca 是一个由 LLaMA-7B 模型进行指令微调得到的模型，其训练过程中采用的通过指令对 LLaMA-7B 模型进行小规模权重更新的方式，实现了模型性能和训练时间的平衡。本文基于 Alpaca 提供了一套 LLaMA-7B 模型，基于 DeepSpeed 进行指令微调训练，并使用 AIACC 加速训练。AIACC 包括 ACSpeed 和 AGSpeed 两个加速器。基于 AIACC 加速器快速实现 LLaMA-7B 指令微调45加速器说明相关文档ACSpeedAIACC-ACSpeed（简称 ACSpeed）是阿里云自研的 AI 训练加速器，在 AI 框架层、集合算法层和网络层上分别实现了与开源主流分布式框架的充分兼容，并实现了软硬件结合的全面优化。ACSpeed 具有其显著的性能优势，在提高训练效率的同时能够降低使用成本，可以实现无感的分布式通信性能优化。什么是 AI 分布式训练 通 信 优 化 库AIACC-ACSpeedAGSpeedAIACC-AGSpeed（简称 AGSpeed）是阿里云推出的一个基于 PyTorch 深度学习框架研发的计算优化编译器，用于优化 PyTorch 深度学习模型在阿里云 GPU 异构计算实例上的计算性能，可以实现计算优化。什么是计算优化编译器 AIACC-AGSpeed重要提示：阿里云不对第三方模型“llama-7b-hf”的合法性、安全性、准确性进行任何保证，阿里云不对由此引发的任何损害承担责任。您应自觉遵守第三方模型的用户协议、使用规范和相关法律法规，并就使用第三方模型的合法性、合规性自行承担相关责任。二、操作步骤准备工作操作前，请先在合适的地域和可用区下创建 VPC 和交换机。基于 AIACC 加速器快速实现 LLaMA-7B 指令微调46本文使用 ecs.gn7i-c32g1）32xlarge 规格的 ECS 实例进行训练，仅部分地域可用区支持该实例规格，具体请参见 ECS 实例规格可购买地域。关于如何创建 VPC 和交换机，请参见创建专有网络和创建交换机。创建 ECS 实例提供 2 种方式完成 ECS 实例的创建：控制台方式和 FastGPU 方式控制台方式控制台方式1）前往实例创建页。2）按照向导完成参数配置，创建一台 ECS 实例。需要注意的参数如下。更多信息，请参见自定义购买实例。实例：规格选择 ecs.gn7i-c32g1）32xlarge（包含 4 卡 NVIDIA A10 GPU）。镜像：使用云市场镜像，名称为 aiacc-train-solution，该镜像已部署好训练所需环境。您可以直接通过名称搜索该镜像，版本可选择最新版本。基于 AIACC 加速器快速实现 LLaMA-7B 指令微调47说明：您也可以选择公共镜像（如 CentOS 7.9 64 位），后续手动部署环境。公网 IP：选中分配公网 IPv4 地址，按需选择计费模式和