【腾讯云HAI域探秘】“赋予艺术生命：通过腾讯云HAI和MagicAnimate呈现动态蒙娜丽莎“

前言

AI 视频生成领域近期算是非常热闹，个人也是非常的感兴趣，奈何电脑不给力，在搭建的过程中总是提示各种各样的问题，不过天无绝人之路，最近 腾讯云高性能应用服务(Hyper Application Inventor,HAI) 活动正在如火如荼的进行着，因此决定挑战一下，看下在HAI 上搭建 AI 动画生成框架 MagicAnimate 是否会有不一样的收获.

为什么是HAI?

腾讯云高性能应用服务(Hyper Application lnventor,HAI),是一款面向Al、科学计算的 GPU 应用服务产品,为开发者量身打造的澎湃算力平台。无需复杂配置,便可享受即开即用的GPU云服务体验。在 HAI中,根据应用智能匹配并推选出最适合的 GPU 算力资源,以确保您在数据科学、LLM、AI 作画等高性能应用中获得最佳性价比。此外，HAI 的一键部署特性让您可以在短短几分钟内构建如 StableDiffusion、ChatGLM 等热门模型的应用环境。而对于 AI 研究者，我们的直观图形界面大大降低了调试的复杂度,支持jupyterlab、webui等多种连接方式，助您轻松探索与创新。现在，只需打开浏览器,HAI 便为您打开了一片无限可能的高性能应用领域。

1. 配置说明

AI框架

AI框架	环境配置
Pytorch2.0.0	Ubuntu20.04, Python 3.8, Pytorch 2.0.0, CUDA 11.7, cuDNN 8, JupyterLab PyTorch 2.0.0是一款深度学习框架。该环境支持基于PyTorch框架的模型训练，支持模型的训练、评估及部署。
Tensorflow2.9.0	Ubuntu20.04, Python 3.8, CUDA 11.7, cuDNN 8, Tensorflow 2.9.0, JupyterLab TensorFlow 2.9.0是一款深度学习框架。该环境支持基于TF框架的模型训练、评估及部署。

AI 模型

AI 模型	环境配置
Stable Diffusion	Ubuntu20.04, Python 3.10, Stable Diffusion v1-5, CUDA 11.7, cuDNN 8, Pytorch 2, JupyterLab Stable Diffusion是一款AIGC图片生成模型。该环境已预装webui及JupyterLab，支持可视化文件管理及环境调优。
ChatGLM2 6B	Ubuntu20.04, Python 3.8, ChatGLM2-6b, CUDA 11.7, cuDNN 8, pytorch 2, JupyterLab ChatGLM2 6B是一款由智谱 AI 研发并开源的 LLM 模型。该环境已预装 webui 及JupyterLab，支持可视化文件管理及环境调优。
Llama2 7B	Ubuntu20.04, Python 3.8, Llama-2-7b-chat, CUDA 11.7, cuDNN 8, pytorch 2, JupyterLab Llama2 7B是一款由Meta AI开源的LLM模型。Llama-2-7b-chat是高性能原生开源版本，适用于多种对话场景。注：该环境暂无 webui 可视化调试页面，需通过命令行调试。
Llama2 13B	Ubuntu20.04, Python 3.8, Llama-2-13b-chat, CUDA 11.7, cuDNN 8, pytorch 2, JupyterLab Llama2 13B是一款由Meta AI开源的LLM模型。Llama-2-13b-chat是高性能原生开源版本，适用于多种对话场景。注：该环境暂无 webui 可视化调试页面，需通过命令行调试。

2. 横向对比

大幅降低GPU云服务器使用门槛，多角度优化产品使用体验，开箱即用

3. 应用场景

多种高性能应用部署场景，轻松拿捏

开启HAI搭建MagicAnimate之旅

接下来我们就一步一步的开始MagicAnimate 的搭建流程吧~~

1. 申请高性能应用服务 HAI

点击链接，访问高性能应用服务 HAI 的资格申请页面，并点击申请资格 按钮, 填写信息并提交，等待审核通过即可哦！

资格审核通过后，点击前往体验HAI 就可以开始你的AI 之旅啦~~~~

2. 创建实例

点击新建 按钮，进入 高性能应用服务 HAI

2.1. 配置选择

名称	选择内容
选择应用	AI框架 =》Pytorch2.0.0
地域	广州
算力方案	基础型
实例名称	MagicAnimate（这里自定义或者不填均可）
硬盘	150G(默认配置是80g 个人建议150g 保险一些)
网络	每台实例免费提供500GB流量包，默认5Mbps带宽，每月刷新
协议	勾选协议

详细如下图所示

配置完成后点击立即选购即可

实例介绍

物料准备

1. 连接算力

点击 JupyterLab

2. 克隆

在JupyterLab 界面选择 Terminal 输入下面命令进行 Clone

代码语言：javascript

复制

git clone https://github.com/magic-research/magic-animate.git

温馨提示：最好在 root 目录下创建一个自己的文件夹防止混淆哦！！

3. 模型下载

MagicAnimate 需要 StableDiffusion V1.5 模型、MSE-finetuned VAE 以及 MagicAnimate 模型

这里有两个选择哦！你可以直接从下面的git 地址中下载，也可以用我的云盘包，云盘包我会放到文章末尾需要自取哦！！

StableDiffusion V1.5 下载地址	https://huggingface.co/runwayml/stable-diffusion-v1-5
VAE 下载地址	https://huggingface.co/stabilityai/sd-vae-ft-mse
MagicAnimate 地址	https://huggingface.co/zcxu-eric/MagicAnimate

温馨提示：如果使用git 下载的话建议用SSH 的不要用 HTTPS 的，本人亲测 HTTPS 一直下载不下来！！

如果是上传压缩包的话，直接点击上传即可

4. 文件结构

好啦当你所有的物料准备好了之后，一定要保持下面的目录结构哦！！

代码语言：javascript

复制

magic-animate
|----pretrained_models
  |----MagicAnimate
    |----appearance_encoder
      |----diffusion_pytorch_model.safetensors
      |----config.json
    |----densepose_controlnet
      |----diffusion_pytorch_model.safetensors
      |----config.json
    |----temporal_attention
      |----temporal_attention.ckpt
  |----sd-vae-ft-mse
    |----...
  |----stable-diffusion-v1-5
    |----...
|----...

解读：

简单来说需要在 magic-animate文件夹的根目录创建一个 pretrained_models文件夹，将 StableDiffusion V1.5模型、MSE-finetuned VAE 以及 MagicAnimate 模型放在 pretrained_models 的根目录即可

5. 依赖安装及问题修复

当我们前期工作准备好后，接下来从终端进入到magic-animate 目录，然后输入命令进行依赖安装

命令如下

代码语言：javascript

复制

pip3 install -r requirements.txt

我这里出现的错误如下：

错误原因：

分析爆粗内容得出 是在安装torchaudio时遇到了依赖冲突的问题。错误信息表明torchaudio需要torch版本2.0.0，但是目前已经安装了不兼容的2.0.1版本。

修复方式如下：

尝试降级你的torch版本到2.0.0

代码语言：javascript

复制

pip install torch==2.0.0

2. 可以重新安装torchaudio

代码语言：javascript

复制

pip install torchaudio

但是当我们安装 torch 2.0.0 时依旧报错如下

想来想去算啦，还是装回 2.0.1 版本吧，毕竟 requirements.txt 中 torch的版本是 2.0.1

但是报错如和解决呢？

这里我选择直接忽略警告，继续使用 torch-2.0.1

代码语言：javascript

复制

pip install --no-deps torchaudio

然后执行命令：

代码语言：javascript

复制

pip3 install -r requirements.txt

效果如下：

6. 启动应用

依赖安装完成我们接下来启动一下吧！

如果是单显卡可以使用下面的命令启动

代码语言：javascript

复制

python -m demo.gradio_animate

多显卡

代码语言：javascript

复制

python -m demo.gradio_animate_dist

本次实验我选择的是单显卡哦！

古话说的好：如果不出意外的情况下，那么意外就会出现

是的，意外来了，如下图：

原因分析：

首先是启动起来了，然后我选择 HAI 的公网ip :端口号访问，是访问不到的，突然想到可能是自己的 安全组规则没有配置，

其次下面的提示也很有意思，大概是说：

下载一个文件
将下载好的文件重命名为 frpc_linux_amd64_v0.2。
将该文件移动到路径 /root/miniconda3/lib/python3.8/site-packages/gradio。

俗话说的好，听人劝，吃饱饭，接下来就按照上面的思路来尝试一下吧！！

7. 配置安全组规则

进入实例详情
点击端口配置中的编辑规则, 进行如下图所示配置。

将下后的文件重命名后上传到 /root/miniconda3/lib/python3.8/site-packages/gradio

在magic-animate 根目录执行 python命令

代码语言：javascript

复制

python -m demo.gradio_animate

虽然运行成功但是目前公网访问不了，怎么办呢？

8. 修改源码适配公网

接下来在目录 magic-animate中选择demo下的 gradio_animate文件

滑到文件最下面找到 demo.launch修改

代码语言：javascript

复制

demo.launch(share=True, server_name="0.0.0.0",  server_port=7870)

端口号记得放开哦！

然后再次运行，神奇的事情发生了！！，成功启动，激动啊

9. 公网访问

10. 生成会跑的蒙娜丽莎

直接将Examples中的实例图片拖到上面即可然后生成视频，一起来体验下吧！！

使用HAI 结合MagicAnimate 展示跑步的蒙娜丽莎

11. 跳舞的蒙娜丽莎

同样的方法生成一个4s 跳舞的蒙娜丽莎视频

可能是我算力选择的问题，生成的视频时间较长，这里建议搭建选择进阶版的呦！！

视频效果如下：

使用HAI 结合MagicAnimate呈现跳舞的蒙娜丽莎

总结

1. 鸣谢~

相信很多人在使用HAI 搭建了这个 MagicAnimate 之后，都会有一个想法， HAI 应运而生，他真的解决了我们在AI 运用上的硬件问题环境问题等等，各种各样的问题，本人在搭建 MagicAnimate 的过程中遇见了各种各样的问题，其中有些问题在咨询HAI 的技术人员后也是给出了肯定的回答，比如通过 SCP内网传输大文件，等等在此真诚的感谢啦~~

2. 建议与改善

再完美的作品也会有瑕疵，再优秀的人也会有不足，本次的HAI 体验过后，还是有一点点的小想法的简单分享一下

是否可以增加扩容机制，用户在进行创建实例时，可能选择的磁盘大小与自己项目的不一致，但是当用户的文件已经上传完成后才发现这个问题，这种情况下，没发自动扩容，就会陷入两难的境地，新建实例会浪费时间，不新建实例项目无法启动
新建实例之后服务器的用户和密码是否可以在详情展示出来呢？这样再上传大文件的时候就可以直接通过内网上传，上传速度也会更快一些呦

目前只有以上两条小小的想法哦，如果有想体验MagicAnimate 的同学，还在等什么？趁着本次HAI 的活动赶紧来实操一波吧！！