| # ComfyUI 使用文档 | |
| ## 工作流 | |
| 如果您已经有 ComfyUI 的环境，可以直接使用我的工作流： | |
| <p align="center"> | |
| <img src="./streamer-sales-lelemiao-workflow-v1.0.png" alt="Demo gif" > | |
| </p> | |
| ## 功能点 | |
| 我的 Workflow 具有以下功能点： | |
| - 生成人像图 | |
| - DW Pose 生成骨骼图 | |
| - ControlNet 控制人物姿态 | |
| - AnimateDiff 生成视频 | |
| - 插帧提升帧率 | |
| - 提升分辨率 | |
| ## 环境搭建 | |
| ```bash | |
| git clone https://github.com/comfyanonymous/ComfyUI.git | |
| pip install -r requirements.txt | |
| ``` | |
| 测试安装 | |
| ```bash | |
| cd ComfyUI | |
| python main.py | |
| ``` | |
| ## 模型下载 | |
| 执行脚本 `python download_models.py` 即可下载本项目需要用到的全部权重 | |
| ## 插件安装 | |
| 1. 首先需要手动拉取下【插件管理器】 | |
| ```bash | |
| cd ComfyUI/custom_nodes | |
| git clone https://github.com/ltdrdata/ComfyUI-Manager.git | |
| ``` | |
| 2. 重启 ComfyUI | |
| 3. 刷新页面，点击右下角 【管理器】->【安装缺失节点】即可。 | |
| 以下是我用到的插件： | |
| | 插件名 | 用途 | | |
| | :---------------------------: | :------------------------: | | |
| | AIGODLIKE-COMFYUI-TRANSLATION | 中文翻译 | | |
| | ComfyUI-Advanced-ControlNet | ContralNet 工具包升级版 | | |
| | ComfyUI-AnimateDiff-Evolved | AnimateDiff 动画生成 | | |
| | ComfyUI-Crystools | 机器资源监控 | | |
| | ComfyUI-Custom-Scripts | 模型管理 | | |
| | ComfyUI-Frame-Interpolation | 插帧 | | |
| | ComfyUI-Impact-Pack | | | |
| | ComfyUI-Manager | 插件管理器（必备） | | |
| | ComfyUI-VideoHelperSuite | 视频加载器 | | |
| | ComfyUI_FizzNodes | | | |
| | ComfyUI_IPAdapter_plus | IPAdapter 风格迁移 | | |
| | comfyui-portrait-master-zh-cn | 人物生成中文提示词辅助工具 | | |
| | comfyui-workspace-manager | 工作流管理器 | | |
| | comfyui_controlnet_aux | ContralNet 工具包 | | |
| | comfyui_segment_anything | SAM 工具包 | | |
| | sdxl_prompt_styler | SDXL 工具包 | | |
| ## Workflow 详解 | |
| ### 1. 生成人像图 | |
| <p align="center"> | |
| <img src="./images/comfyui-1.png" alt="workflow" > | |
| </p> | |
| 首先我们来说下基本的文生图流程，首先加入 sd checkpoint ，和 vae 模型，vae 可选，但 sd 是必须的，如果觉得我这个模型不好，可以自行去 c站 找大佬微调好的模型， | |
| 填写好正向词和反向词，接个 Ksampler 就可以生成人像了 | |
| ### 2. DW Pose 生成骨骼图 & ControlNet 控制人物姿态 | |
| <p align="center"> | |
| <img src="./images/comfyui-2.png" alt="workflow" > | |
| </p> | |
| 人物生成好了，下一步要生成特定的动作的话，有时候语言很难描述，我们需要借助 controlnet 来结合 pose 的姿态图来让 sd 生成特定动作的任务，这就是左下角的作用 | |
| ### 3. AnimateDiff 生成视频 | |
| <p align="center"> | |
| <img src="./images/comfyui-3.png" alt="workflow" > | |
| </p> | |
| 这两块搞好之后，可以看到任务以特定的动作生成了，下面，我们加入动作，用到的算法是 Animatediff 简单的串起来，就可以了 | |
| ### 4. 插帧提升帧率 | |
| <p align="center"> | |
| <img src="./images/comfyui-4.png" alt="workflow" > | |
| </p> | |
| 我们把生成的图片合成为视频，原始是 8帧，我们对它进行一个插帧，让视频更加丝滑，这就是右上角的功能 | |
| ### 5. 提升分辨率 | |
| <p align="center"> | |
| <img src="./images/comfyui-5.png" alt="workflow" > | |
| </p> | |
| 因为 SD 1.5 默认的输出是 512 x 512，我们还要做个 scale ，让分辨率高一点，这就是右下角的功能。 | |
| ## 配置视频路径 | |
| 生成好了 mp4 我们就可以修改下配置 [web_configs](../../utils/web_configs.py#L78) 中的 `DIGITAL_HUMAN_VIDEO_PATH` 参数，后续就会用这个视频来生成口型了。 | |
| ```diff | |
| - DIGITAL_HUMAN_VIDEO_PATH: str = r"./doc/digital_human/lelemiao_digital_human_video.mp4" | |
| + DIGITAL_HUMAN_VIDEO_PATH: str = r"新生成的 mp4 路径" | |
| ``` | |
| ## 开发参考网站 | |
| - 模型下载网站：C站：https://civitai.com | |
| - 提示词网站：https://promlib.com/ | |
| - 工作流：https://openart.ai/workflows/home | |
| - 插件排行：https://www.nodecafe.org/ | |