AI 动作迁移教程:Seedance 2.0 与 SCAIL2 闭源、开源方案实测

想把一段真人舞蹈的动作和运镜迁移到新角色上,通常有两条路线:一条是直接调用闭源视频模型,另一条是使用开源模型工作流。本教程分别用 LibTV 中的 Seedance 2.0 与 RunningHub 上的 SCAIL2 工作流演示完整流程,并比较两种方案在操作门槛、角色一致性和可控性上的差异。

先说结论:闭源方案更适合快速得到完整成片,提示词和参考素材准备得当时,人物、场景、动作和镜头可以一次完成替换;开源工作流参数更多、调试空间更大,适合愿意检查遮罩、帧数和参考图的人。无论选哪一种,首帧质量、参考图与原视频的空间匹配,都会直接影响最终稳定性。

使用提醒:请只处理自己拥有版权或已获授权的视频、人物形象和音乐。涉及真人肖像、明星形象、影视片段或商业音乐时,应先确认授权范围,并明确标注 AI 生成或修改内容。

一、最终效果对比

闭源模型:Seedance 2.0

开源工作流:SCAIL2

二、需要准备的工具

1. LibTV:闭源模型与节点画布

LibTV 是 LiblibAI 提供的节点式 AI 视频创作平台,适合在画布上组织人物图、场景图、参考视频和生成节点。本教程用它制作角色参考图、关键帧,并调用 Seedance 2.0 完成多角色与场景替换。

进入 LibTV

AI 动作迁移教程:Seedance 2.0 与 SCAIL2 闭源、开源方案实测-一尺涵知

2. RunningHub:运行开源 ComfyUI 工作流

RunningHub 是云端 ComfyUI 与工作流平台,无需在本地安装模型和节点。本教程使用社区发布的 SCAIL2 动作迁移工作流,主要调整参考视频、关键帧、帧数、提示词和人物遮罩。

进入 RunningHub 工作流页面

AI 动作迁移教程:Seedance 2.0 与 SCAIL2 闭源、开源方案实测-一尺涵知

3. 剪映:素材预处理与后期合成

剪映负责三个环节:删除参考视频原声、必要时遮挡人脸,以及把生成结果与合法可用的音频重新对齐。网页端和客户端均可使用,复杂项目建议使用桌面客户端。

AI 动作迁移教程:Seedance 2.0 与 SCAIL2 闭源、开源方案实测-一尺涵知

三、闭源方案:用 Seedance 2.0 完成人物与场景替换

步骤 1:预处理参考视频

先导入要迁移动作的原视频。为了降低审核与版权风险,可以对不应保留的人脸做局部模糊,并删除原始音乐。提示词中的“无音乐、无音效”不能替代素材预处理。

  1. 在剪映中导入原素材。
  2. 在人物特效中搜索局部马赛克,将特效长度拉到与视频一致。
  3. 执行音频分离,删除声音轨道,再导出无声参考视频。
AI 动作迁移教程:Seedance 2.0 与 SCAIL2 闭源、开源方案实测-一尺涵知
AI 动作迁移教程:Seedance 2.0 与 SCAIL2 闭源、开源方案实测-一尺涵知

步骤 2:制作人物与场景参考图

人物参考图应尽量使用干净背景、自然站姿和完整身体。主角需要正面、侧面、背面与面部特写;群像替换则要把配角区分开,减少串脸和服装混淆。

主角四视图提示词模板

为目标角色制作正面、侧面、背面、面部特写四视图。正面、侧面、背面均展示全身,面部朝向与身体朝向一致,双臂自然下垂,手中无物,纯净背景,服装统一。画幅比例 21:9。
AI 动作迁移教程:Seedance 2.0 与 SCAIL2 闭源、开源方案实测-一尺涵知

配角群像提示词模板

制作六位配角的正面全身形象图。人物年龄、脸型和发型明显不同,面部与身体朝向一致,双臂自然下垂,手中无物,纯净背景,服装属于同一团队但细节可区分。不得出现主角。画幅比例 21:9。
AI 动作迁移教程:Seedance 2.0 与 SCAIL2 闭源、开源方案实测-一尺涵知

场景图提示词模板

大型足球场内的写实摄影画面。画面上半部分为观众看台,下半部分为草坪,球门位于画面中央。空间结构清晰,光线统一,16:9 横屏。
AI 动作迁移教程:Seedance 2.0 与 SCAIL2 闭源、开源方案实测-一尺涵知

步骤 3:制作与原视频一致的首帧

在 LibTV 新建画布,上传处理后的视频、人物图和场景图。截取参考视频首帧,再通过图片节点替换人物与背景。首帧的任务不是追求单张海报效果,而是锁定角色初始姿势、景别和空间关系。

AI 动作迁移教程:Seedance 2.0 与 SCAIL2 闭源、开源方案实测-一尺涵知
参考主角形象图,将原视频首帧中的主角替换为目标角色。人物动作、手势、身体朝向、景别与原首帧严格一致;背景替换为场景参考图。保持角色服装、脸型和发型一致,人物脚底与地面自然接触。
AI 动作迁移教程:Seedance 2.0 与 SCAIL2 闭源、开源方案实测-一尺涵知
AI 动作迁移教程:Seedance 2.0 与 SCAIL2 闭源、开源方案实测-一尺涵知

步骤 4:连接参考素材并生成视频

创建视频节点,连接主角形象图、配角形象图、无声参考视频、制作好的首帧和场景图。提示词建议分成五段,分别描述首帧与主角、配角、场景、动作与镜头,以及画质和限制条件。

视频首帧使用制作好的首帧图。严格参考原视频的完整走位、舞蹈编排、节奏卡点、队形变化、镜头角度、景别切换和运镜方式。

将原视频主角替换为主角参考图中的人物,锁定五官、脸型、发型、肤色、身材和服装,保持身份从头到尾一致。

将原视频中的伴舞替换为配角参考图中的人物,保持站位、前后层级、动作和队形变化;避免重复人物、串脸和服装互换。

将背景替换为场景参考图,保持空间结构、材质和色彩稳定。人物脚底与地面接触自然,光线和阴影与背景一致。

动作、移动路线、朝向和镜头运动跟随原视频。真人写实摄影风格,16:9,保持原时长;画面稳定,无闪烁、重影和穿模,无背景音乐和音效。
AI 动作迁移教程:Seedance 2.0 与 SCAIL2 闭源、开源方案实测-一尺涵知
AI 动作迁移教程:Seedance 2.0 与 SCAIL2 闭源、开源方案实测-一尺涵知

步骤 5:重新配乐并完成剪辑

把原视频和生成视频同时导入剪映。若原音频已获合法授权,可以从原视频分离声音,删除原画面,再把生成视频放到对应时间线位置。最后检查动作卡点、转场和音画同步。

AI 动作迁移教程:Seedance 2.0 与 SCAIL2 闭源、开源方案实测-一尺涵知

四、开源方案:用 SCAIL2 工作流迁移动作

开源方案更依赖关键帧、遮罩和参数设置。下面以 RunningHub 上的社区工作流为例演示。工作流可能随作者更新,使用前应先查看节点说明和版本要求。

打开 SCAIL2 动作迁移工作流

步骤 1:准备参考视频和角色图

AI 动作迁移教程:Seedance 2.0 与 SCAIL2 闭源、开源方案实测-一尺涵知

步骤 2:制作关键帧

从原视频中选择姿势清晰、遮挡较少的一帧,将人物替换为目标角色,并尽量保留相同的背景布局。参考图与视频的横竖方向也应一致。

将关键帧中的人物替换为目标人物,严格保持目标人物的服饰、发型和脸部特征。动作、镜头和人物位置与关键帧一致;背景替换为古风园林,人物与背景保持统一的现代写实质感。
AI 动作迁移教程:Seedance 2.0 与 SCAIL2 闭源、开源方案实测-一尺涵知
AI 动作迁移教程:Seedance 2.0 与 SCAIL2 闭源、开源方案实测-一尺涵知

步骤 3:上传素材并设置时长

在工作流中分别上传参考视频和替换后的关键帧。帧数应按“目标帧率 × 视频秒数”计算:例如 36 秒视频、目标帧率 16fps,总帧数应设置为 576。

AI 动作迁移教程:Seedance 2.0 与 SCAIL2 闭源、开源方案实测-一尺涵知
AI 动作迁移教程:Seedance 2.0 与 SCAIL2 闭源、开源方案实测-一尺涵知
AI 动作迁移教程:Seedance 2.0 与 SCAIL2 闭源、开源方案实测-一尺涵知

步骤 4:填写简洁的视频描述

这里的提示词主要说明迁移后的视频内容和风格,不宜写得过长。人物身份、服装、场景和画风写清楚即可,复杂约束应优先通过参考图和节点参数解决。

AI 动作迁移教程:Seedance 2.0 与 SCAIL2 闭源、开源方案实测-一尺涵知

步骤 5:检查人物遮罩

先单独运行遮罩预览。只有当遮罩连续、完整地覆盖人物,且没有大面积吞掉背景时,才进入正式生成。转身、快速运动和大幅遮挡是最容易漏遮罩的区域。

AI 动作迁移教程:Seedance 2.0 与 SCAIL2 闭源、开源方案实测-一尺涵知

步骤 6:运行并下载结果

确认遮罩和参数后运行工作流。完成后在任务列表中打开结果并下载,再进入剪辑软件检查帧率、音画同步与画面稳定性。

AI 动作迁移教程:Seedance 2.0 与 SCAIL2 闭源、开源方案实测-一尺涵知
AI 动作迁移教程:Seedance 2.0 与 SCAIL2 闭源、开源方案实测-一尺涵知

五、常见问题与改进建议

Seedance 2.0

  • 首帧比长提示词更重要。复杂视频可以额外准备转身或动作峰值关键帧。
  • 生成存在随机性,先用短片段测试人物一致性和场景融合,再生成完整时长。
  • 多角色任务要让参考图中的人物差异足够明显,降低串脸和服装互换概率。

SCAIL2 工作流

  • 人物替换时,参考首帧最好保留与原视频相同的背景结构,否则人物与背景容易产生分层感。
  • 遇到转身可以开启多参考模式,补充人物背面或侧面图。
  • 参考图中的桌椅、道具和空间关系应与原视频一致,否则互动动作容易失真。
  • 原视频人物手中没有物体时,参考图也不要额外添加道具。
  • 拟人动物、无手角色和二次元人物容易出现人手、画风漂移等问题,建议先做短片压力测试。
AI 动作迁移教程:Seedance 2.0 与 SCAIL2 闭源、开源方案实测-一尺涵知

六、闭源与开源方案怎么选?

  • 追求快速成片:优先选择 Seedance 2.0 这类闭源模型,用多参考素材一次描述完整替换目标。
  • 追求参数控制:选择 SCAIL2 等开源工作流,逐项调节帧数、遮罩和参考模式。
  • 复杂多人场景:先用闭源模型试整体效果,再用可控工作流处理难点片段。
  • 商业项目:无论使用哪一种方案,都要保留人工质检、版权核查和后期剪辑环节。

动作迁移并不是“上传视频后一键换人”这么简单。真正决定质量的是素材准备:干净的参考视频、能覆盖正侧背面的角色图、与原视频匹配的首帧,以及清楚但不过度堆叠的提示词。先把这些基础条件做好,模型的上限才有机会发挥出来。

某些文章具有时效性,若有已失效,请在下方
留言或联系

一尺涵知
© 版权声明
THE END
点赞14 分享