🎬 H3 视频 + LTX Foley 环境音 混合方案

借鉴 LTX 多参考工作流的 SolidMask freeze 思路 · 2026-08-04

核心思路：H3 只负责生成视频（丢弃音频），然后借助 LTX 的 Foley LoRA + freeze chain 为视频生成干净的环境音（无 BGM），最后混合 TTS 对白。

📋 管线流程

1
H3 生成视频
正常 ref2va 渲染，输出 webm + flac。丢弃 flac 音频（含 BGM），只保留视频帧。
⬇️
2
提取 H3 视频帧
ffmpeg 从 H3 webm 中提取所有帧 → 作为 LTX 的视觉参考
⬇️
3
LTX Foley 环境音生成
借鉴 LTX 多参考工作流的 SolidMask freeze chain：
关键：冻结 video latent（SolidMask=0），只去噪 audio latent
LTX 看到 H3 的视频帧内容 → 生成匹配的环境音（脚步声、风声等）
Foley LoRA 增强真实感，BGM ban prompt 确保不生成配乐
⬇️
4
三轨混音
ffmpeg amix 混合：
🎤 P10 TTS 对白（-3dB）
🌲 LTX Foley 环境音（-12dB）
🎬 H3 视频（无音轨）

🔧 LTX Foley 步骤的技术实现

借鉴现有 ltx_msr_single_shot_render.py 工作流，改造为 "video-to-audio" 模式：

# LTX Foley 工作流节点拓扑：

# 1. 载入 H3 视频帧作为参考图（首帧+关键帧）
LoadImage(H3_first_frame) → LiconMSR refs
LoadImage(H3_keyframe_2)  → LiconMSR refs

# 2. LTX VAE Encode H3 视频帧 → video latent
LTXVImgToVideo(image=H3_frames) → VAEEncode → video_latent

# 3. 冻结 video latent（SolidMask=0 → 完全不变）
SolidMask(value=0) → SetLatentNoiseMask(video_latent, mask=0)

# 4. 创建空 audio latent（将被去噪生成环境音）
LTXVEmptyLatentAudio → audio_latent

# 5. 合并 AV latent（video 冻结 + audio 待生成）
LTXVConcatAVLatent(video_latent_frozen, audio_latent_empty)

# 6. 加载 Foley LoRA
LTXICLoRALoader(lora_name="ltx-2.3-foley-400-steps.safetensors")

# 7. KSampler 采样（只有 audio 在变，video 被冻结）
KSampler(prompt="diegetic ambient: wind, footsteps, fabric rustle...")
  → video 不变, audio 生成环境音

# 8. 分离并解码音频
LTXVSeparateAVLatent → LTXVAudioVAEDecode → foley_audio.wav

BGM ban：LTX 使用 CFG > 1.0，negative prompt 有效。完整的 BGM_BAN_LIST（60+ 否定词）可以精确禁止配乐，同时保留环境音——这正是 H3 做不到的。

📊 可行性评估

维度评估说明
Foley LoRA 已部署✅ 已就绪ltx-2.3-foley-400-steps.safetensors (216MB) 在 ComfyUI models/loras/
LTX 音频节点齐全✅ 已就绪LTXVConcatAVLatent / LTXVAudioVAEEncode / LTXVEmptyLatentAudio / SolidMask
video latent 冻结✅ 已验证LTX TTS freeze chain (B1) 已验证 SolidMask=0 完全冻结
BGM ban 有效✅ LTX 强项LTX CFG > 1.0 → negative prompt 有效 → BGM_BAN_LIST 可用
视频帧 → LTX latent⚠️ 需验证H3 1344×768 vs LTX 1280×704，需 resize；帧数需对齐
环境音质量⚠️ 需验证Foley LoRA 是 400 步微调，效果未知
渲染时间⚠️ 2xH3 ~8min + LTX ~2min + 混音 <1min ≈ 每分镜 10min

最大优势：完全复用已有基础设施——LTX 的 SolidMask freeze chain、BGM ban list、Foley LoRA 全部现成，不需要写新节点。只需要改造工作流，把 "LTX 生成视频" 改成 "冻结 H3 视频 + 只生成音频"。

工作量估算：写一个 ltx_foley_audio_only.py 工作流模板（基于 ltx_msr_single_shot_render.py 改造），大约 200 行代码。然后跑一个 S1_a04 的端到端测试验证。