LTX Foley 音效诊断与提升方案

E2E v7 回顾 · 根因分析 · 三级优化方案

🔍 根因:动态范围被压扁

对比 v6 和 v7 的 raw Foley 输出(dynaudnorm 前),发现关键问题:

指标v6 raw (LoRA=1.0)v7 raw (LoRA=2.0)说明
Integrated -32.6 LUFS -28.1 LUFS v7 响度高了 4.5 LUFS(可接受)
LRA(动态范围) 2.5 LU 0.4 LU v7 几乎无动态范围!所有声音一样响
True Peak -22.5 dBTP -11.3 dBTP v7 峰值高 11dB → 后处理拉响度过度放大

LRA 0.4 LU 意味着音频被极度压缩——所有声音几乎一样响,没有安静时刻和响亮时刻的对比。 这就是"音效不好"的核心原因:声音扁平、没有层次感。

正常环境音的 LRA 应该在 3-8 LU(有风声大小变化、脚步远近区别等)。

双重放大问题:

① LoRA=2.0 + AudioNorm 在 latent 层面已经压扁了动态范围(LRA 2.5→0.4)
② dynaudnorm 后处理又把 -28 LUFS 拉到 -14.4 LUFS(+14dB!),进一步放大噪声

提升方案(按推荐优先级排序)

方案 B:FoleyCrafter 专用模型 已有基础设施

gold-team 平台已有 FoleyCrafter(字节跳动)专用视频生音频模型(task_id=26 文生音效 / 27 视频生音频),只占 6GB VRAM。

FoleyCrafter 是专为 V2A 设计的模型(而非 LTX 的"附加"音频能力),音质天然更好。

方案 C:专用音频生成模型 长期方案

使用专门的 Text-to-Audio 模型生成环境音,不依赖视频画面:

这些模型不参考视频画面,纯由 prompt 驱动。对于环境音(风声、雨声、街道噪声)足够用,但无法生成精确匹配画面动作的音效。

优势:音质专业级,动态范围自然;劣势:需要额外部署 + 无法精确匹配画面

📋 建议执行顺序

  1. 先做方案 A(5分钟)— LoRA=1.5 + loudnorm I=-20,立即测试音效改善
  2. 同时验证方案 B(10分钟)— FoleyCrafter 是否音质更好(已有 gold-team 基础设施)
  3. A/B 对比— 用同一个视频,三种配置出三个音频,对比选最佳