E2E v7 回顾 · 根因分析 · 三级优化方案
对比 v6 和 v7 的 raw Foley 输出(dynaudnorm 前),发现关键问题:
| 指标 | v6 raw (LoRA=1.0) | v7 raw (LoRA=2.0) | 说明 |
|---|---|---|---|
| Integrated | -32.6 LUFS | -28.1 LUFS | v7 响度高了 4.5 LUFS(可接受) |
| LRA(动态范围) | 2.5 LU | 0.4 LU | v7 几乎无动态范围!所有声音一样响 |
| True Peak | -22.5 dBTP | -11.3 dBTP | v7 峰值高 11dB → 后处理拉响度过度放大 |
LRA 0.4 LU 意味着音频被极度压缩——所有声音几乎一样响,没有安静时刻和响亮时刻的对比。 这就是"音效不好"的核心原因:声音扁平、没有层次感。
正常环境音的 LRA 应该在 3-8 LU(有风声大小变化、脚步远近区别等)。
① LoRA=2.0 + AudioNorm 在 latent 层面已经压扁了动态范围(LRA 2.5→0.4)
② dynaudnorm 后处理又把 -28 LUFS 拉到 -14.4 LUFS(+14dB!),进一步放大噪声
核心思路:LoRA 回退到 1.5(音质/响度平衡),去掉 AudioNorm 或弱化,用 loudnorm 替代 dynaudnorm。
loudnorm vs dynaudnorm 的区别:
dynaudnorm:动态范围压扁器,会把安静部分拉响 → 适合极低信号抢救,但破坏动态loudnorm:EBU R128 标准归一化,保留动态范围 → 目标 I=-20 LUFS 是环境音的理想值之前 loudnorm 在 -50 LUFS 极低信号下失效,但 v7 的 raw 已经是 -28 LUFS(不再极低),loudnorm 可以正常工作。
gold-team 平台已有 FoleyCrafter(字节跳动)专用视频生音频模型(task_id=26 文生音效 / 27 视频生音频),只占 6GB VRAM。
FoleyCrafter 是专为 V2A 设计的模型(而非 LTX 的"附加"音频能力),音质天然更好。
kais_gold_team_submit(task_type="foley", ...)使用专门的 Text-to-Audio 模型生成环境音,不依赖视频画面:
这些模型不参考视频画面,纯由 prompt 驱动。对于环境音(风声、雨声、街道噪声)足够用,但无法生成精确匹配画面动作的音效。
优势:音质专业级,动态范围自然;劣势:需要额外部署 + 无法精确匹配画面