🎬 H3 TTS 口型驱动 — 3 方案对比(Case03 牧宅台词)

Qwen3-TTS 男声 25-30 低沉 · 14.3s 对白 → 15step · 1344×768 · 5.0s 输出
⏱ T2VA audio-lock: 413.8s
⏱ I2VA no-ref: 413.2s
⏱ FL2VA no-ref: 447.1s
⚙️ 核心参数: add_source_as_reference=False
关键发现:add_source_as_reference=True(默认)会把 drive_audio 作为 ref_audio segment 展开,与 first/last_frame 组合导致 audio latent shape 翻倍([2016,96] vs [1008,96])→ mismatch 崩溃。设为 False 后 drive_audio 仅通过 replace_audio_latent(0% denoise)锁定音频流,三种模式全部成功。

C — T2VA (纯文生视频 + 音频锁)

✅ 成功 413.8s
无参考图,文本提示驱动画面 + drive_audio 锁定音轨。
画面自由生成,口型由音频 latent 驱动。

D — I2VA (图生视频 + no-ref)

✅ 成功 413.2s
首帧参考图 + drive_audio,add_source_as_reference=False。
画面从首帧延展,音频锁口型。

E — FL2VA (首尾帧 + no-ref)

✅ 成功 447.1s
首尾帧双参考 + drive_audio,add_source_as_reference=False。
画面受首尾帧约束,一致性最强,耗时略高。