H3 TTS 驱动口型对齐实验

MiniMax H3 FL2VA INT8 + T8 Audio Lock | RTX 3090 | 2026-08-07

✅ 全部成功

核心突破：T8 插件 audio_mode=lock_source + add_source_as_reference=False 实现了 TTS 对白驱动 H3 视频口型生成。
关键修复：add_source_as_reference=True + 首尾帧 → PackedLayout audio segment 翻倍 shape mismatch。设为 False 后绕过，drive_audio 仍通过 replace_audio_latent (0% denoise) 锁定音频流。

C 对照组

纯 T2VA + TTS lock_source (add_ref=True)

task=t2va | 无图像参考 | drive_audio → lock_source | add_source_as_reference=True
📊 1344×768 ⏱ 5.0s 🎵 AAC 32kHz stereo 📁 1.4MB
D 修复方案

I2VA + 首帧 + TTS lock_source (add_ref=False)

task=i2va | first_frame | drive_audio → lock_source | add_source_as_reference=False ✅
📊 1344×768 ⏱ 5.0s 🎵 AAC 32kHz stereo 📁 2.3MB
E 完整方案

FL2VA + 首尾帧 + TTS lock_source (add_ref=False)

task=fl2va | first_frame + last_frame | drive_audio → lock_source | add_source_as_reference=False ✅
📊 1344×768 ⏱ 5.0s 🎵 AAC 32kHz stereo 📁 2.2MB
原始 TTS

TTS 对白源音频（用于对比口型是否匹配）

⏱ 5.09s 🎵 中文对白 📁 637KB

📋 方案对比

方案首帧尾帧TTS驱动add_ref状态
C (T2VA)❌❌✅ lock_sourceTrue✅ 成功
D (I2VA)✅❌✅ lock_sourceFalse✅ 成功
E (FL2VA)✅✅✅ lock_sourceFalse✅ 成功
A (I2VA) 旧✅❌✅ lock_sourceTrue❌ shape mismatch
B (Hybrid) 旧✅✅✅ lock_sourceTrue❌ shape mismatch