MiniMax H3 Audio T8 插件 — 完整研究报告

这是针对 ComfyUI 原生 MiniMax H3 的独立音频扩展节点包。核心价值：解决 H3 原生实现中音频被丢弃、低步数音频崩溃、音频控制缺失三大痛点。

解决的 3 个关键问题

💡 drive_audio vs final_audio 分离设计

drive_audio = 给模型的驱动轨（如人声分离的 vocal stem）
final_audio = 最终 mux 的干净轨（如原混音或另一条 stem）
两者分开 → 可以用 vocal 驱动模型生成画面，但最终输出用原混音。插件不假装内置分离器。

问题：为什么4步时音频会崩？

H3 视频流 shift=12，音频流 shift=3。原生 DiT 把音频速度乘 d(σ_audio)/d(σ_video)，标准 Euler 再统一乘视频步长。20步附近是可用近似，但4步时最后一跳把音频更新放大到应有值的~2.5倍 → 画面正常但音频≈白噪声。

T8 解决方案：Dual-Clock Euler

每步仍只做一次联合 AV 模型前向（不拆开模型），但更新 latent 时分离两个时钟：

• 视频： delta_video × velocity_video
• 音频： 先除去 schedule slope，再乘 delta_audio
• mask=0 锁定区域： 保留 ComfyUI 原有 inpaint 时钟

验证结果（作者 RTX 4060 Ti）

• ✅ 4步 video sigma grid: [1, 36/37, 12/13, 4/5, 0]
• ✅ 映射到 audio shift 3: [1, 0.9, 0.75, 0.5, 0]
• ✅ 合成联合 H3 velocity 测试 → 两个流精确到达各自 Euler 终点
• ✅ 40项插件测试 + Ruff 检查全通过

视频保持4宏步，每个宏步内部为音频安排更多微步：

⚠️ 每个音频微步都是完整 H3 DiT 前向。Turbo LoRA 训练设计点是4步，额外中间步可能改善音频数值积分，也可能产生分布外误差。

用 H3 Ref2VA 的 Picture 条件生成静态候选帧，支持语义编辑（如改颜色/材质）。

已验证：pruned Ref2VA INT8 在 512×512、20步、direct_1_frame 下成功改色（黑色皮革→深红色）。
⚠️ 这是语义重绘，不是 mask/inpainting，不保证未编辑区域像素不变。

关键限制：pruned 模型不完全兼容 Turbo LoRA

原因

Pruned checkpoint 把 AdaLN 输入从 2688 维压缩到 8 维曲线基。Turbo LoRA 训练时用的是原始 2688 维。259 个 adapter 模块中 208 个匹配，但 51 个 AdaLN adapter 的输入维度不匹配 → BypassModelOnly loader 运行时会失败。

3090 VRAM 分析（非剪枝模型）

结论：Turbo LoRA 的完整应用需要非剪枝基模（31.7GB+），3090 可通过 Dynamic VRAM 运行但速度会显著下降（远超当前 9.2min/15步）。

基于插件源码和文档分析，夸克网盘 pan.quark.cn/s/bfffb2e76df4 应包含：

SHA-256 已知值（来自 VERIFICATION_REPORT.md）：

标准版:  9344cd958f8d354da03dd00b7d462933eb5d0cbf11e56a25d8e9911bb971160e
EMA版:   8a1265e81e5368ab0e52cbb990aee3cb59b28b91fdfa415ef8dbabf81aef890e

LoRA 原始来源：HuggingFace larryvrh/MiniMax-H3-Turbo-Lora（T8 做了 ComfyUI key 前缀适配）

即使没有 Turbo LoRA，插件本身已有巨大价值：

有 Turbo LoRA 后的额外价值（需非剪枝基模）：

1. 夸克网盘下载 — 需要你在浏览器手动打开 pan.quark.cn/s/bfffb2e76df4，下载 Turbo LoRA 文件（标准版+EMA版），放到 /data/models/comfyui/loras/
2. LoRA 转换 — 用插件自带 tools/convert_minimax_h3_lora_for_comfyui.py 添加 diffusion_model. 前缀
3. 非剪枝基模决策 — 当前 pruned int8 (19.5GB) 不兼容 Turbo LoRA。选项：
   • A) 下载 int8_convrot (31.7GB) → 3090 Dynamic VRAM 可跑但慢
   • B) 暂不用 Turbo LoRA，只用 T8 插件的音频/条件/解码节点（15步常规采样）
4. 先用 T8 无 LoRA 跑通 — Dual-Clock Sampler 在 15 步也能用（双时钟修复音频），不一定非要 4 步 Turbo