# SparkDiffusion 深度调研：技术解构 × H3 加速移植性评估

**调研日期**: 2026-09-26 ｜ **真源**: [AlibabaResearch/SparkDiffusion](https://github.com/AlibabaResearch/SparkDiffusion)（2026-09-18 发布，160★，Apache-2.0）
**评估框架**: external-acceleration-recipe-adoption 五步法 ｜ **结论**: 不可直接采纳，三层配方可分级移植

---

## 一、它是什么

DiT 视频生成加速框架，**目标是 Wan 2.1/2.2（非 H3）**。三篇论文体系：

| 论文 | 内容 |
|---|---|
| SparkDiffusion (arXiv:2609.23153) | 总纲：诊断「高稀疏陷阱」，提出两阶段后训练 + 量化部署统一框架 |
| RoLa (arXiv:2609.06712) | 稀疏低秩注意力：稀疏支路 + 低秩线性全局支路，RoPE 放在非线性特征图外保证相对位置几何 |
| CrossDistill (arXiv:2609.14725) | 少步蒸馏：噪声轴分治——高噪段 PCM 一致性 + 低噪段 DMD 分布匹配，crossover 状态耦合 |

### 核心洞见：「高稀疏陷阱」(high-sparsity trap)

极端注意力稀疏下，**step-local 训练 loss 持续下降但终态生成质量停滞甚至退化**。根因是监督错位：终态误差主要在高噪结构生成段注入，被后续低噪步累积；step-local 训练纠正不了终态误差。

**治理范式（两阶段）**: ①先用稀疏架构 + 补偿支路做短程 warm-up，把 dense 底模适配成「粗糙先验」→ ②再对齐终态分布做少步蒸馏纠偏（3步 student = 1 PCM 高噪步 + 2 DMD 低噪步，CFG-free）→ ③部署层 FP8 W8A8 量化 + 自研 Triton 融合算子把省下的计算换成墙钟时间。

### 实测战绩（官方口径）

| 指标 | 数据 |
|---|---|
| 端到端加速 | **265×**（RTX 5090，Wan2.1-14B-720P@97% 稀疏 3步 vs 50步CFG dense BF16+FlashAttn）；220× (H100)；189× (Wan2.2-A14B@97% H100) |
| 单片延迟 | 1.3B-480P：**1.3s**（5090）/ 0.6s（H100） |
| 质量 | 97% 稀疏下 VBench 与 dense 差 <0.9 分；VBench-2.0 Human Fidelity 超全部基线 |
| 稀疏度 | 720P 长序列撑住 **97%**；1.3B-480P 90% |

⚠️ **口径换算**（外部评审核验协议第 1 条）：265× 的分母是 50步×CFG=NFE 100 dense 基线。对齐本地现役 LXV 8-768p **9步**主链口径：NFE 100→3 约合 33×，再叠加稀疏注意力收益 ≈ 同口径 20-30× 量级——仍然巨大，但不是"对本地提速 265×"。

---

## 二、机制层解剖（源码实读）

### 2.1 三段配方

```
Dense 底模 (50步 CFG)
   │
   ├─ Stage 1: RoLa 稀疏微调 (sparse warm-up, ~250 iter 量级起步)
   │    · 新增参数: proj_q/proj_k (head_dim→rank 低秩投影) + gate_proj/gate_bias (标量门控融合)
   │    · 稀疏支路 (block-map 稀疏注意力) + 低秩线性支路 (截断 RoPE, triton 融合)
   │    · Stage-1 冻结主干，仅训稀疏新增参数
   │
   ├─ Stage 2: CrossDistill 少步蒸馏
   │    · 高噪段: PCM 一致性目标 (保 mode 覆盖)
   │    · 低噪段: DMD 分布匹配 (锐化细节)
   │    · teacher 可为 dense（student 稀疏路径需 SLA 反向核）
   │
   └─ 部署: FP8 W8A8 量化 (SM89+) + 4 个自研 Triton 算子
        fused_qkv_rope / fused_lowrank / fused_gate / fused_sparse_attn
        + torch.compile (inductor, warmup 采样自动触发)
```

### 2.2 训练/推理依赖面

| 依赖 | 说明 | 对 3090 的影响 |
|---|---|---|
| `thu-ml/SLA` (外置 SLA_SRC) | RoLa 训练/蒸馏的**反向核**（推理不需要） | thu-ml/SLA py>=3.12；本地已编译过同族 spas_sage_attn（SpargeAttn），路径熟悉 |
| flash-attn + Triton≥3.4 | 基建 | Triton 3.4 修的是 SM120 FP8，3090 无感 |
| FP8 量化 | **SM89+ tensor core**（4090/5090/H100） | ❌ 3090 sm86 无 FP8 → 只能 BF16，量化层提速吃不到 |
| 多卡训练 | launcher 默认 NPROC_PER_NODE=8 | ❌ 本地 2×3090 训 14B 不现实 |

### 2.3 可插拔注意力注册表（工程亮点）

```python
@register_sparse_attn("my_attn", sparse_param_names=["my_router", "my_gate"])
class MyAttention(nn.Module):
    def forward(self, x[B,L,dim], seq_lens, freqs) -> [B,L,dim]: ...
```
三步接入，零核心代码改动；`sparse_param_names` 自动进 Stage-1 冻结白名单；官方验证 plugin 路径 state_dict 与旧路径 1255/1255 键完全一致。**这个注册表设计本身值得吸收**——KMC 的引擎臂/加速臂管理可参考。

### 2.4 发布权重（HF 集合 alibabagroup/sparkdiffusion）

6 个 checkpoint 全部 **Wan 系**：SparkWan2.1-T2V-1.3B/14B-480P-0.90、T2V-14B-720P-0.97、T2V-14B-720P-0.95-3Step、I2V-14B-720P-0.97、Wan2.2-T2V-14B-480P-0.95。格式为整模 `.pth`（含新增 RoLa 参数），**无 H3 版本**，base_model 全部指向 Wan-AI 官方仓。

---

## 三、H3 直接采纳判定：❌ 三道墙

| # | 墙 | 证据 |
|---|---|---|
| 1 | **模型墙** | 网络实现 `wan2pt1.py/wan2pt2.py` 是 Wan 专用（BLHD 布局、Wan freqs 格式、双专家 MoE）；H3 是音视频联合 NestedTensor + 3D RoPE + Qwen3-VL conditioner，结构不同。无 H3 checkpoint，自训需从 Wan checkpoint 迁移（不存在） |
| 2 | **硬件墙（训练侧）** | 稀疏微调 + 蒸馏需 SLA 反向核 + 8 卡级并行；14B 级 teacher+student 双模型驻留远超 2×3090 24G。部署基准卡是 5090/H100 |
| 3 | **部署栈墙** | 自研 Triton 算子绑定 Wan 的 QKV/RoPE/gate 结构；FP8 路线 3090 物理不支持 |

---

## 四、可移植层（对 H3 的真实价值）

### A. 「高稀疏陷阱」诊断协议 —— ★★★ 零成本，最高价值

本地 VSA 臂（FastH3 V2 checkpoint + BlockSparseAttention keep 10%）正处于 SparkDiffusion 论文描述的「只做稀疏架构适配、未做终态纠偏」状态。论文的 **oracle 窗口校正实验**可直接复刻为 VSA 臂的体检仪器：

> 把 dense teacher 的 velocity 在匹配噪声窗内替换回 VSA student，逐窗测量终态误差削减量。若「修最高噪 5 步」消掉大部分误差而「修最低噪 5 步」几乎无效 → 实锤 VSA 臂的误差注入在高噪段 → 补蒸馏的收益预期成立。

产物：VSA 臂「要不要补蒸馏」从直觉判断变成仪器判据。实验在 3090 可跑（都是推理级开销）。

### B. FastVideo × DMD × VSA 蒸馏基建 —— ★★☆ 中成本，最近的可走路径

FastVideo 主仓（hao-ai-lab，4.5k★）已实装：
- `examples/distill/*/distill_dmd_VSA_*.slurm` —— **VSA 稀疏 + DMD 蒸馏组合配方**（Wan2.1/2.2 多档，data-free 变体也有）
- `examples/train/launch_minimax_h3_t2va_*.sh` + `overfit_minimax_h3_t2va.yaml` —— **H3 训练 launcher 存在**
- `fastvideo/mlx_runtime/minimax_h3_vsa.py` —— H3 的 VSA 运行时（本地 VSA checkpoint 正出自 FastH3 生态）

→ 「给本地 VSA 臂补一层 DMD 蒸馏」基建存在，**但 3090×2 的显存/速度现实性待专项评估**（teacher offload + gradient checkpointing 大概率慢到不实用，crush_smol 小样本配方是缩小实验的切口）。

### C. CrossDistill 噪声轴分治调度 —— ★★☆ 搭 B 的便车

PCM 高噪 + DMD 低噪 + crossover 耦合是 sampler/training policy 层设计，与底模无关。若走 B 路线直接套用其调度纪律；论文明确 DMD 是 plug-in。

### D. RoLa 注意力结构本体 —— ★☆☆ 高成本暂缓

给 H3 写 WanSelfAttentionRoLa 的 H3 变体（注册表模式）理论可行，但意味着完整重走稀疏微调+蒸馏两阶段训练。等有训练级 GPU 再议。

### E. 同族先例（本地已实证，划清增量边界）

- 2026-08-23 已打通 **LightX2V × SLA 85% 稀疏注意力**（spas_sage_attn sm86 内核，3090 原生 kernel 路径）——SparkDiffusion 的稀疏内核与 thu-ml/SLA 同族，本地不缺稀疏注意力层
- 现役 VSA 臂 + SageAttention + kitchen INT8 + BlockCache-T8（待终审）——「跳计算」层已多点在产
- **SparkDiffusion 对本地的真增量 = 训练侧配方（trap 诊断 + 两阶段治理），不是稀疏内核**

---

## 五、建议路径（供拍板）

| 档 | 动作 | 成本 | 产出 |
|---|---|---|---|
| ① | VSA 臂跑 oracle 窗口校正实验（trap 诊断协议移植） | 低，纯推理，3090 可跑 | VSA 臂误差注入段定位 → 决定「补蒸馏是否值得」 |
| ② | ① 成立后：FastVideo distill_dmd_VSA × H3 显存/速度画像评估（crush_smol 小样本切口） | 中，需 GPU 空窗 | 3090×2 可行性判定；不可行则出借卡/云 GPU 需求单 |
| ③ | 完整 RoLa 化 H3（注册表变体+两阶段训练） | 高 | 暂缓，等训练卡 |
| 备注 | Wan 线备胎：若 KMC 未来上 Wan2.2 变体管线，SparkWan2.2-480P-0.95 现成 4 步权重可直接评估（3090 需 offload，速度存疑） | 低 | 选项性存在 |

## 六、信息源

- repo: github.com/AlibabaResearch/SparkDiffusion（README/源码实读：sparse_attn_registry.py, wan_rola_attention.py, inference_optimization.py, requirements.txt, .agents/skills/*）
- 论文: arXiv 2609.23153 / 2609.06712 / 2609.14725 / 2605.20659（RoPeSLR 前作）
- 博客: sparkdiffusion.github.io（性能表/消融）
- 权重: huggingface.co/collections/alibabagroup/sparkdiffusion
- 训练核: github.com/thu-ml/SLA（548★, Apache-2.0）
- 本地对照: h3-vsa-arm / h3-acceleration-decisions-v2 / lightx2v-h3-sla-sparse-attn-3090 / external-acceleration-recipe-adoption