# 分镜视频 → 物理合理主体交互动作：方案调研（2026-09-19）

> 核验等级：✅ = 本会话 curl 复核（GitHub API star + arXiv API 标题双向）；⚠️ = 子代理单次核验/模型知识；「未核验」= 不采信。
> 三路子代理均无 web_search，全部走 terminal+curl 实抓（arXiv API / GitHub API / HuggingFace API / 官网），数字非编造。

## 一句话结论

存在成熟方案，但呈「三层拼图」而非单一端到端工具：**世界系运动提取**（GVHMR/WHAM/TRAM，✅广泛认可）+ **物理化修正**（PHC/HuMoR/PhysPT，✅案例验证）+ **工业落地**（Wonder Studio/Move.ai，✅生产级）。**真正的短板是「人-物交互」环节**——单目视频→物理合理的人-物接触提取 2026 年仍是研究前沿（PHOSA 已归档停更），无广泛认可落地方案。

## 层1：世界系 3D 人体运动提取（核心推荐层）

| 方案 | arXiv | Repo | Star✅ | 状态 | 输出 | 要点 |
|---|---|---|---|---|---|---|
| **GVHMR** (SIGGRAPH Asia 2024) | 2409.06662✅ | zju3dv/GVHMR | **2011** | push 2026-09-15**最活跃** | SMPL+世界系轨迹 | 重力-视角坐标解耦相机/重力；SimpleVO 前端；**首选** |
| **WHAM** (CVPR 2024) | 2312.07531✅ | yohanshin/WHAM | 1138 | push 2024-04 停更 | SMPL+世界系轨迹+相机 | 生态最广、Colab 全；无人机/快运场景验证 |
| **TRAM** (ECCV 2024) | 2403.17346✅ | yufu-wang/tram | 641 | push 2025-06 | SMPL+轨迹+**相机轨迹(SLAM)** | masked DROID-SLAM，多人+遮挡感知差异化；2025-02 加重力/地面预测 |
| CameraHMR (3DV 2025) | 2411.08128⚠️ | pixelite1201/CameraHMR | 258⚠️ | — | SMPL+透视相机对齐 | Perceiving Systems 出品；CamSMPLify；S2 71 引用⚠️ |
| TRACE (CVPR 2023) | 2306.02850✅ | Arthur151/ROMP | 1542✅ | — | SMPL+相机运动分离 | 动态相机专攻；代码在 ROMP 仓 trace2 |
| 4D-Humans/HMR2 (ICCV 2023) | 2305.20091✅ | shubham-goel/4D-Humans | 1690 | push 2026-02 | SMPL（相机系） | 多人跟踪底座（基于 PHALP）；无世界系轨迹 |

**共同边界（⚠️推断，重要）**：均不原生处理剪辑切换——分镜视频需按镜头切分后逐镜头运行再对齐（与 KMC shot 分段天然契合）。

## 层2：物理化修正（防穿地/防穿模/惯性合理）

| 方案 | arXiv | Repo | Star✅ | 机制 | 验证证据 |
|---|---|---|---|---|---|
| **PHC** (ICCV 2023) | 2305.06456✅ | ZhengyiLuo/PHC | **1291** | Isaac Gym 仿真模仿：把提取的动作用物理人形**重演**，物理上不可行即失败 | 社区采用度 B 组最高✅；PHC_MJX(MuJoCo) 67★ |
| **HuMoR** (ICCV 2021) | 2105.04668✅ | davrempe/humor | 580 | 测试时优化：CMM 运动先验+地面接触目标，拟合任意 RGB 视频 | 经典后端；可清洗任意上游输出 |
| PhysPT (ECCV 2024) | 2404.04430✅ | zhangy76/PhysPT | 56⚠️ | 物理感知预训练，输出带惯性合理的动力学 | 较新，采用度待观察 |
| SimPoE | 2104.00683✅ | 未开源⚠️ | — | 仿真在环姿态估计 | — |
| UHC | 2206.09286✅ | — | — | PHC 同谱系（物理有效角色） | — |

**推荐组合链**：GVHMR/WHAM 提取 → PHC 仿真重物理化 → 量化验收。这是当前唯一「每层都有开源+star 背书」的链路。

## 层3：工业落地（有生产案例/广泛认可）

| 工具 | 性质 | 案例验证 | 适配「分镜→交互动作复用」 |
|---|---|---|---|
| **Wonder Studio**（Autodesk 2024-05 收购，2025-03 更名 Flow Studio）✅ | SaaS 闭源 | 独立 VFX 短片 breakdown 多例✅；大型剧集署名案例未核验 | **最高**：唯一支持多镜头剪辑视频输入+自动相机跟踪+导出 mocap/USD/Blender |
| **Move.ai** ✅ | SaaS 闭源 | AKA Virtual×UE5 官方案例✅；EA 案例未核验 | 高（质量上限高，多目>单目） |
| **Wan2.2-Animate-14B**（阿里，2025-09 开源）✅ | 开源 Apache-2.0 | 主仓 **17,550★**✅；HF 30天下载 53,630⚠️ | 高：动作模仿+角色替换，Diffusers 已集成 |
| Kling Motion Control ✅ | 商用 API | 官方功能页✅；生产署名案例未核验 | 高（以分镜动作为条件再生成新镜头） |
| MimicMotion（腾讯）✅ | 开源 | 2,659★✅ | 研究级 |
| MusePose（TME, MIT）✅ | 开源 | 2,704★✅ | 研究级 |
| Cascadeur ✅ | 桌面软件 | — | **非提取工具**；推荐作物理化后处理（AutoPhysics） |
| Runway Act-One ✅ | SaaS | 2024-10 发布✅ | 仅面部表演迁移，全身否 |

## 层4：人-物交互提取（诚实短板区）

| 方案 | arXiv | 状态 | 结论 |
|---|---|---|---|
| PHOSA (ECCV 2020) | 2007.15649✅ | **已归档**（2022-01 停更）✅ | 单图人-物空间排布，接触一致性优化；**无现役继任者** |
| PHALP 谱系 | 2112.04477✅ | 活跃 | 跟踪+3D，含支撑关系推理⚠️，非专门交互 |
| Ditto (CVPR 2022) | 2202.08227✅ | — | **RGB-D 输入**，非纯单目 |
| ARCTIC 数据集 | 2204.13662✅ | — | 双手-物数据集（S2 396 引用⚠️） |
| 2025-26 新工作（VideoArtGS 2509.17647 / PhyGenHOI 2605.30268 等）⚠️ | 已核标题 | 太新 | 引用/复现均未成气候 |

**定论**：「单目视频→物理合理人-物交互」没有广泛认可方案；工程上靠 层1+层2 得人体物理轨迹 + 交互物体走 gold-remount 式资产逆向，接触时刻人工/半自动标注。

## 层5：物理合理性量化验收（判定「符合物理规律」的标准）

| 基准 | arXiv | Repo | Star✅ |
|---|---|---|---|
| **Physics-IQ**（DeepMind 2025） | 2501.09038✅ | google-deepmind/physics-IQ-benchmark | 346（push 2026-09-14 持续维护）✅ |
| VideoPhy | 2406.03520✅ | Hritikbansal/videophy | 208 |
| VideoPhy-2 | 2503.06800✅ | — | — |
| IntPhys 2 (Meta) | 2506.09849✅ | facebookresearch/IntPhys2 | 113 |

## 与 KMC 管线的衔接

1. video-motion-decouple-extraction 宪法的 L0 运镜解耦 ↔ WHAM/GVHMR 的相机-人解耦是同一哲学的仪器化版本；其输出可直接当 L4 动作轴的三方互证之一。
2. 逐镜头切分后跑 GVHMR → SMPL 轨迹可喂 PHC 做物理重演 → 与原片并排盲选（复现门同款纪律）。
3. 分镜→新镜头复用走 Wan2.2-Animate（Apache-2.0 已商用合规）或 Kling Motion Control。

## 未核验清单（引用前需二次核验）

Wonder Studio 大型剧集署名案例与「道具交互」细节；Move.ai EA 案例；Act-Two 发布日期；HOOD/CMI/PIP-2022 的 arXiv ID（多轮检索未命中，不列）；SMPLer-X 的 arXiv ID；所有 S2 引用数（API 限流，仅 CameraHMR 71 / TRACE 121 / GLAMR 188 / SLAHMR 176 等子代理单次核验值）。