0919 底账:VGGT (14.4k★) / DUSt3R / MASt3R / VGGSfM / CUT3R / π³ / MonST3R / AnyCam(TUM-dyn RPEt 0.005 动态表最佳,本机已冒烟通过 70帧78s)/ Fast3R / MapAnything / Depth Anything 3
| 系统 | ID | 状态 | 发表 | 要点 |
|---|---|---|---|---|
| VGGT-Ω | arXiv 2605.15195 | 4539★ · 0917活跃 | CVPR26 Oral (Meta) | 官方声明静态+动态双增强——VGGT 位姿头动态失真的官方级解法候选,第一优先冒烟 |
| ViPE (NVIDIA) | arXiv 2508.10934 | 2122★ · 0910活跃 | NVIDIA | 视频→位姿+度量深度+内参,任务一比一同构,工程化最好,并列第一优先 |
| MASt3R-SLAM | arXiv 2412.12392 | 3189★ · push停10月 | CVPR25 Highlight | pointmap 前端实时密集 SLAM 15FPS,无标定模式;学习式匹配对低纹理有韧性 |
| AMB3R-SLAM | arXiv 2609.19518 | 20★ · 3天新 | arXiv 0917 | 后端明确规避静态世界假设的 BA,动态场景显式设计;刚开源观望 2-4 周 |
| VGGT-Long | arXiv 2507.16443 | 903★ | ICRA 2026 | 分块+回环+Sim(3)对齐推到公里级——长视频轴(>500帧解法) |
| Spann3R | arXiv 2408.16061 | 1142★ 停滞 | 3DV 2024 | 流式空间记忆,CUT3R 前身;作者已转向 AMB3R 系 |
| SLAM3R | arXiv 2412.09401 | 1363★ | CVPR25 Highlight | 实时重建为主,轨迹输出弱(社区补 onlinecam) |
| ViSTA-SLAM | arXiv 2509.01584 | 282★ | 3DV 2026 | 轻量两视图关联,无需内参,适合资源受限冒烟 |
| MASt3R-Fusion | arXiv 2509.20757 | 355★ 活跃 | — | 摘要明言针对低纹理环境 + IMU/GNSS 紧耦合(有 IMU 轨道时用) |
| MUSt3R / Glob3R / Trust3R / HunyuanWorld-Mirror / AMB3R | arXiv 多 | 341/237/29/1208/496★ | CVPR25/ICML26 | 前馈底座扩容:多视图化 / 全局SfM / 证据不确定性 / 任意先验 / 度量后端 |
0919 结论「类型级运镜识别无现成公认方案」已过时——CameraBench (2025-04) 之后形成小生态,但「裸 VLM 判运镜不可靠」被四篇独立文献一致支持(与本机 r054 实测互证)
| 系统 | ID | 状态 | 发表 | 要点 |
|---|---|---|---|---|
| CameraBench | arXiv 2504.15376 | 310★ | NeurIPS25 Spotlight | ~3K 专家标注 + 摄影师协作 taxonomy(几何+语义基元)+ SfM/VLM 双盲区评测 + 微调生成式 VLM 兼得 |
| CamFlow | arXiv 2507.22480 | ✅ | ICCV 2025 | 连续 2D 全局运镜估计:物理+随机混合运动基表示光流场,掩蔽动态物体,零样本鲁棒 |
| DGME-T | arXiv 2510.15725 | ✅ MIT | ACMMM25 | 光流方向网格编码注入 Video Swin,历史胶片运镜分类 81.78→86.14% |
| CamReasoner | arXiv 2602.00181 | 32★ | 2026-01 | 运镜理解重构为结构化推理,18k SFT + 38k RL(首个 RL 运镜理解),VQA 60.9→74.5% |
| Geometry-Guided VideoLLM | arXiv 2603.13119 | ✅ HF | CVPR26 PVUW | 3D 基础模型几何线索注入 VideoLLM(免训练) |
| CaMo / CamDistill+CamChoreo | arXiv 2605.20165 / 2608.10932 | ✅ | 2026 | 运镜接地 VLM / 时序接地复合识别(20标签,4229 单镜时序段基准)+ 几何知识蒸馏 |
「从参考视频提轨迹驱动生成」。关键实证:CamCloneMaster 用户研究——喂 GT 参数偏好 76-88%,换喂 MegaSaM 估计参数暴跌至 13-24%,位姿估计是参数路线瓶颈
| 系统 | ID | 状态 | 发表 | 要点 |
|---|---|---|---|---|
| ReCamMaster (快手) | arXiv 2503.11647 | 1868★ | ICCV25 BP Finalist | 刻意跳过源视频位姿逆推(原文承认 SOTA SfM 也难准),源视频直接作内容条件 |
| TrajectoryCrafter (腾讯) | arXiv 2503.05638 | 875★ | ICCV25 Oral | DepthCrafter 深度→动态点云→目标轨迹渲染作条件;明确支持 AI 生成源视频 |
| CameraCtrl | arXiv 2404.02101 | 662★ | 2024 | COLMAP 官方推理路径→Plücker 注入;附录实测 COLMAP 误差下界 |
| MotionClone | arXiv 2406.05338 | 523★ | ICLR 2025 | training-free 非几何:稀疏时序注意力主成分克隆(绑 U-Net) |
| AC3D (Snap) | arXiv 2411.18673 | 165★ | CVPR 2025 | COLMAP + 度量深度逐帧尺度细化(RANSAC/Huber);VDiT 中层隐式执行位姿估计可线性探测 |
| CamCloneMaster (KlingAI) | arXiv 2506.03140 | 160★ | SIGGRAPH Asia25 | 不经相机参数估计:参考视频 token 直接拼接统一注意力 |
| CameraAnything | arXiv 2607.24591 | 107★ | 2026-07 | per-pixel Plücker 重摄框架;DAVIS 反测 RotErr 2.76°(本轴最低) |
| MotionMaster / CamTrol / CamCo / CameraCtrl II | arXiv 多 | 103/35/—/— | 2024 | 背景流+Poisson / ZoeDepth 点云 / COLMAP / VGGSfM+深度尺度(后两者无官方码) |
ORB-SLAM3 / VINS-Mono / DROID-SLAM / DPVO / TartanVO。适用边界不变:全部假设背景刚性,AI 逐帧重绘摧毁特征数据关联。2504.20496(in-the-wild 加固:自标定内参+动态掩码+深度正则 BA+回环)设计最对口但无代码——只能抄设计。
Gyroflow (9.5k★) / gpmf-parser / telemetry-parser / Kalibr / DJI SRT。仅真实拍摄可用;AI 生成片只能 Blender 合成或人工标注。
libvidstab / OpenCV videostab(无 Python 完整绑定)/ python_video_stab (777★) / FuSta / DIFRINT。transforms.trf 可当伪真值轨迹。
| 路线 | 代表工作 | AI 重绘片适性 | 备注 |
|---|---|---|---|
| COLMAP 直用 | CameraCtrl / CamCo / CamTrol | ❌ 差 | 短视频/共面/焦距 zoom 失败(多篇实证) |
| SfM + 度量深度尺度细化 | AC3D / CameraCtrl II / ParaScale | ⚠️ 中 | 尺度问题可解,特征匹配问题仍在 |
| 学习式 SfM | VGGSfM / ParticleSfM / MegaSaM | ⚠️ 中 | MegaSaM 是生成侧评测主流 |
| 动态场景几何 | MonST3R / ViPE / AMB3R-SLAM | ✅ 较适 | 动态前景显式设计,待实测 |
| 深度→点云→重渲染 | TrajectoryCrafter / ReCapture / CamTrol | ✅ 较适 | TrajectoryCrafter 明确支持 AI 源 |
| 帧对单应累积链 | 2504.09472 | ✅ 较适 | 低成本备选(无需 SfM 收敛) |
| 光流辅助(仅量化/选片) | CameraCtrl II / MotionMaster | ❌ 差 | 精确逆推不可用(本机 RAFT 噪声流 500×) |
| 注意力克隆(免几何) | MotionClone / MotionMaster | ⚠️ 中 | 绑 U-Net,不输出轨迹 |
| 特征+回归头 | TriMotion | ⚠️ 中 | 可测试折中 |
| 生成模型自身逆推 | Rays as Pixels | ⚠️ 中 | 概念最贴,无码 |
| 显式拒绝位姿估计 | ReCamMaster / CamCloneMaster | ✅ 较适 | 产品级答案:源视频=条件,跳过逆推 |
| 分层探针链(本机自研) | camera-motion-instrument-probes 六步链 | ✅ 较适 | 方向/分层/伪环绕已验证;幅值仅远板精确 |
| 本机实测 | 文献印证 |
|---|---|
| SEA-RAFT 密集光流 AI 片退化噪声流(膨胀 500×) | VGGT/MonST3R limitation 原文;CamCloneMaster 生成偏好 76-88%→13-24% |
| VGGT 位姿头前景剧烈动作失真(2.3°/帧 vs 真值<0.1°) | VGGT 论文自认 non-rigid 失效;CamDirector 明文「VGGT inaccurate depth」;π³ 交叉评测 |
| VLM 判运镜高置信幻觉(150px vs 仪器 0.03px) | CameraBench「VLM 抓不住几何基元」;CaMo;Lost in Space(0.66 vs LoFTR 0.99);Geometry-Guided |
| 背景带隔离+分层+长基线自研配方 | AnyCam 不确定性加权滑窗 BA 学术同构(已冒烟);CamDirector SAM2 剔动态同源 |