# YuE2 能力全景 × KMC 应用调研（2026-09-16）

> 信源：本机 5 个实测 skills（yue2-music-engine / yue2-cover-ecosystem / yue2-cover-workflow / yue2-production-ops / kap-music-engine-strategy）+ 官方仓 `skills/yue2-music` agent 技能包全文（SKILL.md + generation-and-covers + abc-editing + listening-and-evaluation + edit-brief）+ KAP `/config`/`/abc`/`/transcribe` 真机探针（六端点全部 live）。
> 定位：给 KMC 决策用的「能力面 × 应用点」矩阵，标注已落地/在跑/候选三态。

---

## 一、引擎能力面（官方口径 + 本机实证）

### 1.1 生成三模式（cot 轴）

| cot | 谱来源 | 本机用法 | 实证 |
|---|---|---|---|
| `full` | 模型生成旋律+和声 → 全可编辑 ABC | 新歌默认；外接改好的全谱做 reharmonization | i8-32 默认档，10-19s/45s 曲 |
| `melody` | 只锁旋律、伴奏自由 | **翻唱官方推荐**；外接剥和弦谱 | 0913 爵士翻唱 28s 曲 9.4s 出 |
| `off` | 无符号规划直出 | 官方明确「接外部谱时禁用」 | 未用（无收益） |

**关键认知（官方文档明确）**：外部 ABC 输入**绕过符号规划器**——`cot=melody` 不会自动帮你剥和弦；`cot=off` + 外部谱是非法组合。条件注入是「替换规划」不是「叠加修复」。

### 1.2 符号谱轴（四引擎独门）

```
style+lyrics ──cot──> ABC 谱（ Vocal 双声部，L:1/32 原生方言，和弦引号内联）
audio ──SheetSage2(MERT)──> ABC 谱（转录）
ABC 谱 ──(任意编辑/strip-chords)──> 新谱 ──cot 注入──> 新歌
```

- 双声部语义：`V: Vocal`（人声旋律+引号和弦记号）+ `V: Ins`（器乐主题/独奏，**不是钢琴和弦谱**）。器和弦休止用 `Z4|`（全小节休止）。
- 转录回环自证（0913 实测）：生成→转录→与原谱**逐音符一致**（Q=88→87 量化差）= 接线正确性黄金证据，免人工听审。
- 官方 `abc_tools.py` 提供三件套：`inspect`（结构检查→JSON）/ `strip-chords`（剥和弦保音符，可 `--keep-voice` 选声部）/ `compare`（逐音符不变量校验，`--allow-tempo-change` 可放行）。
- 谱方言硬边界（原生 export 约定，勿用通用 ABC parser 替换）：变音记号**跨八度按字母传播**；tie 合并后数「实际发音音符」；不支持 tuplets/grace notes/反复记号/slurs/w: 歌词行——遇到即拒绝重建，不硬塞。

### 1.3 性能/资源面（3090 实测）

| 轴 | YuE2 i8-32 | 对照 |
|---|---|---|
| 速度 | 45s 曲 10-19s（**0.22-0.6× realtime**） | m3 2.6-7.5×；SA3 base ~70s/30s |
| VRAM | 3.96G 权重，DynamicVRAM 轮转极低占用 | m3 22.5G 独占 |
| 时长 | **歌词/谱结构驱动**（maxDuration 只是天花板），45s 请求可收在 30s | — |
| 中文歌词 | whisper 回验逐字唱出（[Verse]/[Chorus] 结构标记对齐曲式） | — |
| 显式 API 面 | **无** reference_audio / phonemes / bpm / negative_prompt / 局部 inpaint / 换声 | 这些全靠谱面编辑+style 描述侧写 |

### 1.4 已定谳的缺陷与边界（生产红线）

| 缺陷 | 证据 | 生产对策（已落地） |
|---|---|---|
| 人声缺失（风格条件性） | 5 风格×6 seed：synthwave 0/6 死症、CN-electronic 1/6、folk 5/6 | ASR 人声门 sim≥0.30 + 换 seed ×2 + 死区跨引擎回退（`_kap_yue2_with_gate`） |
| 器乐保真缺陷 | tri_inst 批：[Inst] 标记防不住低音量唱词（两轨实锤） | 器乐位默认 SA3；YuE2 器乐 ABC BGM 走「谱面 Vocal 声部全休止」构造而非 [Inst] 标记 |
| 商用红线 | CC-BY-NC-4.0 | license 透传 + commercialUse=false 日志；商用项目换 m3/SA3 |
| 时长抽签 | 45s 请求→30s 收 | 需要满长就写足歌词/谱面结构；下游时长容错已有 |
| early-stop / 量化档方差 | m3 对照；四臂盲审票向方差 ≥ 档位效应 | 不换默认档（i8-32 两日 11/12 最稳） |

### 1.5 官方 agent 技能包（可直接吸收的方法论）

官方仓自带 `skills/yue2-music/`（Apache 2.0，可整包吸入 Hermes）：
- **agentic 谱编辑合同制**：不变量先行（Vocal 音高/时值逐音符冻结 or 只保轮廓）、`abc_tools compare` 机器校验、逐小节 change manifest、改后必须听改段+过渡段。
- **证据分层表**（重要，防虚报）：符号谱检查 ≠ 听感实现 ≠ ASR 歌词一致 ≠ 音频对齐——每层只能支撑各自的主张，交付页必须写明「哪些检查真做了」。
- `edit-brief.md` = 谱编辑任务的标准化 brief 模板（可直接改造成 KMC 子代理的输入合同）。
- 听审对比页配方（`listen.py` 出本地 HTML 播放器）与 kais-html 盲审页纪律同构。

---

## 二、KAP 集成现状（真机探针 2026-09-16 全绿）

| 端点 | 状态 | 说明 |
|---|---|---|
| `POST /generate` | ✅ live | 全参数（seed/style/lyrics/abc/mode/maxDuration/采样四件套/checkpoint），i8-32 默认 |
| `POST /abc` | ✅ live | 独立出谱（async promptId→textUrl），mode full/melody |
| `POST /transcribe` | ✅ live | audio_b64 → SheetSage2 → ABC（status→GET text） |
| `GET /status/:id(/audio)` | ✅ live | 归一状态机 |
| `GET /config` | ✅ live | 默认档/license/容量披露 |
| KMC 消费端 | ✅ 已落地 | `_kap_yue2_with_gate`（zh 人声 cue 特殊位）+ vocal_bgm 提名位（R11 语音窗细化版）+ 19 mock 测试 |
| 在跑 | 🟡 motif 批 | 方向A 跨 cue 动机一致性（motif 谱→变奏段→abc 注入）+ 方向B 谱面 BPM→beat_grid 先验（arch 司机在跑，哨兵 */10） |

---

## 三、KMC 应用矩阵（核心交付）

按「音频资产类型 × YuE2 能力」给出应用点，标注 [已落地] / [在跑] / [候选-待拍板] / [不建议]。

### 3.1 片中人声唱段（已落地，vocal_bgm 位）

戏内源音乐（酒吧乐队/点唱机/电台/舞台演出）、片尾 montage 唱段、角色哼调。zh→YuE2 with_gate / en→m3；语音窗硬守卫（±1s fail-closed）；无语音窗才允许提名。
**下一步空位**：角色歌 voice 一致性——YuE2 无 reference_audio 口，音色随机；若 Kai 要「同一角色每集同音色」，候选路径 = Seed-VC/RVC 后处理换声（T8mars 整合包已验证存在）叠在 YuE2 输出上。[候选，触发=首个角色歌需求]

### 3.2 BGM 母题一致性（在跑 = motif 批方向 A）

痛点：级联每 cue 独立生成，全片 BGM 无音乐母题，场景切换即音乐断裂。
方案：设计子代理出一条全片母题谱 → 各 cue 注入对应变奏段（同一旋律骨架 × 换 style/seed = 不同编曲同一身份）。
本批已含：`_kap_yue2_abc` / `_abc_extract_variation`（小节对齐切段）/ `_generate_motif_cue` / `motif_bgm` 提名位。

### 3.3 卡点先验（在跑 = motif 批方向 B）

谱面 Q 值 → `analyze_beat_grid(bpm_prior=...)` 消解半/双倍歧义。器乐 ABC BGM 的谱面 BPM 天然可得，卡点网格可信率提升。

### 3.4 主题曲/OP-ED 双引擎竞速（候选升级）

现状 m3 专供特殊位。0914 四臂盲审后格局变化：中文轴 YuE2 连续两日 ≥m3 且快 10-30×。候选：特殊位改「双语种双臂制」——zh 人声主题曲默认 YuE2（i8-32），en 保持 m3；商用项目 YuE2 直接出局。**待 Kai 终审拍板**（牵动 kap-music-engine-strategy 的 m3 留任边界）。

### 3.5 翻唱/改编创作位（候选，kais-song-agent 补链）

kais-song-agent（ACE-Step 叙事）的翻唱模式目前无引擎承接。YuE2 翻唱链全通：原曲→SheetSage2 转录→strip-chords→换词换风格→cot=melody 重渲。改编类短视频/宣传片主题歌换风格复用、跨语言翻唱（官方文档给了歌词适配音节的完整方法论：音节-音符 sidecar、重音/元音时长、换气点）。
**KMC 管线位**：不进渲染期，渲外独立位；与「翻译型改编」边界 = 旋律保真（谱面锁定）而非「同 mood 新写」。

### 3.6 谱面资产进 KMC 资产体系（候选， medium 价值）

ABC 谱 = 可 diff/可版本化/可校验的音乐资产（对照：音频 = 黑盒）。候选：
- 每集 BGM 出谱归档（复用 GSRT 自证配方做回归验证）；
- 谱编辑子代理合同（edit-brief 模板改造）→「把紧张版变温柔版」类变奏任务变成符号编辑而非重新抽签；
- 谱面对拍进 bgm_verify（现有 6 项自动检查加「实际音频 vs 谱面音符结构」诊断轴——注意官方证据分层：转录只做诊断不作真值）。

### 3.7 不建议 / 已否决位（防重复踩线）

| 位 | 结论 | 依据 |
|---|---|---|
| spotting 级联通用位 | 禁 | R11 + 级联快秒级 SA3 无实质增益 |
| 器乐 BGM 默认位 | SA3 | tri_inst 批：YuE2 器乐出人声缺陷 |
| 商用项目任何位 | 禁 | CC-BY-NC |
| 借音频直接生成（reference audio） | 无此 API | 官方明确：VAE encoder 不能替代旋律转录 |

---

## 四、与既有引擎格局的合并视图

| 位 | 现役 | YuE2 关系 |
|---|---|---|
| spotting 器乐 cue | SA3 | 不动 |
| vocal cue（无语音窗提名） | zh→YuE2 / en→m3 | 已落地 |
| motif 母题 BGM | （级联无母题） | motif 批在跑，落定后为独门能力 |
| 主题曲/OP-ED/宣传曲 | m3 专供 | 候选：zh 轴改双臂竞速 |
| 翻唱/改编 | 无引擎 | 候选：YuE2 唯一承接者 |
| 谱面资产/校验 | 无 | 候选：ABC diff + 转录诊断 |
| 卡点 | beat_grid 无先验 | 在跑：bpm_prior |

## 五、行动建议（按 ROI）

1. **motif 批到站验收**（在跑，今天）→ 真机冒烟单 cue motif 链路。
2. **特殊位双臂制提请拍板**：一条 EP 主题曲 zh 双臂（YuE2 i8-32 vs m3）盲选定夺；商用项目自动回落 m3。
3. **翻唱链真机标定**（半天）：拿一首现有 demo 跑全链（转录→剥和弦→换风格），产出 KMC「翻唱式改编」标准配方 + 窗守卫/许可边界说明。
4. **官方 agent 技能包吸入**：`skills/yue2-music`（Apache 2.0）的 abc_tools 三件套 + edit-brief 合同 + 证据分层表，合并进本机 yue2 skills（谱编辑能力目前本机缺位）。
5. **角色歌音色一致性**（等需求触发）：Seed-VC/RVC 换声叠链调研。