YuE2 能力全景 × KMC 应用调研
2026-09-16 · 信源：本机 5 个实测 skills + 官方仓 skills/yue2-music agent 包全文 + KAP 六端点真机探针 ·
📄 md 真源一句话定调：YuE2 在 KMC 的身份 = 符号谱轴独门引擎（ABC 条件注入 + SheetSage2 转录回环，四引擎唯一）+ 中文轴人声歌性价比王（快 m3 10-30×）+ 非商用红线常挂。它补的不是「另一个生成器」，是「音乐变成可编辑资产」这条能力轴。
① 引擎能力面（官方口径 + 本机实证）
生成三模式（cot 轴）
| cot | 谱来源 | 用法 | 本机实证 |
|---|
full | 模型生成旋律+和声 → 全可编辑 ABC | 新歌默认；外接改好的全谱做 reharmonization | i8-32 默认档，10-19s/45s 曲 |
melody | 只锁旋律、伴奏自由 | 翻唱官方推荐；外接剥和弦谱（abc_tools strip-chords） | 0913 爵士翻唱 28s 曲 9.4s 出 |
off | 无符号规划直出 | 官方明确「接外部谱时禁用」 | 未用（无收益） |
关键认知：外部 ABC 输入绕过符号规划器——melody 不会自动剥和弦、off+外部谱非法。条件注入是「替换规划」不是「叠加修复」。
符号谱轴（四引擎独门）
style+lyrics ──cot──> ABC 谱（Vocal+Ins 双声部，L:1/32 方言，和弦引号内联）
audio ──SheetSage2(MERT)──> ABC 谱（转录）
ABC 谱 ──(任意编辑/strip-chords)──> 新谱 ──cot 注入──> 新歌
生成→转录→与原谱逐音符一致（0913 实测）= 链路自证黄金证据
| 谱方言要点 | 内容 |
|---|
| 双声部语义 | V: Vocal 人声旋律+和弦记号；V: Ins 器乐主题/独奏（非钢琴和弦谱）；器和弦休止 = Z4| 全小节休止 |
| 官方工具三件套 | inspect（结构→JSON）/ strip-chords（剥和弦保音符，--keep-voice 选声部）/ compare（逐音符不变量，--allow-tempo-change） |
| 硬边界 | 变音记号跨八度按字母传播（native 约定）；tie 合并数实际发音音符；不支持 tuplets/grace/反复/slurs/w: 歌词行——遇之即拒绝重建 |
| 显式无 API | reference_audio / phonemes / bpm / negative_prompt / 局部 inpaint / 换声——全靠谱面编辑+style 侧写实现 |
性能/资源/缺陷
性能（3090 i8-32）
• 速度 0.22-0.6× realtime（m3 2.6-7.5×）
• VRAM 3.96G 权重 + DynamicVRAM 轮转
• 时长 = 歌词/谱结构驱动（maxDuration 只是天花板）
• 中文歌词逐字唱出（[Verse]/[Chorus] 对齐曲式）
已定谳缺陷 → 生产对策
• 人声缺失风格条件性（synthwave 0/6 死症）→ ASR 门 sim≥0.30 + 换 seed ×2 + 死区跨引擎回退（已落地）
• 器乐 [Inst] 防不住低音量唱词 → 器乐位让 SA3；YuE2 器乐走「Vocal 声部全休止」谱构造
• CC-BY-NC 禁商用 → license 透传，商用项目出局
② KAP 集成现状（真机探针 0916 全绿）
| 端点/件 | 状态 | 说明 |
|---|
POST /generate | ✅ live | 全参数（seed/style/lyrics/abc/mode/maxDuration…），i8-32 默认档 |
POST /abc | ✅ live | 独立出谱（async promptId→textUrl） |
POST /transcribe | ✅ live | audio_b64 → SheetSage2 → ABC |
GET /status /config | ✅ live | 归一状态机 / 默认档+license 披露 |
| KMC vocal_bgm 位 | ✅ 已落地 | _kap_yue2_with_gate zh 人声 cue + 语音窗守卫 + 19 mock 测试 |
| motif 批（方向A 跨cue母题 + 方向B BPM先验） | 🟡 在跑 | arch 司机 0950 发车，哨兵 */10 盯到站 |
③ KMC 应用矩阵（核心交付）
| # | 应用点 | 态 | 机制 / 说明 |
|---|
| 3.1 | 片中人声唱段（酒吧乐队/点唱机/片尾唱段/角色哼调） | 已落地 | vocal_bgm 提名位；zh→YuE2 with_gate / en→m3；语音窗硬守卫 ±1s fail-closed。空位：角色歌音色一致性（无 reference_audio 口）→ Seed-VC/RVC 换声叠链 [候选，等需求] |
| 3.2 | BGM 母题一致性 | 在跑 | 级联每 cue 独立生成→场景切换即音乐断裂。母题谱→变奏段注入（同骨架×换style=同一身份不同编曲）。motif 批方向 A |
| 3.3 | 卡点先验 | 在跑 | 谱面 Q 值 → analyze_beat_grid(bpm_prior=) 消解半/双倍歧义。motif 批方向 B |
| 3.4 | 主题曲/OP-ED 双臂制 | 候选待拍板 | 中文轴 YuE2 连续两日 ≥m3 且快 10-30×。提议：特殊位 zh 人声默认 YuE2 竞速 m3、en 保持 m3、商用自动回落。牵动 m3 留任边界，待 Kai 终审 |
| 3.5 | 翻唱/改编创作位 | 候选 | kais-song-agent 翻唱模式目前无引擎承接。YuE2 全链通：转录→strip-chords→换词换风格→cot=melody。渲外独立位；边界=旋律保真（谱锁定）≠同 mood 新写 |
| 3.6 | 谱面资产进资产体系 | 候选 | ABC = 可 diff/可版本化/可校验的音乐资产：每集出谱归档（GSRT 自证回归）、谱编辑子代理合同（紧张版→温柔版=符号编辑非重抽签）、bgm_verify 加谱面诊断轴 |
| 3.7 | 不建议位 | 已否决 | spotting 级联通用位（R11+SA3 无增益）/ 器乐默认位（SA3 胜）/ 商用任何位（NC）/ 借音频直生（无此 API） |
④ 与既有引擎格局合并视图
| 位 | 现役 | YuE2 关系 |
|---|
| spotting 器乐 cue | SA3 | 不动 |
| vocal cue（无语音窗提名） | zh→YuE2 / en→m3 | 已落地 |
| motif 母题 BGM | （级联无母题） | 在跑 落定后独门 |
| 主题曲/OP-ED/宣传曲 | m3 专供 | 候选 zh 轴双臂竞速 |
| 翻唱/改编 | 无引擎 | 候选 唯一承接者 |
| 谱面资产/校验 | 无 | 候选 ABC diff + 转录诊断 |
| 卡点 | beat_grid 无先验 | 在跑 bpm_prior |
⑤ 行动建议（按 ROI）
- motif 批到站验收（今天）→ 真机冒烟单 cue motif 链路。
- 特殊位双臂制提请拍板：一条 EP 主题曲 zh 双臂（YuE2 i8-32 vs m3）盲选定夺；商用自动回落 m3。
- 翻唱链真机标定（半天）：现有 demo 跑全链（转录→剥和弦→换风格），产出 KMC 翻唱标准配方。
- 官方 agent 包吸入：
skills/yue2-music（Apache 2.0）abc_tools 三件套 + edit-brief 合同 + 证据分层表（谱编辑能力本机缺位）。
- 角色歌音色一致性（等需求）：Seed-VC/RVC 换声叠链调研。
证据分层纪律（官方文档吸收，交付/汇报时防虚报）：符号谱检查 ≠ 听感实现 ≠ ASR 歌词一致 ≠ 音频对齐。每层检查只能支撑各自的主张——「谱面对了」不能说「音频一定守谱」，「ASR 认出词」不能说「音节对齐了」。交付页须写明哪些检查真做了。