Semantic Bridge = conditioning 空间语义适配器:把 H3 原生 text conditioning [B,T,5120] 过学生 MLP 预测"教师语义表示",幅度对齐后以残差混回。不是 LoRA、不动扩散权重、不改写 prompt,推理期不需要 SenseNova 教师模型。
推荐参数:α=0.10 起步(发布 A/B 用 0.15 强档)、magnitude_match=per_token。BUNNY 版带 enabled 真旁路(α=0 零加载零拷贝)。
| ① 原版 speach1sdef178 | ② 衍生 BUNNY / JOKER141 | ③ T8mars 收编 | |
|---|---|---|---|
| 仓库 | GitHub ★6 · 一日仓(0909) | GitHub ★15 · 0913/14 | HF t8star/Semantic-Bridge-Comfy · 0917 |
| 热度 | HF 1849↓ / 73赞 | HF 381↓ / 22赞 | HF 55↓ |
| 权重 | v1 · 10.5MB fp16 | ActionLogic V1 · 21MB fp32 | 两份 T8_Compat 重打包(张量逐字节同,仅加元数据+SHA256) |
| 定位 | 通用语义/prompt 遵循:构图·空间·数量·材质·反射·文字 | 动作逻辑归属:动作串人/武器换主/攻受混淆/遮挡后身份丢失(1v4 战斗实测) | 分发渠道:①②权重 → T8 节点可读格式 |
| 训练法 | SenseNova U1.5 8B-MoT 教师 → 跨架构隐层对齐 → 蒸馏;单卡 3090 Ti 24GB 全程 | 独立训练权重(非①转换版),MLP 架构同构 | 无训练 |
| 自报证据 | 表征余弦 0.9836 / OOD 0.9898;仅 2 组定性 A/B 视频 | ~60% 改善 / ~20% 无差 / ~10% 退化(非正式观察,自述非 benchmark) | 443 CPU 回归+5 工作流机械验证;人审未完成·节点未进任何已发布版 |
谱系:②README 明示"受①启发";③是①②的封装。⚠ T8 README 明令:BUNNY 与原版是独立权重,禁两桥串联同一 conditioning。
| 步 | 结果 |
|---|---|
| 1. 参数级直接嫁接 | 失败 SenseNova↔H3 无张量对应 → 问题转为表征对齐 |
| 2. 隐层对齐 | 最强映射 held-out 余弦 0.904;严格 OOD(160条) 0.749(降未崩) |
| 3. Full Bridge(带教师) | 行为可见变化但教师运行时不现实 → 转蒸馏 |
| 4. 蒸馏学生 | 预测 delta 失败(~0.51),预测表示本身大成功 → 11MB 独立适配器 |
| 教师表示余弦 | 0.995890 |
| 语义校正余弦 | 0.983558 |
| OOD 校正 | 0.989788 |
| 最差类别(Counting) | 0.965250 |
| Blend 余弦 @α=0.10 | 0.999958 |
prompt 明示「右手平放桌面、五指自然张开且清晰可见」:原生 H3 擅自给右手加了横移动作;Bridge α=0.15 保持静止状态。这是可直接观察的状态遵循差异,非"哪个更好看"的主观题。
| 检查项 | 结果 |
|---|---|
comfyui-primary / secondary 原生 comfy_extras/nodes_minimax_h3.py | ✅ 双容器在位 primary @ 7a0b5eed (Aimdo 0.5.5),含 ImageToVideo/ReferenceToVideo |
| 本机 h3-audio-T8 插件 | v1.73.0,无 semantic bridge 节点 |
| T8mars 上游 | 桥节点连 v1.83.0 都未进(EXP,代码未推 GitHub/Registry)→ 追 T8 收编无增量 |
| 采纳最小路径 | BUNNY 单节点仓 + 21MB 权重:纯 conditioning 进出零依赖 → 现有工作流 CONDITIONING 线中间插入即可,零重建 |
BUNNY 桥 → FL2VA 无对白多角色动作镜 3-case A/B:同 seed、α=0.10 per_token、kais-validation 案例、盲选页 + Kai 终审。过线后再议 α=0.15 与放量。遵守 0917 令:小批试点成功才批量。
原版实测:Ref2VA conditioning 上桥 → 参考音频歌唱咬字/口型明显恶化。TTS audio-lock 对白镜若试必须 ASR 回验+口型审计轴单独立项。
不追:T8mars EXP 收编(无功能增量)、AIMixer #204 未合入(但其"默认关/安静降级/仅正向/每段一次"设计值得抄)。监控:①仓迭代、②仓 issue、T8 ≥1.84 节点落地、#204 合并。
| 我们已知痛点 | 对应能力 | 判断 |
|---|---|---|
| 多角色动作串人/道具换主(P11b) | BUNNY 主打(1v4 战斗) | 高度相关 · 首选试点 |
| prompt 状态遵循(擅自加动作/数量/左右序) | 原版主打(手部静止 A/B 实锤) | 相关 |
| TTS 对白口型(T8 Audio Lock 生产路径) | Ref2VA 上桥 = 咬字/口型恶化(作者实锤) | 禁区 |
| 复现门 / render-back 定量判定 | 行为无法用表征指标预测 | 试点必须同 seed A/B + 盲选终审 |