EmbeddingGemma-2 × KAP embedding 引擎 demo
google/embeddinggemma-2 · Gemma4 底座 740M · Apache-2.0 · 2026-10-06 发布 → KAP 平级引擎 embeddinggemma-2 (Flask :8152, GPU0 3060Ti) · 2026-10-11 交付
① 模型档案
740M
参数 (270M文本+170M视觉+300M音频)
768d
统一向量空间 · 五模态
1.42GB
bf16 权重 · 常驻实测 1.9G
37ms
单条文本 embed (经KAP全链)
text/codeimagevideoaudio交错混合 <|image|>
MRL 128/256/512/7688K ctxbf16 专用 (fp16 NaN)
② vs 现役 WeMM-Embedding-2B
| 维度 | WeMM-2B (现役缺省) | EmbeddingGemma-2 (本批新增) |
|---|---|---|
| 模态 | 文/图/视频/VisDoc（无音频） | 文/码/图/视频/音频/交错 |
| 参数 / VRAM | 2B · ~8G 档 (GPU2 QC卡) | 740M · ~3.5G 档 (GPU0 3060Ti) |
| 维度 / MRL | 2048 (64..2048) | 768 (128..768) |
| 榜单强位 | MMEB-v2 2B档第一 77.9 | MSEB 声音检索 69.5 · 代码 78.7 |
| 调度 | 同优先级 p2 · idle 10min 释放 | 同左 (平级 demo, 缺省仍是 wemm) |
③ 跨模态检索 showcase — 真实 KMC 管线资产库
索引库 = 4角色TR + 2场景图 + 2成片镜头(mp4) + 1台词语音(wav) · 全部向量化入库 2.2s · 查询走文搜全库
角色
阿猫 正面 TR
角色
白足 TR
角色
华清 TR (.1)
场景
S1 场景图 2560×1440
场景
S2 场景图 2560×1440
镜头
EP01-S1-A1 成片 3.8M
镜头
EP01-S2-A1 成片 2.2M
voice_S04.wav
台词
S04 台词语音 4.9s
Q1 「一个女性角色的人物设计图」
#1
+0.6071
dialogue
voice_S04
#2
+0.5738
scene
scene_S1
#3
+0.5654
character
char_amao_front
Q2 「户外自然风景的场景环境」
#1
+0.6388
scene
scene_S1
#2
+0.6365
scene
scene_S2
#3
+0.6319
dialogue
voice_S04
Q3 「有人说话对白的声音片段」
#1
+0.7017
dialogue
voice_S04
#2
+0.5961
shot
shot_ep01-s2-a1
#3
+0.5889
character
char_baizu
判读: Q3 台词语音 top-1 (+0.70) 为音频臂关键证据; Q2 双场景图包揽 top-2; Q1 音频/场景/角色分差 0.04 属语义边界样本 (查询未限定模态时音频全段语料占优)。
④ KAP 接入架构
调用方engine 参数缺省=wemm
→
KAP :10588/api/production/embedding/*
→
GpuScheduler按需拉起 · idle 10min 释放
→
sidecar :8152/opt/eg2 三件套
→
GPU0 3060Tieg2_role=AUX_LIGHT
渲染/QC 双 3090 零打扰; 与 wemm 完全同构的 allocate/release/status/embed/similarity 五端点, engine 白名单分流, 无 fallback。
⑤ E2E 验收 (KAP 全链实测)
| # | 用例 | 结果 |
|---|---|---|
| A | 缺省 engine → wemm (向后兼容, dim 2048) | ✓ engine=wemm-embedding dim=2048 |
| B | engine=embeddinggemma-2 经调度器自动拉起 | ✓ dim=768 · 37ms · model=embeddinggemma-2 |
| C | eg2 下 dimension=2048 | ✓ 400 MRL维度守卫 (128/256/512/768) |
| D | 非法 engine | ✓ 400 invalid-engine + 白名单回显 |
| E | status 双键并列 | ✓ wemm + eg2 各自 health JSON |
| F | 跨模态 similarity 文→图 经 KAP | ✓ 排序正确 (文本0.76 > 图0.49) |
⑥ 消费配方 (一行接入)
# 文搜全库 (KAP 路由, 自动走 GpuScheduler 按需拉起, 禁直连 :8152) curl -X POST http://127.0.0.1:10588/api/production/embedding/similarity \ -H 'Content-Type: application/json' -d '@query.json' # query.json = {"engine":"embeddinggemma-2", "query":{"text":"task: search result | query: 战斗场面"}, # "docs":[{"image":"/p/shot.png"},{"video":"/p/shot.mp4"},{"audio":"/p/voice.wav"}], "dimension":256} # mode: "query"(自动加查询前缀) | "document"(自动 title: none, 已带 title 不二次包裹)
⑦ 交付清单
✓ sidecar 三件套 /opt/eg2/ (eg2_server.py + kap-eg2.sh + venv) — 五模态冒烟全过
✓ KAP commit 49bddf00 (GpuScheduler 注册 + 路由 engine 分流 + 11 单测) — 39/39 全绿 · tsc 0 错 · build ✓
✓ 权重 SHA256 验真 = HF LFS OID 197a32965d4b1105… ✓
✓ 缺省路径零变化 (不带 engine 的请求与割接前行为等价)
✓ 研究报告 research.md 同目录 · 检索库与查询结果 showcase_result.json 可复算
声明: agent 自动指标 = 预筛与展示, 非人工终审 · 引擎为平级 demo 定位, 现网缺省仍是 wemm-embedding, 显式 engine=embeddinggemma-2 才走本引擎 ·
页面生成器幂等覆盖 (说「刷新」重生成) · 2026-10-11 KMC 管线资产出镜: 阿猫/白足/华清/EP01 成片片段