# Bonsai 2 27B 本地部署 × qwen-eye 视频理解对比 — 2026-09-18

## 结论速览

**Bonsai 2 27B 视觉理解质量超预期, 同卡位跑赢 qwen-eye 现役臂;但吞吐慢 ~2.2×(thinking 模式烧 token), JSON 协议遵从弱于 qwen-eye。**

| 维度 | Bonsai 2 27B (ternary 1.72bpw) | qwen-eye (UD-Q4_K_XL ~5.2bpw) |
|---|---|---|
| 模型体积 | **5.95 GB** (LLM) + 0.63GB mmproj | 17.9 GB + mmproj-F16 |
| 底模 | Qwen3.8-27B (同源!) | Qwen3.8-27B |
| L1 OCR (便利贴文字) | ✅ "Don't forget to eat!" | ✅ 同 |
| L2 场景描述+AIGC缺陷 | ✅ **主动指出背景人物手部/面部畸变** | ❌ defects="无" (漏检) |
| L3 夜景主体定位 | ✅ 屋顶小人剪影 + 黄昏光线方向 | ✅ 同级 (人物"倚靠"vs实际坐姿,微差) |
| L4 四格跨格一致性 | ✅ 逐格服装差异+道具+红衣小孩全中 | ✅ 同级, 服装细节稍粗 |
| 视频5帧观察 (打工人瞄) | ✅ 白猫+橘猫双主体、字幕、双水印、固定机位全中;按帧序直读 | ✅ 同级 + **主动发现帧序乱序并重排时间线** (更聪明) |
| 视频综合判定 | ✅ JSON 全字段, 标题匹配/缺陷/评分齐 | ✅ 同级, 质量分 7/10 |
| 单图耗时 | 15-24s (~1000-1400 out tok, thinking) | 8-9.5s (~450 tok, no-think) |
| 文本生成速度 | 62.8 tok/s (GPU1 3090) | — |
| prefill | 190 tok/s (图进 prefill) | — |
| JSON 协议 | 2/4 首发即解析 (需禁内引号提示+大 max_tokens) | 4/4 首发全过 |

## 关键定性发现

1. **同源降量实测**: Bonsai = Qwen3.8-27B 的 ternary 化 (1.72 true bpw, Apache-2.0, Prism ML 白皮书宣称保留 98.2% FP16 智能)。视觉塔独立 mmproj Q8_0 (0.63GB), 白皮书视觉分 A-OKVQA 89.34 vs FP16 89.87 (-0.5), 但**无任何视频基准**。
2. **细节观察力意外地好**: L2 场景图 Bonsai 是唯一指出背景路人 AIGC 畸变细节的臂 (qwen-eye 判"无"); L4 四格图逐格服装/道具/联动角色全数识别。
3. **视频理解差异**: qwen-eye 拿到 5 帧后主动检测到帧序乱序 (7s 帧排在最后) 并按时间戳重排叙事 — 推理行为更"聪明"; Bonsai 按给定顺序直读但描述更细 (水印/字幕/双猫时序)。两者对运镜/景别/一致性判定一致 (固定机位/中景/跨帧一致)。
4. **吞吐账**: Bonsai thinking 模式单图 1000-1400 tok 输出 (62.8 tok/s ≈ 20s); qwen-eye no-think 450 tok (~9.5s)。**同题成本 ≈2.2×**。若关 thinking (reasoning_budget) 可再提速, 未测。
5. **协议弱项**: Bonsai 作为 thinking 模型, 复杂 JSON 任务需 ①prompt 明示"禁止字符串内英文双引号" ②max_tokens ≥8000 (防 reasoning 吃光预算返空 content, 本批两次踩中)。qwen-eye 4/4 首发即过。

## 部署事实卡 (本次实测)

- 权重: `prism-ml/Ternary-Bonsai-2-27B-gguf` (HF/ModelScope 同名官方镜像)。**PTQ1_0=5.95GB**, PQ2_0=7.21GB, mmproj-Q8_0=629MB。下载走 ModelScope 直连 (20-68MB/s), hf-mirror 仅 1-3MB/s。
- ⚠️ **aria2c 跨源 -c 续传会拼出损坏文件** (同尺寸不同 sha256, 加载后输出乱码 token '3333...')。**换源必须重下, 且下载后必验 SHA256** (HF LFS oid 为准: PTQ1_0 = 53107f53...ee3)。
- 运行时: **必须 PrismML llama.cpp fork** (stock llama.cpp 不认 PTQ1_0/PQ2_0 packing)。release 预编译 linux-cuda-12.8 包在本机 (driver 580.173/CUDA 13.0, sm86) 直接可用。
- 启动 (GPU1, :8127):
  ```bash
  llama-server -m Ternary-Bonsai-2-27B-PTQ1_0.gguf --mmproj *-mmproj-Q8_0.gguf \
    -ngl 99 -fa on -c 16384 --jinja --temp 1.0 --top-p 0.95 --top-k 20
  ```
  显存占用 ~8.4GB (13.7GB 已用含 ComfyUI 常驻 5.3GB), **与 qwen-eye q4 (GPU2, 21.8GB) 双卡并行无冲突**。
- 采样参数必须按官方 (temp 1.0/top-p 0.95/top-k 20); 乱码 token 首先查文件 sha256 而非怀疑 GPU。

## 资产位置

- 工作区: `/home/kai/shared/bonsai-vs-qweneye/` (bonsai_arm.py, fix_round.py, results/, llama-server.log)
- 双臂原始输出: results/nl_{bonsai,qweneye}.json, video_{bonsai,qweneye}.json
- 对照真值源: `~/shared/qwen-eye-exp/` (nltest/ 4图+八维prompt, frames_catvideo/ 打工人瞄5帧)

## 建议 (供 Kai 决策)

1. **不替换 qwen-eye**: Bonsai 视觉质量同级偏细但 2.2× 慢 + JSON 协议弱, 且 qwen-eye 已深度接入 9 触点。Bonsai 优势在 5.95GB 体积 (可上 3060Ti/笔记本) 与 262K ctx。
2. **候选场景**: ①3060Ti (8GB) 边缘部署视觉判定 — 目前唯一能跑的 27B 级 VLM 路线; ②超长上下文 (262K) 视频全帧序列分析实验位。
3. 若要继续挖: 测 `--reasoning-budget` 关思考后的速度/质量权衡; PQ2_0 packing (prefill 快 ~2×) 对视频多帧 prefill 的收益。