👁 qwen-eye 引擎平价验收 · 终报

2026-08-27 · ep-cat-worker-001 标准 28 对(20 正对照 + 8 交叉负)· 三帧多数票 ≥2/3 · 阈值 0.7 · 干净协议=逐任务清缓存
glm-4.6v
正对照 19/20 · 负拦截 0/8 · 一致率 67.9%
判别器失效:负对全票放行
glm-5.3-flash
正对照 14/20 · 负拦截 2/8 · 一致率 57.1%
唯一有真拦截的臂(严判向)
qwen-eye ★生产默认
正对照 12/20 · 负拦截 2/8 · 与历史偏差 100% 复现
高确定性 · 偏差方向已知
⚠️ 数据有效性事故(已修复归档)
初版实验的 8 个交叉负对照全部命中同图正对照的判定缓存(键不含问题文本维度,TTL 24h)——4.6v/local 逐帧完全回声 8/8、flash 7/8。初版「负拦截」列全部作废,「三臂集体放行 neg S4-02」等结论一并撤销。
修复:fixbatch-005 1a451a5 键加引擎维度 → fixbatch-006 8bd84c6 键加问题指纹(三元 sha:engine:q16)→ 合入主树 8bef713(42 测试绿)。干净重跑后才有本页矩阵。

一 · 最终成绩矩阵

臂正对照 pass(应过 20)负拦截 fail(该拦 8)判别一致率失败模式
glm-4.6v19/200/867.9%松判失效:7 个负对全票放行(含镜像角色 S1-01→S4-01)
glm-5.3-flash14/202/8(S5-03→S8-01、S1-02→S2-01)57.1%严判:6 个正误杀 + 严格拦截
qwen-eye(local)12/202/8(S1-01→S4-01、S3-01→S1-02)50%偏严向 8 个偏差,与 12 天前历史 100% 复现
结论 A · 生产默认不动
qwen-eye 免费、内网、确定性最高(历史偏差零翻转),偏严方向已知可控——宁可错杀可人工复核,不可漏放崩坏帧。
结论 B · flash 获顶班资格
hosted 可选臂保留:GPU 让位窗口 / eye 故障临时顶班 / 审核收紧场景。4.6v 出局。
结论 C · 多臂集成不做
误差相关性过高:AND 门 15/28 全面劣化、多数票仅持平最佳单臂且无真互补。
关于「最稳」的限定
复现证明的是确定性而非正确性——两次跑共享判据风格,系统性偏差会自我复制。「准不准」需人工裁决环(见下)。

二 · 循环性质询:「样本会不会就是按 eye 的口味筛出来的?」

Kai 的质询:

"eye 最稳:8 个误杀与 12 天前历史 100% 复现,跨 GPU 零翻转。——会不会是因为你这个测试样本就是 qwen-eye 之前判断得出的?"

时间线查证(素材先于眼睛一个月)
2026-07-04
P11 视频渲冻结(文件 mtime 铁证),此后从未重渲
2026-07 全月
P12/P13/P14 完成、成片交付——当时管线里还没有任何 qwen-eye 门
2026-08-15
qwen-eye 实验首次建档(EXPERIMENT.md),重渲闭环明确标注为「未来计划」,未执行
2026-08-27
平价验收:正对照 = 该集 全部 20 个镜头,零挑选自由
✅ 选择循环不成立:不存在"用 eye 筛过的样本考 eye"。
⚠️ 但质疑揭示两个真实风险面,均采纳更正:
① 标签是构造性的
"同镜头⇒应过"出自 shot-list 结构而非人工确认渲染忠实度。若渲染本身糊/暗/漂移,judge 判 fail 是对的——所以:
更正措辞:8 个"误杀" → 8 个"引擎偏差复现"。若多数是真缺陷,排名反转:eye 反而是三臂中最敏锐的门。
② 复现 ≠ 正确
两次跑共享模型家族与相似判据(spec 对照式),系统性偏差会精确自我复制。100% 复现的价值是门控行为可预期。且两次 harness 并不同构(5帧/富prompt vs 3帧/裸spec),落点仍一致 ⇒ 偏差长在感知层不在测试装置。

三 · eye 的 8 个偏差复现镜头 · 人工可裁证据页

每镜头:规格文本 → 今天三臂投票 → 08-15 历史判据 → 逐帧置信度 → 帧图。请过目裁定:真缺陷 or 假警报?

S1-01 景别 WS · 运镜 跟随 · 主体 引导线 | 情绪 疏离 / 疲惫基线

today eye: PASS 1/3 flash PASS 0/3 4.6v PASS 3/3 08-15 历史: FAIL
S1-01-f0.jpgS1-01-f2.jpgS1-01-f4.jpg

今天逐帧置信度: 0.15 0.15 0.92 (≥0.7 视为过)

08-15 判据摘要: 景别为中景而非特写,运镜为固定而非推进,构图为中心而非三分法,且场景为地铁站而非出租屋,内容完全不符。

像素/交叉证据: S1 场景漂移:规格地铁站台,渲染为室内浅墙 — 08-15 像素证据(orange 占比/颜色分布)独立佐证

S1-02 景别 MCU · 运镜 固定 · 主体 三分法 | 情绪 天真揭示 / 无奈共情

today eye: PASS 0/3 flash PASS 2/3 4.6v PASS 3/3 08-15 历史: FAIL
S1-02-f0.jpgS1-02-f2.jpgS1-02-f4.jpg

今天逐帧置信度: 0.10 0.15 0.10 (≥0.7 视为过)

08-15 判据摘要: 内容严重不符:观察为地铁站台男孩与猫互动,SPEC为办公室橘猫惊醒;景别观察为中景,SPEC要求近景转远景;运镜观察为固定,SPEC要求缓慢拉远。

像素/交叉证据: 同上,S1 场景漂移序列成员

S3-01 景别 FS · 运镜 固定 · 主体 引导线 | 情绪 唯一温暖光源 / 沉默日常

today eye: PASS 0/3 flash PASS 1/3 4.6v PASS 3/3 08-15 历史: FAIL
S3-01-f0.jpgS3-01-f2.jpgS3-01-f4.jpg

今天逐帧置信度: 0.15 0.10 0.15 (≥0.7 视为过)

08-15 判据摘要: 观察显示主体居中且无前景肩膀,与SPEC要求的过肩及三分法构图不符;且场景为便利店而非车厢,内容完全不匹配。

像素/交叉证据: 构图类偏差:LTX/H3 引擎不守三分法规格的已知行为

S3-02 景别 MCU OTS · 运镜 缓慢推进 · 主体 三分法 | 情绪 第一次被看见 / 温暖微光

today eye: PASS 0/3 flash PASS 2/3 4.6v PASS 2/3 08-15 历史: FAIL
S3-02-f0.jpgS3-02-f2.jpgS3-02-f4.jpg

今天逐帧置信度: 0.10 0.15 0.15 (≥0.7 视为过)

08-15 判据摘要: 运镜观察为固定镜头,与SPEC要求的缓慢推进不符;主体位于画面正中央,不符合SPEC要求的三分法构图。

像素/交叉证据: 构图类偏差(同上)

S3-03 景别 INSERT CU · 运镜 缓慢推进 · 主体 三分法 | 情绪 希望符号首次登场 / 种子埋下

today eye: PASS 0/3 flash PASS 3/3 4.6v PASS 2/3 08-15 历史: FAIL
S3-03-f0.jpgS3-03-f2.jpgS3-03-f4.jpg

今天逐帧置信度: 0.10 0.10 0.10 (≥0.7 视为过)

08-15 判据摘要: 构图不符合SPEC要求的三分法,观察显示主体位于画面正中央

像素/交叉证据: 构图类偏差(同上)

S4-01 景别 CU · 运镜 缓慢推进 · 主体 三分法 | 情绪 极性反转起点 / 愣住 / 第一次被对它说话

today eye: PASS 1/3 flash PASS 2/3 4.6v PASS 2/3 08-15 历史: FAIL
S4-01-f0.jpgS4-01-f2.jpgS4-01-f4.jpg

今天逐帧置信度: 0.15 0.85 0.15 (≥0.7 视为过)

08-15 判据摘要: 运镜方向错误:SPEC要求缓慢推进,观察为拉远;景别不符:SPEC为CU,观察结尾已达中近景且起始为极近特写,整体趋势与SPEC相反。

像素/交叉证据: 08-15 OCR 交叉验证:猫爪按便利贴 "Don't forget to eat!" 内容真实存在;fail 主因疑在景别/构图维度

S7-02 景别 CU · 运镜 缓慢推进 · 主体 三分法 | 情绪 情感爆点 / 温热传来 / 泪终于落下(不是孤独的泪)

today eye: PASS 1/3 flash PASS 3/3 4.6v PASS 1/3 08-15 历史: FAIL
S7-02-f0.jpgS7-02-f2.jpgS7-02-f4.jpg

今天逐帧置信度: 0.95 0.10 0.10 (≥0.7 视为过)

08-15 判据摘要: 观察显示为明显的推镜头(全景至特写),而SPEC要求固定镜头;观察显示主体始终居中,而SPEC要求三分法构图;观察显示角色捧鸡蛋,与SPEC描述的抱紧耳朵孤独情绪不符。

像素/交叉证据: 三臂共同不喜欢的镜头:eye FAIL(1/3)、flash FAIL、4.6v 也是三臂唯一正对照 FAIL

S8-01 景别 MCU→WS→EWS · 运镜 缓慢拉远 · 主体 引导线 | 情绪 主题升华 / 万家灯火融为一体 / 闭环

today eye: PASS 1/3 flash PASS 2/3 4.6v PASS 3/3 08-15 历史: FAIL
S8-01-f0.jpgS8-01-f2.jpgS8-01-f4.jpg

今天逐帧置信度: 0.95 0.15 0.10 (≥0.7 视为过)

08-15 判据摘要: 景别为近景/远景而非INSERT特写,运镜为拉远而非固定,且内容未体现闹钟/地铁等蒙太奇元素,主体位置也不符合三分法。

像素/交叉证据: 夜景远景:主体微小、暗部占比高 —— 景别容差判定的边缘样本

四 · 修复链与方法论存档

提交链(均已合主树 master,本地测试独立复核通过):
4c436b5 fb004 engine adapter 注册表(local 默认不变+hosted flash 臂)→ 1a451a5 fb005 缓存键+引擎维度(39 绿)→ 8bd84c6 fb006 缓存键+问题指纹(42 绿)→ 合并 8bef713

防回声方法论: 凡同图跨任务批量判定(验收/回归/复测),逐任务清进程内 cache 或升级库版本后再跑;采信负对照数据前先跑 ECHO 校验(同任务逐帧结果 == 同帧首触结果?)。

后续建议: 一次性人工裁决环——本页第三节逐镜头标 "真缺陷/假警报",回收即得三臂真正的准确率矩阵;样本量警告:n=28 单集,方向性参考非定论。
协议记录: ~/shared/qwen-eye-exp/EXPERIMENT_PARITY_20260827.md · 数据: results/parity_*.jsonl · 生成: Hermes(qwen-eye-parity-report.html)