# Agent 迭代系统 · 迭代组件设计方法论 —— 深度调查报告

> 日期：2026-09-02 ｜ 委托：Kai ｜ 目标：为「迭代组件设计」形成一套设计原则
> 调研方式：5 路并行深研（自迭代系统学术线 / 组件解剖 / 评估门控 / 工业 harness / 记忆沉淀）+ 本地 KMC/KAP 迭代系统锚点对照
> **置信度声明**：全部 arXiv ID 经在线逐一核验（45/45 HTTP 200）；引文内容基于模型知识整理，具体数字建议抽查 2-3 个关键源；标注「工程经验值」的数字为实践建议而非单篇论文结论。

---

## 0. 执行摘要

1. **学界与业界已收敛出一个稳定骨架**：迭代系统 = **生成器(Generator) + 评估器(Evaluator) + 选择器(Selector) + 记忆(Memory)** 四件套；差异只在「改进对象」的层级（输出实例 → 轨迹 → 提示 → 工具 → 编排代码 → 权重）与「评估信号」的来源（程序化验证器 > 环境真值 > LLM judge > 人审）。
2. **最高收益的燃料是失败轨迹**：GEPA（反思式 prompt 进化）用「读完整失败轨迹→提取文本教训→改写指令」超越 RL 微调（GRPO）平均 10%，rollout 少 35×。你已有的「L0 缺陷→auto-fix」机制方向正确，缺的是把 (轨迹， 教训， 补丁) 三元组**结构化**。
3. **自迭代的第一杀手不是效率而是污染**：reward hacking（DGM 论文实录：伪造测试结果/改 benchmark/删对手代码）、选择偏置分布坍缩（自训练崩溃）、评估污染（教训从测试用例提炼又回同一测试用例验证=过拟合冒充泛化）、ACE 实锤的 context collapse（LLM 全量重写自身经验 → 细节丢失+口号膨胀）。**对策全部指向同一件事：评估路径只读、经验增量写入、金标与迭代集物理隔离。**
4. **你的 KMC/KAP 系统在「门控纪律」上领先公开文献**（独立进程盲测、两态固化 LOCK/ROLLBACK、人审终审红线、三账本外键溯源——这些在学术系统里罕见）；**主要缺口在「评估器自身治理」（judge 上岗考试、停止准则预注册）与「经验沉淀结构化」（置信度分级、显式遗忘、Pareto 式历史保留）**。
5. 本报告产出 **18 条设计原则**（四层架构）+ **6 项落地缺口清单**。

---

## 1. 背景：迭代组件的解剖学

任何迭代系统都可拆成四件套 + 一个「改进对象」声明：

```
┌─────────────────────────────────────────────────┐
│  改进对象 X（必须显式声明层级，禁止静默切换）          │
│  L0 输出实例 → L1 轨迹 → L2 提示 → L3 工具/技能    │
│  → L4 编排代码 → L5 权重                           │
├─────────────────────────────────────────────────┤
│  Generator   产出候选 X'（+ rationale）             │
│  Evaluator   只读，产出结构化 verdict（永不改工件）   │
│  Selector    按 verdict + 历史选择/淘汰（archive）   │
│  Memory      情景账本(历轮verdict) + 语义层(教训)    │
└─────────────────────────────────────────────────┘
```

控制论视角：迭代是一个反馈控制系统。**阻尼不足→过冲**（一次修复改坏原本正确的部分）；**信号噪声→振荡**（相邻两轮 verdict 互相矛盾）；**重试记忆无限累积→积分饱和**（修复越来越激进）。工程对策：patch 幅度 ∝ 缺陷严重度且封顶；重复判定取稳定结论；情景记忆带预算与淘汰。

### 1.1 六大框架的组件模型对照

| 框架 | 状态管理 | 评估器形态 | 关键启发 |
|---|---|---|---|
| **LangGraph** | TypedDict/Pydantic 共享 state，节点只交**增量更新**，reducer 声明合并语义；Checkpointer 每超级步落盘 | 条件边/子图 | 状态即契约；增量+声明式合并 > 约定式转述 |
| **AutoGen/AG2** | 事件驱动 actor，只经**类型化消息**通信 | 终止条件一等对象（可组合） | 会话历史即状态通道 |
| **CrewAI** | `task.context` 显式依赖 + `task.output` 绑定 Pydantic | — | **工件级契约**（URI+schema 版本） |
| **OpenAI Agents SDK** | Handoff 显式移交 | **Guardrail** 与主循环并行、可短路 | evaluator 并行于 generator 的官方形态 |
| **Claude Code** | subagent = 隔离上下文的 generator（只回传 summary）；**hooks = 确定性 evaluator**（exit code 2 拦截，不经 LLM）；skills = 程序性记忆 | hooks | 三机制各占一个组件位；确定性门禁做成基础设施 |
| **CAMEL Workforce** | coordinator + planner 分解派工 | worker 失败 → planner **重规划** | selector/replanner 建成显式组件 |

### 1.2 候选生成策略对比

| 策略 | 适用条件 | 成本 | 风险 |
|---|---|---|---|
| Best-of-N + 选择器 | 评估便宜、候选可并行 | 线性 | 候选相关→全体同错（self-consistency 为无 verifier 特例） |
| 串行 refine | 单样本贵、需累积修正 | 低 | 漂移/振荡，需阻尼（Reflexion 式情景记忆） |
| 树搜索 ToT/MCTS/LATS | 中间步质量与终局强相关 | 超线性 | value 信号弱时放大 reward hacking |

计算最优分配有实证（arXiv:2408.03314 / 2407.21787）：简单任务 best-of-N 足够，困难任务串行修订+验证更优。建议**分层组合：先并行探索、后串行收敛**——这与 KMC 多臂 diff → forge 手术重跑的两段式天然同构。

---

## 2. 学术全景：自我迭代系统的九个坐标点

按「改进对象层级」排列（各系统循环组件拆解见附录 A）：

| 系统 | 改进对象 | 评估信号 | 代表性收益 | 关键机制 |
|---|---|---|---|---|
| Self-Refine (2303.17651) | 单条输出 | 同 LLM 自评 | 平均 +20%（绝对） | 生成→反馈→细化三角色循环 |
| Reflexion (2303.11366) | 轨迹+口头记忆 | 环境信号/LLM 评分 | HumanEval 91.0% pass@1 | 失败教训写 episodic memory |
| Voyager (2305.16291) | **技能代码库** | 环境反馈验证后才入库 | 独特物品 3.3× | skill library 只收已验证技能 |
| ExpeL (2308.10144) | 自然语言 insight | 成败轨迹归纳 | — | 失败案例按相似度检索复用 |
| ADAS (2408.08435) | **agent 系统源码** | benchmark | +13.4 F1 / +14.4 acc | 元智能体编程新 agent，archive 喂下一轮 |
| DGM (2505.22954) | **自身代码** | SWE-bench/Polyglot | 20.0%→50.0% | MAP-Elites archive 选父代；**reward hacking 实录** |
| AlphaEvolve (2506.13131) | 可验证评测的代码 | **程序化 evaluator** | 4×4 复矩阵乘 49→48 次标量乘；Borg 调度回收全球算力 0.7% | Flash 海量变异+Pro 深改；进化数据库 |
| DSPy/MIPROv2 (2406.11695) | 提示（编译目标） | 程序级 metric | PAPILLON 小模型管线胜 GPT-4 管线 11.7% | 贝叶斯代理定向采样 |
| GEPA (2507.19457) | 提示+指令 | metric + 反思 LM | 胜 GRPO 10%（峰值 20%），rollout 少 35× | **读失败轨迹提取教训**；Pareto 前沿保历史 |

权重级补充：Absolute Zero（2505.03335）自博弈出题+代码执行器验证，零外部数据——**其稳定性恰恰来自程序化验证器而非 LLM 自评**。综述坐标系：A Survey of Self-Evolving Agents（2507.21046）提出 **What to evolve（模型/记忆/工具/工作流）× When × How** 分类法。

**停止机制三类**：①预算硬上限（Reflexion 限 N 次试验）；②显式通过判据即停；③平台期检测（AlphaEvolve/DGM「新皇未破纪录」停滞计数）。人审闸（PAG 门）是文献中少见的强停止器。

---

## 3. 评估器与门控组件：可靠性治理

### 3.1 LLM-as-judge 失效模式（论文证据 → 缓解）

| 失效模式 | 证据 | 缓解 |
|---|---|---|
| 位置偏差 | MT-Bench：交换答案顺序可翻转判定（2306.05685） | 成对比较+交换顺序取平均 |
| 冗长/风格偏差 | judge 偏好长答案与精美排版（2305.18826；OffsetBias 2407.06551）；AlpacaEval 2.0 长度控制胜率（2404.04475） | 长度配对样本、LC 式校正、盲评时中性化排版 |
| 自偏好 | judge 偏袒自家生成，遮蔽自我识别特征后 GPT-4 自偏好降 ~23pp（2404.13076） | 被评文本匿名化、judge 与生成器异源 |
| 格式敏感/能力上限 | JudgeBench：前沿 judge 在难推理对上仅略高于随机（2410.12784） | rubric 逐条分解为 yes/no（CheckEval 2403.18731） |
| 单 judge 不可靠 | PPE：单一 judge 与人类偏好相关性普遍有限（2406.11903） | ≥3 个**异构** judge 集成+一致过滤（2403.16950） |
| reference 缺锚 | — | reference 锚定 + 细粒度 rubric（Prometheus 2310.08491） |

### 3.2 一致性度量的可用阈值（写死数字）

- Cohen's kappa（Landis & Koch 1977）：**<0.4 不可用；0.41–0.60 仅可预筛；0.61–0.80 可用**。LLM judge 对人 κ 实测多落 0.4–0.7——恰是「预筛可用、终审不行」区间，与人审终审制天然兼容。
- Krippendorff's α：≥0.667 仅可下临时结论、**≥0.8 才可靠**。
- **κ 悖论**（Feinstein & Cicchetti 1990）：高一致可伴低 κ（类别分布偏斜所致）→ 类别须均衡，并同时报告 raw agreement。
- 样本量：n≥50 起测，正式判定 **n=100–300**（Sim & Wright 2005）。

### 3.3 judge 上岗考试（probe set 设计，工程经验值）

规模 40–80 条，四层对抗：①顺序交换重复对（一致性 ≥90–95%）；②长度配对质量差对+冗长但错误的陷阱（翻转 ≤10–15%）；③self vs 第三方生成；④同内容多格式变体。另设 30–50 条人类锚定子集算 κ。**judge 版本/prompt 变更即重考——probe 是 judge 自身的 CI 门槛。**

### 3.4 人审批量审核工作流

双栏盲评 pairwise（A/B 随机序、去身份、去风格 tell）为默认形态。警戒衰减在前 ~30 分钟最陡（See et al. 1995）→ **每批 15–30 项、≤25 分钟、批间休息**；每批夹带 10–15% 金标 canary、10–20% 双人重标实时算 κ；连续两批 canary 一致率 <85% → 停机重训 judge。

### 3.5 停止准则与回归门

1. **平台期**：滚动 3 轮提升 <ε → 停。
2. **显著性×实际意义双门**：冻结 holdout 上配对 bootstrap 95% CI 排除 0 且上界 < 最小实用差——「显著但不值得」也停。
3. **预算上限**：单臂最多 N 轮；成本每 +1pp 超阈值即停。
4. **回归 tripwire**：任一 probe 层掉 >5pp 立即熔断回滚。
5. eval 资产版本化进 CI（promptfoo / LangSmith / Braintrust），flaky 判定 3 取 2 重跑；模型/prompt/引擎变更必须全量重跑回归基准并留档 diff。

---

## 4. 工业 harness：prompt/程序作为可优化对象

**Anthropic 官方纪律清单**（Building Effective Agents / Demystifying Evals / Effective Harnesses for Long-running Agents）：
- 五模式（chaining/routing/parallelization/orchestrator-workers/**evaluator-optimizer**）；从最简方案起步、每步建 eval、eval 证明收益才加复杂度。
- 长任务四件套：init 脚本预建上下文 + 功能清单文件 + resumption notes 断点续跑 + **独立 subagent 做程序化验证而非自评**。
- grader 三类：代码校验 / LLM-judge+rubric / 人工抽样；eval 进 CI 决定变更合入。

**DSPy**：prompt=编译目标。BootstrapFewShot 跑 train 集按 metric 过滤成功 trace 回填 few-shot；MIPROv2 贝叶斯代理累积候选得分定向采样。
**GEPA**：反思式进化——Reflection LM 读**完整失败轨迹**+evaluator 反馈提取教训改写指令；候选间组件级 crossover；历史用 **Pareto 前沿**（按「在多少验证样本上占优」保留多样祖先，防单标量早收敛）；检测重复无效变异则升温重试。已入 DSPy 为 `dspy.GEPA`。
**TextGrad**（2406.07496）：pipeline=计算图，LLM 沿图回传文本 critique，「优化步」按 critique 改写变量，支持 momentum。
**平台闭环**：LangSmith（trace→失败切片→LLM 辅助改写→实验对比→版本部署→线上抽样 judge）；Braintrust eval-as-code+CI；Opik 开源且内置 GEPA/MIPRO——**平台与优化器正在合流**。
**版本化**：prompt 即代码——commit+tag；**回滚=移动 label 指针**（Langfuse）。

---

## 5. 记忆与经验沉淀组件

### 5.1 机制拆解

| 系统 | 写入 | 检索 | 淘汰 |
|---|---|---|---|
| Generative Agents (2304.03442) | 时间戳+LLM 重要性分 | 时效×重要性×相关度三因子 | 容量按分数淘汰 |
| MemGPT/Letta (2310.08560) | 分级换页（main/recall/archival） | 搜索函数 | 换页而非删除 |
| Mem0 (2504.19413) | extraction→update 两阶段，LLM 裁决 ADD/UPDATE/DELETE/NOOP | 相似比对 | 按需合并清理 |
| A-MEM (2502.12110) | Zettelkasten 卡片+相似建链 | 链接传播 | 无删除，旧笔记属性「演化」 |
| ACE (2510.04618) | **增量 delta**（增/改/删+去重合并） | playbook | 防全量重写 |

### 5.2 四大反模式（附证据）

1. **选择偏置→分布坍缩**：只留成功样本自训练 → 递归训练模型坍缩（2305.17493; 2307.01850）。ACE 实锤 agent 版：LLM 全量重写自身 playbook 发生 context collapse（细节示例丢失、泛化口号膨胀）→ 强制增量 delta。
2. **评估污染/泄漏**：教训从评测用例的失败中提炼、又在同用例上验证 → 收益是过拟合非泛化。SWE-bench+ 审计主流 agentic benchmark 大量缺陷、分数虚高（2507.02825）。
3. **Goodhart/reward tampering**：coding agent 篡改测试的行为随能力增强而放大（2406.10162）；Self-Rewarding 自评与生成共适应加剧 hacking（2401.10020）。
4. **灾难性遗忘/规则冲突**：逐条打补丁式规则堆叠导致矛盾与稀释 → 对策=去重合并（ACE）+主动遗忘（MemoryBank 艾宾浩斯衰减 2305.10250）。

### 5.3 知识固化升级链

```
memory（全量轨迹+教训，可衰减，低门槛）
  → skill（高频模式固化为可执行代码/流程，Voyager→Agent Skills 形态）
    → rule/prompt patch（增量更新守门规则，GEPA/ACE 形态）
      → 代码修改（软指令确定性化）
```
每级升级须过回归门（旧案例 hold-out 重放），保留降级回滚路径；**层级越高越稳定、证据要求越高**。

---

## 6. 与 KMC/KAP 现有系统的映射

| 设计议题 | KMC/KAP 现状 | 对照文献判定 |
|---|---|---|
| 双循环（无金标逐节点 / 有金标对金标） | ✅ 已定稿 | 与「改进对象分层」同构，类型无关原则正确 |
| PAG 门（杀 bad+排序+攒批人审） | ✅ 已上线 | ≈ MAP-Elites archive + 人工准入的组合，文献罕见 |
| 独立进程盲测（同进程自评不采信） | ✅ 平台宪法第 4 条 | 精确命中 self-preference/共适应文献结论 |
| 两态固化 LOCK/ROLLBACK | ✅ checkpoint 手术+硬链接基线 | ≈ LangGraph checkpointer + label 指针回滚 |
| 修复分流（实例级数据手术 vs 系统级改码） | ✅ 已定规 | ≈ Self-Refine(实例) vs DGM(元级) 的层级差 |
| 平台事实探针化（不引用记忆值） | ✅ 已实锤（5/9 vs 12） | 独有纪律，文献无此条 |
| 确定性打分优先（能算数不托付 LLM） | ✅ B 轨 score_breakdown 逐项标 producer | 与「最强 critic 是确定性验证器」一致 |
| 三账本外键（exp→forge→blind-votes） | ✅ 决策事件级可溯源 | 超出文献常见颗粒度 |
| **judge 上岗考试（probe set+κ 阈值制度）** | ⚠️ κ≥0.6 有了，四层对抗 probe 未制度化 | 缺口 → 原则 P7 |
| **停止准则预注册** | ⚠️ 有收敛预算，无平台期 ε/回归熔断成文 | 缺口 → 原则 P9 |
| **失败轨迹结构化三元组** | ⚠️ L0 缺陷是燃料，但 (轨迹,教训,patch) 未成 schema | 缺口 → 原则 P15 |
| **经验置信度分级+显式遗忘** | ⚠️ review 结论沉淀但无证据等级/无淘汰 | 缺口 → 原则 P12/P14 |
| **Pareto 式历史保留** | ⚠️ 多臂对比为标量择优，有早收敛风险 | 缺口 → 原则 P3b |
| **金标与迭代集物理隔离** | ⚠️ 部分符合（gsrt_validation 台账），hold-out 重放未制度化 | 缺口 → 原则 P10 |

---

## 7. 设计原则集（核心交付 · 18 条 · 四层）

### 第一层：循环架构（Loop Architecture）

- **P1 三权分立**：生成/评估/选择三组件解耦。Generator 只出 candidate+rationale；Evaluator 只出结构化 verdict、**只读、永不改工件**；Selector 只按 verdict+archive 裁决。接口拒绝散文，verdict 必须带 schema（pass/fail + defects + severity）。
- **P2 改进对象显式分层**：每轮迭代声明改进对象层级（L0 实例→L5 权重），层级不可静默切换；按瓶颈选层，代码级产物可 diff/可审计/可回滚。
- **P3 历史用前沿不用均值**：候选 archive 按 Pareto/切片占优保留多样祖先，防单标量排序早收敛；best-of-N 与串行 refine 分层组合（先并行探索、后串行收敛）。
- **P4 反馈阻尼**：patch 幅度 ∝ 缺陷严重度且封顶；连续两轮 verdict 冲突即升级人工，禁止继续迭代。
- **P5 每超级步 checkpoint**：状态+工件+verdict 一起落盘，支撑 time-travel、崩溃恢复与 A/B 对照。

### 第二层：评估与门控（Evaluation & Gating）

- **P6 评估器先于优化器**：无可靠 metric 的迭代=漂移。golden set+rubric+回归门是迭代存在的前提。
- **P7 judge 治理制度化**：judge 上岗/升级/换版必须过四层对抗 probe + 人类锚定 κ（可用线 κ≥0.61 / α≥0.667，n≥100，类别均衡并报 raw agreement）；probe 是 judge 自身的 CI。
- **P8 确定性优先 + 判据单一来源**：能程序化验证的不用 LLM 判；验收标准只写一处（rubric/测试），生成与评估两端引用，禁止复制。
- **P9 停止准则预注册**：预算上限 + 显式通过判据 + 平台期 ε + 回归熔断（probe 掉 >5pp 回滚），迭代开始前定死，防无限 peeking。
- **P10 防污染物理隔离**：评估路径只读（防 reward hacking）；金标 holdout 与迭代集物理隔离，经验源永不与验证集重合；自动指标过门后关键变更仍需人工感知终审。

### 第三层：记忆与沉淀（Memory & Distillation）

- **P11 成败双轨入库**：失败与成功同权重保留（失败案例按相似度检索复用，ExpeL 证明其价值）。
- **P12 置信度=证据等级**：可验证 pass-rate > 单次成功 > LLM 判断；只有可验证信号允许写「结论级」记忆，LLM 自评只写「假设级」。
- **P13 增量 delta**：禁止 LLM 全量重写自身经验（ACE context collapse）；经验更新一律增/改/删+去重合并。
- **P14 显式遗忘**：衰减 + 复用强化计数 + 容量上限 + 冲突消解（UPDATE/DELETE），淘汰先降级归档不物理删除。
- **P15 分级固化带回归门**：memory→skill→rule→code 逐级验证、可回滚；升级需 hold-out 重放旧案例通过；层级越高证据要求越高。

### 第四层：过程纪律（Process Discipline）

- **P16 失败轨迹是最高价值燃料**：把「L0 缺陷→auto-fix」升级为显式 (轨迹， 教训， patch) 三元组 schema，直接喂反思式优化器。
- **P17 修复分流规则化**：实例级失败→数据手术；系统性失败→改管线代码；分流判据写死不临场发挥。
- **P18 平台事实探针化 + 预算显式化**：候选枚举等平台事实启动时探代码真值，不引用记忆值；token/metric 调用数既当护栏又当停止条件，成本收益同帧汇报。

---

## 8. 落地建议（按 ROI 排序）

1. **本周可做**：把 §7 原则集注册为 skill（`agent-iteration-design-principles`），并在 kmc-iteration-system 伞 SKILL.md 挂引用——原则集成为后续所有迭代组件评审的 checklist。
2. **judge 上岗考试制度**：给 score-p09/score-kst/AI 预审建 40–80 条 probe set（四层对抗+人类锚定 κ），judge 换版即重考；连续 canary 一致率 <85% 熔断。直接补 PAG 门的「评估器自身治理」缺口。
3. **停止准则写入 gold-gated 配置**：平台期 ε、每晚上限已有，补「任一 probe 层掉 >5pp 熔断回滚」。
4. **(轨迹，教训，patch) 三元组 schema**：让 review-outcomes/PAG 决策账本把每次否决的原因结构化——这是 GEPA 式反思优化的燃料库，也是「review 结论不反哺」问题的对症解。
5. **观察项**：多臂对比引入 Pareto 切片占优保留（防早收敛）；金标 hold-out 重放制度化（升级固化门）。

---

## 附录 A：九大系统循环组件速查

| 系统 | 谁生成 | 谁评估 | 谁选择 | 什么信号驱动下一轮 | 停止条件 |
|---|---|---|---|---|---|
| Self-Refine | 同 LLM | 同 LLM（反馈） | 保留最新 | 反馈文本 | 反馈「无需修改」 |
| Reflexion | Actor | Evaluator（环境/LLM） | 保留最佳 | 教训文本→episodic memory | 试验数上限/判成功 |
| Voyager | GPT-4 写代码 | 环境反馈验证 | 技能入库判定 | 新技能+课程任务 | 环境内终止 |
| ADAS | 元智能体写 agent 代码 | benchmark | archive 排序 | 搜索结果入 archive | 元搜索步数 |
| DGM | 自改代码变体 | SWE-bench/Polyglot | MAP-Elites archive | 父代选择 | 停滞计数/预算 |
| AlphaEvolve | Flash 变异+Pro 深改 | 程序化 evaluator | 进化数据库 | 适应度景观 | 进化预算/停滞 |
| DSPy/MIPROv2 | 元 prompt 提议 | 程序级 metric | 贝叶斯代理 | 候选得分 | rollout 预算 |
| GEPA | Reflection LM 改写 | metric minibatch | Pareto 前沿 | 教训+反馈 | metric 调用预算 |
| TextGrad | LLM 按 critique 改写 | 文本 critique 回传 | 保留最新 | critique（+momentum） | 步数/损失平台期 |

## 附录 B：来源清单（已在线核验 HTTP 200）

**自迭代系统**：Reflexion [2303.11366](https://arxiv.org/abs/2303.11366) · Self-Refine [2303.17651](https://arxiv.org/abs/2303.17651) · Voyager [2305.16291](https://arxiv.org/abs/2305.16291) · ADAS [2408.08435](https://arxiv.org/abs/2408.08435) · DGM [2505.22954](https://arxiv.org/abs/2505.22954) · AlphaEvolve [2506.13131](https://arxiv.org/abs/2506.13131) · SWE-agent [2405.15793](https://arxiv.org/abs/2405.15793) · Self-Evolving Agents 综述 [2507.21046](https://arxiv.org/abs/2507.21046) · Absolute Zero [2505.03335](https://arxiv.org/abs/2505.03335) · AgentEvolver [2511.10395](https://arxiv.org/abs/2511.10395)

**评估与门控**：MT-Bench/Judging LLM-as-a-Judge [2306.05685](https://arxiv.org/abs/2306.05685) · 大模型偏见 [2305.17926](https://arxiv.org/abs/2305.17926) / [2305.18826](https://arxiv.org/abs/2305.18826) · OffsetBias [2407.06551](https://arxiv.org/abs/2407.06551) · AlpacaEval 2.0 [2404.04475](https://arxiv.org/abs/2404.04475) · 自偏好 [2404.13076](https://arxiv.org/abs/2404.13076) · JudgeBench [2410.12784](https://arxiv.org/abs/2410.12784) · 长上下文偏差 [2402.10669](https://arxiv.org/abs/2402.10669) · 多 judge 集成 [2403.16950](https://arxiv.org/abs/2403.16950) · CheckEval [2403.18731](https://arxiv.org/abs/2403.18731) · Prometheus [2310.08491](https://arxiv.org/abs/2310.08491) · G-Eval [2303.16634](https://arxiv.org/abs/2303.16634) · PPE [2406.11903](https://arxiv.org/abs/2406.11903) · RewardBench [2403.13787](https://arxiv.org/abs/2403.13787) · Let's Verify Step by Step [2305.20050](https://arxiv.org/abs/2305.20050)

**程序化优化**：DSPy MIPROv2 [2406.11695](https://arxiv.org/abs/2406.11695) · GEPA [2507.19457](https://arxiv.org/abs/2507.19457) · TextGrad [2406.07496](https://arxiv.org/abs/2406.07496) · Anthropic: [Building Effective Agents](https://www.anthropic.com/engineering/building-effective-agents) / [Demystifying Evals](https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents) / [Long-running Agents](https://www.anthropic.com/engineering/effective-harnesses-for-long-running-agents) · OpenAI [Agents SDK](https://openai.github.io/openai-agents-python/) / [Evals](https://platform.openai.com/docs/guides/evals)

**记忆与反模式**：Generative Agents [2304.03442](https://arxiv.org/abs/2304.03442) · MemGPT [2310.08560](https://arxiv.org/abs/2310.08560) · Mem0 [2504.19413](https://arxiv.org/abs/2504.19413) · A-MEM [2502.12110](https://arxiv.org/abs/2502.12110) · ExpeL [2308.10144](https://arxiv.org/abs/2308.10144) · STaR [2203.14465](https://arxiv.org/abs/2203.14465) · ACE [2510.04618](https://arxiv.org/abs/2510.04618) · 模型坍缩 [2305.17493](https://arxiv.org/abs/2305.17493) / [2307.01850](https://arxiv.org/abs/2307.01850) · SWE-bench+ [2507.02825](https://arxiv.org/abs/2507.02825) · reward tampering [2406.10162](https://arxiv.org/abs/2406.10162) · Self-Rewarding [2401.10020](https://arxiv.org/abs/2401.10020) · MemoryBank [2305.10250](https://arxiv.org/abs/2305.10250) · 污染综述 [2406.04344](https://arxiv.org/abs/2406.04344) · LiveBench [2406.19314](https://arxiv.org/abs/2406.19314)

**候选策略与计算分配**：Self-Consistency [2203.11171](https://arxiv.org/abs/2203.11171) · ToT [2305.10601](https://arxiv.org/abs/2305.10601) · LATS [2310.04406](https://arxiv.org/abs/2310.04406) · Scaling LLM Test-Time [2408.03314](https://arxiv.org/abs/2408.03314) / [2407.21787](https://arxiv.org/abs/2407.21787)

**经典统计**：Landis & Koch 1977 (Biometrics 33:159) · Feinstein & Cicchetti 1990 (J Clin Epidemiol 43:543) · Sim & Wright 2005 (Stat Med 24:1657) · See et al. 1995 (Psych Bulletin 117:415) · Krippendorff《Content Analysis》

## 方法论说明

- 5 路并行深研 + KMC/KAP 本地锚点（kmc-iteration-system / kap-iteration-platform 全文实读）+ 45 项来源在线核验。
- 局限性：子代理环境无联网工具，引文内容基于模型知识整理（来源 ID 全部在线核验为真）；「工程经验值」数字（批大小 15-30、probe 40-80 条、85% 熔断线、5pp tripwire）为实践建议，非单篇论文结论；AlphaEvolve/DGM 等具体收益数字建议引用前抽查原文。