Rubric Bump Proposer

/cheat-bump — Rubric / Bucket 升级

两种模式：

完整 rubric bump 严格遵守 shared-references/bump-validation-protocol.md 的 5 步。bucket-only 走轻量路径——见下方 Phase B。

Overview

入口：用户触发 /cheat-bump
  ↓
[Phase A0: 检测调用模式]
  ↓
  ├─ --bucket-only  →  [Phase B: 轻量 bucket 重校]
  └─ --propose      →  [Phase 0~6: 完整 rubric bump]

Phase A0: 调用模式分流（先做）

读用户参数：

• 含 --bucket-only → 走 Phase B（轻量重校）
• 含 --propose "<...>" → 走 Phase 0~8（完整 rubric bump）
• 都没有 → 询问用户："你想做什么？1) 调 rubric 公式 / 加减维度 → --propose；2) 只重新派生 bucket 边界 → --bucket-only"

如果用户说"我觉得 ER 太低了想调"→ 是 --propose 路径。 如果用户说"我账号长大了，bucket 不准了"→ 是 --bucket-only 路径。 两条路径不能混调——一次操作只做一种事。

完整 rubric bump 流程

[用户：升级 rubric --propose "ER×1.5→2.0，砍 NA，加 MS"]
  ↓
[Phase 0: 前置门槛检查]
  ↓
[Phase 1: 写出新公式完整方程]
  ↓
[Phase 2: 校准池全量重打分]
  ↓
[Phase 3: 计算排序一致性]
  ↓
[Phase 4: 跨模型独立审核（强制）]
  ↓
[Phase 5: 落地 + cleanup pass]
  ↓
[Phase 6: 更新所有校准样本的 prediction 文件底部追加 Re-scored 行]

Constants

• READINESS_HEURISTIC —
  • 默认参考：校准池 ≥ 5 样本 + 至少 1 个跨样本观察有 ≥3 样本支持
  • 但 Claude 可以提议 bump（即使样本少）如果观察信号特别强：
    • N=3 但出现完全推翻当前 rubric 假设的强反例（composite 8.5 vs 实绩 5w 这种 ≥3x 偏差）
    • 1 篇出现单点但极强的现象（如评论区出现 ≥2000 赞的单一模因）
  • Claude 也可以拒绝 bump（即使样本足）如果证据弱：
    • N=10 但观察都是低置信度的零碎 pattern，无清晰方向
    • 用户复盘时大量"随便看了下"的非严肃判断
  • 写在 prediction header 或 cheat-bump 输出时必说明：本次提议是 default-aligned 还是 judgment-driven，给用户审视依据
• THRESHOLD = 0.8 — 新排序与实绩排序一致性阈值（4/5）。这条写死——bump 验证的统计刚性
• CROSS_MODEL_AUDIT = true — 调外部 LLM 独立审核。false 仅用于离线
• REQUIRE_CONFIRM = true — 落地前要求用户明确"yes, bump"

Inputs

Workflow

Phase 0: 前置门槛检查

按 bump-validation-protocol.md 的"何时禁止"段，逐项检查：

通过 → 进入 Phase 1。

Phase 1: 写出新公式完整方程

不能只接受用户的简短描述。把它展开为完整方程：

当前：v2  composite = (ER×1.5 + SR×1.5 + HP×1.5 + QL + NA + AB + SAT) / 8.5 × 2.0
提议：v2.1  composite = (ER×2.0 + HP×1.5 + MS×1.5 + QL + SR + TS + SAT) / 9.0 × 2.0

变化总结：
- ER ×1.5 → ×2.0（升）
- SR ×1.5 → ×1.0（降）
- 新增 MS ×1.5（Memetic Shareability）
- 新增 TS ×1.0（Topic Shareability）
- 删除 NA（与 HP 重叠）
- 删除 AB（被 TS 替代）
- 归一化常数 8.5 → 9.0
- 公式总维度数：7 → 7（净变化 0）

如果用户的提议含糊（如"ER 权重提一点"）→ 询问具体数值，禁止自己猜。

Phase 2: 校准池全量重打分（强制走 blind sub-agent）

Glob predictions/*.md 中所有有完整复盘段的文件 → 校准池。

bump 是工具最高风险动作——所有重打必须走 cheat-score-blind sub-agent。inline 重打 = 主 Claude 已经看过实绩，rank 一致性变成 overfit 而非真信号。

强制约束

• 不接受 self-scored fallback——/cheat-predict 有 --skip-blind flag，但 /cheat-bump 没有。如果 Task tool 不可用 → abort bump，向用户报告"先解决 Task tool 再 bump"
• 不接受"我只重算 composite 不重打 dim" —— 即使新公式只调权重不加维度，每条 prediction 的所有 dim 都要由 sub-agent 重新审 script。理由：旧 dim 分本身可能是污染的；权重变了不能保证旧 dim 还成立

对每篇 prediction：

1. 解析 prediction 文件拿到对应 scripts/<id>.md 路径（从 Script Path header 字段）
2. 校验 script 文件存在 + hash 跟 header Script Hash 一致；不一致 → 警告（script 改过了）但仍 spawn sub-agent
3. 通过 Task tool spawn cheat-score-blind sub-agent：

   Spawn cheat-score-blind sub-agent.
   
   Input:
     script_path: <prediction header 的 Script Path>
     rubric_notes_path: rubric_notes.md
     sidecar_path: .cheat-cache/bump-rescores/<prediction-id>.json
   
   Task: 按 rubric_notes 当前公式（已是新版 vN+1）给 script 打分。
   返回严格 JSON。写 sidecar 文件用于 bump 主流程批量读取。
   
   不要读 state file / predictions/ / videos/ 任何其他文件。
   不要询问用户 —— 你没有用户。
   不要读这份 prediction 文件本身 —— 你只看 script + rubric。

4. 等 sub-agent 完成 → 读 sidecar JSON → 主流程用新公式算 composite
5. 写"重打表"到 .cheat-cache/bump-rescores.json（汇总）。每条 entry 标 blind: true —— bump phase 5 cleanup 时把这个字段连同新分数写到 prediction 文件的 Re-scored under v<N+1> 行

还污染没污染的诚实标注

即使走 sub-agent，仍有两类残余 contamination 要在 bump report 里诚实标注：

这两条提示用户 channel C（跨模型 audit）的不可省。bump 报告末尾必印："上面的 rank 一致性是 channel A 内的一致性。最终决策必须等 channel C audit 通过。"

失败模式

Phase 3: 计算排序一致性

每个样本：
  new_composite_rank: 用新公式排序的 rank
  actual_plays_rank: 用实际播放排序的 rank
  delta: |new_rank - actual_rank|

输出对照表：
| 样本 | composite (v2) | composite (v2.1) | rank (new) | actual | rank (actual) | delta |
|---|---|---|---|---|---|---|
| 仓鼠 | 9.41 | 9.55 | 1 | 124.8w | 1 | 0 |
| 停止期待 | 8.24 | 9.11 | 2 | 71.1w | 2 | 0 |
| 老板废话 | 7.65 | 8.11 | 4 | 39.6w | 3 | 1 |
| 求职悖论 | 8.47 | 7.56 | 5 | 16.8w | 4 | 1 |
| 谁问你了 | 8.24 | 7.00 | 6 | 11.7w | 5 | 1 |

排序一致性：4/5 在 |delta| ≤ 1
Pairwise no-regression：旧公式做对的所有 pair 在新公式下未颠倒 ✓

判定：

• 排序一致性 < THRESHOLD（默认 0.8） → 本地拒绝，转 Phase 4 之前明确报告失败
• pairwise 出现回归 → 本地拒绝

THRESHOLD 写死在协议里——不允许临时调低（那本身是另一个需要 bump 的元决策）。

Phase 4: 跨模型独立审核（强制，除非 escape hatch）

CROSS_MODEL_AUDIT=true（默认）：

调用 mcp__llm-chat__chat：

prompt:
你是一个独立审稿人。下面是一个内容创作者准备升级的 rubric 公式。
请独立判定两件事：
1. 排序一致性：新公式给样本的排序与实际表现排序，是否真的在 ≥80% 样本上一致？
2. 解释力：新公式相比旧公式，是否更好地解释了校准池的实绩分布？

数据：
旧公式：(ER×1.5 + SR×1.5 + HP×1.5 + QL + NA + AB + SAT) / 8.5 × 2.0
新公式：(ER×2.0 + HP×1.5 + MS×1.5 + QL + SR + TS + SAT) / 9.0 × 2.0

校准池：
[Phase 2 重打表的完整 JSON]

排序对照：
[Phase 3 表格的完整 JSON]

输出格式：
- 判定：PASS 或 REJECT
- 理由：≥100 字
- 关键风险：[如有，列出新公式的潜在问题]

收到外部 LLM 回复 → 解析判定。

判定逻辑：

• 本地 PASS + 外部 PASS → 通过，进入 Phase 5
• 本地 PASS + 外部 REJECT → 视为 REJECT。冲突意味着至少一方解读不稳定
• 本地 REJECT → 已在 Phase 3 终止
• mcp__llm-chat__chat 不可用 → 优雅降级到 CROSS_MODEL_AUDIT=false，state file 标 last_bump_self_audited: true

CROSS_MODEL_AUDIT=false：

• 仅依赖本地判定
• state file 持续标记，cheat-status 持续提示用户"这次 bump 是自审，建议配置 mcp__llm-chat__chat"

Phase 5: 落地 + cleanup pass

通过审核后，REQUIRE_CONFIRM=true → 询问用户："新公式 PASS 本地与外部审核。最后确认：执行 bump 落地？这会修改 rubric_notes.md + rubric-memo.md 并删除若干已被吸收的观察。回答 'yes, bump' 才执行。"

用户确认后：

5a. 更新 rubric_notes.md（只放通用语言，不含视频名 / 实绩）

• 顶部 metadata 更新：
  • **当前版本**: vN+1
  • **Last bumped at**: <ISO 8601>
  • **Upgrade memos**: 见 [rubric-memo.md](rubric-memo.md)（指针，不复制 Memo 内容）
• 版本速查表加一行（只含版本号 + 公式签名，不含证据样本）
• 更新"当前评分维度"段（删 NA / AB，加 MS / TS）
• 派生证据段 如新维度需要锚点解释 → 用通用语言：
  • ✅ 允许：「派生证据：高抽象密度样本 → CC=1 → 低 reach」
  • ❌ 禁止：「派生证据：「停止期待」CC=1 → 实绩 13.7w」（视频名 + 实绩 数字）
  • 命中违禁 pattern → 把该段抽到 rubric-memo.md 的"派生证据"子段，原位用通用语言替代

5b. 写 Memo 到 rubric-memo.md（append 模式，不覆盖历史）

按 bump-validation-protocol.md Step 5 + templates/rubric-memo.template.md 格式 append 一段 Memo 到文件末尾：

• 触发观察（含真实观察 ID）
• 证据数据（校准池重打表 + 排序对照，含真实视频名 + 实绩）
• 派生证据（含真实样本名 + 实绩）
• 诊断
• 新公式
• 跨模型审核结论引用（含模型名 + 判定 + 理由摘录）
• 已知局限

绝不覆盖 rubric-memo.md 已有内容——bump memo 按时间顺序累积。