Blind Prediction Log

/cheat-predict — AI 主导的盲预测 + 用户 review

这个工具是"作弊器"——AI 帮你做判断。所以 cheat-predict 的核心是：

• Claude 自己读稿子 + 打 7 维分 + 给 bucket + 概率分布 + 反事实场景
• 用户 review 后回 "ok" 接受，或指出哪个维度 / 哪个判断不对
• 默认走快路径：用户直接 ok → 落盘
• 慢路径：用户挑刺某个维度 → Claude 改 → 再 review → 直至确认

不是用户从 7 维分到概率分布全部自己写，那 Claude 只剩"格式化器"——失去工具的核心价值。

严格遵守 shared-references/blind-prediction-protocol.md——见过任何后续数据就不能写预测，只能记 reconstructed。 完整组件清单见 shared-references/prediction-anatomy.md。 Confidence 派生表见 shared-references/state-management.md。

Overview

[用户：启动预测 scripts/<id>.md]
  ↓
[Phase 0: blind check 自检]                    ← 触犯就拒绝
  ↓
[Phase 0.7: 模式判定 — v1 (新建) 还是 v2 (append)]
  ↓
[Phase 1: 读 script + rubric + state + 派生 confidence]
  ↓
[Phase 2: **委派 cheat-score-blind sub-agent**（Task tool）拿 9 维盲打 + per-dim confidence]
  ↓
[Phase 2.5: 主 Claude 对 blind 输出做 review — 若任意维度 |delta| ≥ 2 vs 主估，弹给用户裁定]
  ↓
[Phase 3: **Claude 自己**找锚点对比]
  ↓
[Phase 4: **Claude 自己**给 bucket + 概率分布 + 中枢]   ← confidence 低时分布更平
  ↓
[Phase 5: **Claude 自己**写反事实场景 + 关键校准假设]
  ↓
[Phase 5.5: **用户 review**——展示完整草拟版，等用户 "ok" 或挑刺]
  ↓
   ├─ "ok" → Phase 6 落盘
   └─ "X 维度应该 Y 不是 Z" → Claude 改 → 再 review → 循环
  ↓
[Phase 6: 落盘 — v1 写新文件 / v2 append 到现有文件 ## 复盘 之前]
  ↓
[Phase 7: 更新 state.in_progress_session]

Constants

• SCRIPTS_DIR = scripts/ — 草稿源目录
• PREDICTION_DIR = predictions/ — 落盘目录
• BLIND_CHECK = strict — strict（默认）/ lenient（仅警告，不推荐）—— 跟 blind-prediction-protocol.md "见过数据"边界相关
• BLIND_SCORING = on（默认）/ off —— 是否走 cheat-score-blind sub-agent。off 等价于 --skip-blind flag，标 last_prediction_self_scored: true 给 cheat-status 警告
• DISAGREEMENT_THRESHOLD = 2 —— blind 与主 Claude 自评的单维度差异 |Δ| ≥ 此值 → Phase 2.5 弹用户裁定
• BUCKET_PRESET = auto — 自动派生：有 baseline_plays → 按 baseline × {0.3 / 1 / 3 / 10 / 30}；无 baseline → 平台通用默认
• MIN_ANCHORS = 2 — 锚点对比期望 2 个；不够时显式标"锚点 N/A"段（不删段，不省略）

💡 调用时覆盖：/cheat-predict scripts/<id>.md — BLIND_CHECK: lenient / --skip-blind（都不推荐）

Inputs

入参解析（Phase 0.5，在 blind check 之前）

用户给的路径应该是 scripts/<date>_<id>_<short>.md。如不在 scripts/ 下：

如 scripts/<id>.md 不存在 → 报错并询问"你想 predict 的稿子在哪？"

Workflow

Phase 0: Blind check 自检（最关键，触犯立即终止）

按 blind-prediction-protocol.md 的"子 skill 必须做的检查清单"执行：

1. 询问用户该作品当前发布状态：

   • 未发 → 通过
   • 已发 < RETRO_WINDOW_DAYS 天 → 询问"你看过任何后续数据吗（播放/点赞/评论）？"
     • 用户回答"没看过" → 通过，标记 published_before_prediction: true + blind_status: confirmed_no_data_seen
     • 用户回答含糊 → 视为"已看"，按下一项处理
   • 已发 ≥ RETRO_WINDOW_DAYS 天 → 立即拒绝写"预测"，建议改用 _redo.md 路径记 reconstructed retrospective

2. 自检对话历史里是否含播放/阅读/点赞/评论/转发等字眼的实际数字 → 命中则视为已见数据，按上面 strict 模式处理

3. BLIND_CHECK=lenient 模式：仅警告 + 强制在文件头标注 **Reconstructed retrospective — NOT a blind prediction**，但仍允许继续

通过 → 进入 Phase 0.7。

Phase 0.7: 模式判定（v1 vs v2）

判定本次是新建预测（v1）还是对既有预测的 v2 追加（拍后改稿场景）。

显式参数优先：用户/调用方传 — mode: v2 + — prediction-file: <path> → 直接 v2 模式。

自动检测（无显式参数）：

1. 推断目标 prediction 路径：predictions/<同 scripts/<id> 命名>.md
2. 读该路径：
   • 不存在 → v1 模式，进入 Phase 1
   • 存在但只有空 ## 复盘（无任何 ## 预测... 段）→ v1 模式（异常状态，覆盖警告 + 进 Phase 1）
   • 存在且含 ## 预测 或 ## 预测 v1 段 → v2 模式

v2 模式额外动作：

• 比较输入 script（最终拍摄稿）与 ## 预测 段引用的原 Script Hash
• 如完全一致（hash 同）→ 警告"稿子没改，是否真要写 v2？"——用户确认才继续；不确认则退出
• 如不同 → 算 diff 概要（行数 / 字数 / 结构变化）→ Phase 5.5 review 时展示给用户
• 标记 prediction_basis = "post_shoot_pre_publish"（v1 默认 pre_shoot）

Phase 1: 读最终稿 + rubric + state + 派生 confidence

1. 按 Phase 0.5 解析后的路径，读 scripts/<id>.md 全文
2. 计算 script_hash = sha256(script 内容)[:12] → header 用
3. 读 rubric_notes.md，识别当前公式 + 维度（同 cheat-score Phase 2）
4. 读 .cheat-state.json 拿 rubric_version、content_form、calibration_samples、typical_duration_seconds、baseline_plays
5. 从 calibration_samples 派生 confidence 等级（按 state-management.md confidence 表）→ 后续写入 prediction header
6. 询问用户："这是你打算实际拍摄发布的最终稿吗？还是会再改？"——必须是最终稿
7. 如果稿子字数与 typical_duration_seconds 派生范围严重不符（差 >50%）→ 提示用户："这条稿子 N 字，按你设的典型时长（X 分钟）应该是 M-K 字。是临时改了时长，还是稿子需要砍/补？"

Phase 2: 委派 cheat-score-blind sub-agent 拿盲打分

BLIND_SCORING=on（默认）—— 主 Claude 不再 inline 打分。通过 Task tool spawn cheat-score-blind，让一个 context-isolated 的 sub-agent 只看 script + rubric_notes.md 给出 N 维分。

详见 cheat-score-blind/SKILL.md 的"主 Claude 调用契约"段。Task prompt 必须精简：

Spawn cheat-score-blind sub-agent.

Input:
  script_path: <Phase 0.5 解析出的 scripts/<id>.md>
  rubric_notes_path: rubric_notes.md

Task: 按 rubric_notes 当前公式给上面 script 打分。返回严格 JSON（见 cheat-score-blind SKILL.md Phase 2 schema）。
不要读 state file / predictions/ / videos/ 任何其他文件。
不要询问用户 —— 你没有用户。

调用前自检：把 Task prompt 串过 grep -Ei '播放|阅读|点赞|评论数|实际|retro|复盘|实绩|w$|万$'——命中 → 改 prompt 重发。

主 Claude 自己也内心估一份（不发 sub-agent）——纯为 Phase 2.5 disagreement 检测，不落盘、不替代 sub-agent 输出。这个估值代表"如果我没用 sub-agent，我会打多少"，是 contamination 的客观指标。

沙盒 escape：BLIND_SCORING=off 或 --skip-blind —— 主 Claude 自己打 7 维。state 立刻标 last_prediction_self_scored: true + last_self_scored_at: <ISO>，cheat-status 持续提示警告。仅用于：

• Task tool 不可用（开发环境 / 离线）
• 用户主动 audit 主 Claude 的 inline 判分能力（极少数）

按当前公式算 composite——用 sub-agent 回传的 dim 分，不用主 Claude 自估。

Phase 2.5: Blind 输出 review + disagreement detection

拿到 sub-agent JSON 后，主 Claude 必做的事：

1. JSON validity check：python3 -c "import json; json.loads(...)" 应能解析；不能解析 → 主 Claude 重发 Task（最多 3 次重试），仍败 → abort，向用户报告
2. Contamination check：self_check.any_contamination_signal == true → 警告用户"sub-agent 自报疑似 contamination"，但仍接受打分（confidence 降一档）
3. Refusal check：refusal != null → 按 cheat-score-blind/SKILL.md Phase 2 的处理表对应路径
4. Disagreement detection（核心）：
   • 主 Claude 内心估一份 N 维分（Phase 2 末尾的"自估"）
   • 对每个维度算 delta = |主估 - blind|
   • 任何维度 delta >= DISAGREEMENT_THRESHOLD（默认 2） → 弹给用户裁定

弹裁定 UX：

⚠️  blind sub-agent 跟主 Claude 在某些维度差异较大：

| 维度 | blind (sub) | 主 Claude 自估 | delta | sub-agent 理由 |
|---|---|---|---|---|
| ER | 5 | 3 | 2 | "PPT加油猫猫开头—具象画面强" |
| AB | 2 | 4 | 2 | "一人公司视角，受众窄" |

谁更准？
  a) 信 sub-agent（隔离打分，但同 Claude 模型）
  b) 信主 Claude 自估（有更多对话上下文，可能是 contamination）
  c) 我自己定（你直接给分）

回 a / b / c <你的分数>

用户选：

• a → 用 sub-agent 全套分进 Phase 3
• b → 用主 Claude 自估全套分（视为有意接受 contamination）→ 强制标 last_prediction_self_scored: true
• c → 用户给的分覆盖该维度，其他维度仍走 sub-agent → 记到 User Override

所有 delta —— 即使全 < THRESHOLD —— 都记录到 prediction header 的 BlindScore Disagreement 字段（详见 prediction-anatomy.md 组件 1）。delta=0 也要记录。

Phase 3: 锚点对比

所有阶段都跑此 phase——锚点不够时显式标 N/A，不删段。

1. Glob predictions/*.md，读每个文件 header（提取 composite、实绩 bucket、duration_seconds）。注意排除 reconstructed predictions（标记 "Reconstructed" 的不算锚点）
2. 优先找同时长样本（Target Duration (s) 与本次差 ±20% 内）
3. 在同时长（或全部）池里，找 2-4 个 composite 与本次预测 ±0.5 范围内的样本
4. 如果池子太小（同时长 < 2 个 + 全部 < 2 个）→ 输出"锚点对比 N/A 段"（参考 prediction-anatomy.md 组件 5）—— 仍写这段，告诉读者锚点为何缺
5. 列对照表；如跨时长，每行额外列"时长 vs 本次"列
6. 关键诊断：如果某个锚点的 composite 几乎相同但实绩差异 ≥3x → 说明 rubric 没捕获关键维度。在文件里明确标注作为新观察的种子

为什么按时长筛锚点：4 分钟视频 5w 播放 vs 1 分钟视频 5w 播放完全不是一回事——长视频每秒扛了更多注意力损失。跨时长锚点容易得出虚假结论。

Phase 4: Bucket + 概率分布 + 中枢

所有阶段都写——confidence 低时分布更平，不是省略。

1. 从 starter-rubrics/<content_form>.md 读默认 bucket 边界（除非用户在 rubric_notes.md 自定义了）
2. 选择最可能的 bucket（headline call）
3. 必须给出所有 bucket 的概率分布——加起来 100%
4. 必须给出该 bucket 内的"中枢"点估计

反诚实陷阱：如果你给一个 bucket 95% 概率，下次预测错了你没法说"我其实不太确定"。真实的概率分布通常在 headline bucket 是 40-65%，剩下 ≥35% 散布在邻近 buckets。