Benchmark Review Miner

Identity

• Skill ID: S06
• Slug: benchmark-review-miner
• Directory: .agents/skills/S06-benchmark-review-miner/
• Name: Benchmark Review Miner
• 中文角色: 对标综述库建立
• Stage: Bliteratureevidence
• Skill Type: business
• Human Gate: G2
• Required QA Hooks: - Q02

Mission

建立对标综述库，学习写作逻辑与范围边界。

此 skill 在综述生产流水线中的角色：对标综述库建立。它在"Bliteratureevidence"阶段运行， 生成结构化产物供下游 skill 消费，并在 G2 处接受人工审核。

Scientific Role in the Workflow

• 所处阶段: 文献分析阶段——识别已有综述，建立对标库，为差异化定位提供依据
• 产出形式: benchmarkreviews.csv + benchmarknotes.md
• 人机协同点: 产物在 G2 处需人工审签；关键决策记录在 decision_log.md 中
• 对下游的价值: 为 S13 叙事设计提供差异化策略，避免重复已有综述

Scope of Responsibility

• 本 skill 仅负责 综述识别、标杆选定、差异化分析
• 不负责 原始研究质量评估（那是 S11 的职责）
• 不负责 全文精读（那是 S09 的职责）

Trigger When

screening_pack.csv 已完成

Do Not Trigger When

benchmark_reviews.csv 已稳定

Required Inputs

• master_records.csv
• topic_keywords

Optional Inputs

• 用户提供的已知关键综述列表

Output Contract

1. 所有输出文件写入 /artifacts/run-/stage-2/ 目录下
2. 结构化输出（.json / .csv）优先于叙述性输出（.md），必须通过 schemas/ 下对应 JSON Schema 校验
3. 每个输出产物在 artifact registry 中注册时，须记录其上游依赖、生成时间、生成器和版本号
4. 产物格式优先级：结构化数据 (.json) > 表格 (.csv) > 叙述性 Markdown (.md) > 自由文本
5. 产物路径和命名遵循 configs/artifact_registry_rules.json 中定义的规范

Expected Outputs

• benchmark_reviews.csv
• benchmark_notes.md

Operational Steps

1. 验证所有 Required Inputs 存在且可读，缺失则立即停止并报告
2. 加载相关 Schema 和契约文件（schemas/ 目录下）
3. 仅执行 Purpose 与 Scope of Responsibility 中定义的任务，不漂移到相邻 skill 的职责
4. 先产出结构化数据（.json / .csv），再生成叙述性说明（.md）
5. 记录所有假设、未解决的歧义和失败追踪信息
6. 若置信度不足（如关键数据缺失导致无法做出科学判断），停止执行并升级给人工，不得猜测或编造

Decision / Writing / Validation Principles

• 结构化字段优先：先填满 schema 的 required 字段，再补充 optional 字段
• 证据三元组：每个科学论断必须包含 (sourceid, findingdirection, evidence_strength)
• 冲突分类：如发现证据方向矛盾，标记为 direction_conflict 而非强行选边
• 术语一致性：同一实体在全文中使用统一的 canonical term（参见 configs/ontology/）
• 保守推断：不在证据不足时声称"clearly" "definitively" "proves"

Hard Constraints

• 不得编造 DOI、PMID、样本量、统计值、期刊身份或研究结论
• 不得静默覆盖已有高版本 artifact（必须 version incrementally，参见 AGENTS.md）
• 不得删除上游可审计痕迹（raw exports、screening decisions、extraction logs 必须保留）
• 不得绕过 Gate 或把 QA 结论写成"已人工确认"（除非真正通过了人工审核）
• 不为了'显示差异化'而贬低已有综述
• 不将非综述文献误标为 benchmark
• benchmark 选择必须有期刊/年份/覆盖度的多样性

QA Hooks

• Q02

Human-in-the-Loop Checkpoint

• 产出物完成后，进入 G2 等待人工审核
• 审核通过前，下游 skill 不得启动
• 若人工审核要求修订，返回上游 skill（参见 orchestrator/state_machine/transitions.yaml）

Acceptance Checklist (Self-Verification Before Declaring Done)

• [ ] 所有 Required Inputs 已加载且完整
• [ ] 所有 Expected Outputs 已生成且非空
• [ ] 结构化输出通过对应 JSON Schema 校验
• [ ] 产物已在 artifact registry 中注册（含 checksum + version）
• [ ] QA hooks 中列出的所有 QA skill 已触发
• [ ] decision_log.md 记录了关键决策及其理由

Failure Handling

• 缺少输入: 发出 blocking error，立即停止，不继续执行
• Schema 校验失败: 重试一次（带错误上下文修正）；若第二次仍失败，升级给 checkpoint manager
• 下游污染风险: 如果当前产物可能影响下游 skill 的正确性，标记为 status: blocked，阻止流水线继续
• 领域特定失败: 若找到相关综述 /logs/S06/`）：
• input_manifest.json — 所有输入的路径和校验和
• output_manifest.json — 所有输出的路径和校验和
• validation_result.json — Schema 校验结果
• decision_log.md — 关键决策及其理由
• failure_trace.md — 失败时的错误堆栈（如有）

Collaboration Notes for Codex / Orchestrator

• 执行前先读取 AGENTS.md 获取项目级非协商规则
• 执行前先读取 configs/skills_manifest.json 确认本 skill 的上下游依赖
• 产物注册使用 orchestrator/artifact_registry/registry_v2.py 的统一接口

Definition of Done

1. 所有 Expected Outputs 已写入磁盘并通过 Schema 校验
2. 所有 Required QA Hooks 已触发并获得非 blocking 结果
3. 产物已在 artifact registry 中注册，具备完整的 provenance 记录

Examples

Source & license

This open-source skill is cataloged on AgentStack and links to its original source — we do not rehost the code.

• Author: woshixiguaweierde
• Source: woshixiguaweierde/codex-sci-review-agent
• License: MIT

Install and usage instructions live in the source repository linked above.