Orchestrating Adversarial Reviews

对抗验证编排 · orchestrating-adversarial-reviews

> 单个 agent 会谎报"已修复 / 全覆盖 / 没问题"。结论的可信度不来自"谁说的"，来自"扛过几次推翻"。 > 本 skill 是编排骨架：fan-out 发现 → 三棱镜对抗验证 → 证明性 guard → 守卫式上线。 > 信级：运行时行为 / 证明测试 > 多 agent 多数裁决 > 单 agent 自报（永远 [unverified]）。

核心信条

1. 不信单 agent 自报。 finder 会噪音误报，implementer 会谎称"已修复/全覆盖"。每个高价值结论必须被独立 agent 用不同视角尝试推翻。
2. 可证伪 > 可声称。 修复必须配一个"退回漏洞代码就 FAIL、修好才 PASS"的 load-bearing 证明测试。没有证明测试的"已修复"等于没修。
3. 失败方向要对。 守卫链里任何一步的退出码都不能被管道遮住；破坏性动作前置可逆检查。

何时使用

| 场景 | 用 | 理由 | |------|----|------| | 授权安全审计 / 加固闭环 | ✅ | 首个范例，见 [workflow](references/workflow.md) | | 大面积代码审查（多维度、需高可信） | ✅ | dimensions → find → 对抗验证 | | 研究综合 / 事实核查（结论要扛得住） | ✅ | 多源 fan-out + 证伪棱镜 | | 大规模迁移 / 重构（site 发现 + 逐项验证） | ✅ | pipeline 逐项独立 + 证明测试 |

何时不使用

• ❌ 单文件、低风险、机械改动——直接做完跑测试，别套编排（参见 shipping-changes 的"何时不使用"）。
• ❌ 用户没有 opt-in 多-agent 编排 / 没开 ultracode——Workflow 会 fan-out 几十个 agent 烧大量 token，必须显式授权。
• ❌ 只需要"找什么洞"的知识——那是 securing-systems / analyzing-security，本 skill 不重写知识，只编排。

编排骨架（三相）

Recon (fan-out)     每维一个 finder, 并行深读, schema 出结构化 findings
   |                pipeline 而非 barrier: 维度A的发现可在维度B还在找时就进验证
   v
Verify (三棱镜)     每条 finding 派 N 个 verifier, 各执一镜, 默认怀疑
   |                可利用性 / 正确性 / 证伪猎杀 —— 票数 >= 多数 才保留
   v
Synthesize / Ship   合成定级报告; 若是修复任务 -> 证明测试 guard -> build-first 上线

对应 Workflow 工具的 pipeline(items, findStage, verifyStage)（默认无栅栏，墙钟最短）。仅当"下一阶段需全部上一阶段结果"（去重 / 早退 / 跨条比较）才用 parallel 栅栏。

四大护栏（实战血泪，按重要度）

1. 三棱镜对抗验证（防 finder 噪音）——每条发现派视角各异的 verifier（可利用性 / 正确性 / 证伪猎杀），默认怀疑，多数票 confirmed 才保留。
2. 证明性测试 guard / load-bearing（防 implementer 谎报）——修复配真行为测试，且测试本身能"反向证伪"（退回漏洞版必 FAIL）。本 skill 的命门。
3. build-first + 退出码 guard（防误删 / 半成品上线）——先构建验证新件再动旧件；cmd | tail 会吞掉 cmd 的退出码，判码用 cmd > log 2>&1; rc=$?。
4. 语境校准降噪——fan-out 前钉死威胁模型 / 评判语境，否则收一堆无效发现。

> 每条护栏的细节、PoC 判据、反向证伪实操、安全审计 worked example，见 [references/workflow.md](references/workflow.md)。

反模式

• 信单 agent "已修复 / 没问题 / 全覆盖"——必过对抗验证 + 证明测试。
• up --build 2>&1 | tail && rm ——管道吞码，build 失败仍删旧件。
• N 个同质 verifier 复读同一判断——要视角多样，否则冗余不抗错。
• 多 agent 同一工作区并行写同批文件——冲突；要么单 implementer，要么 isolation: worktree。
• 用户未 opt-in 时擅自 fan-out 大舰队——先确认或估算成本。

参见

• securing-systems —— 攻防知识总路由（找什么洞）。
• shipping-changes —— 单上下文变更闭环脊柱。
• cultivating-skills —— 本 skill 的孵化器 / 安全脊柱 / 升级漏斗。
• Workflow 工具 —— 编排引擎（pipeline / parallel / schema / budget）。

Source & license

This open-source skill is cataloged on AgentStack and links to its original source — we do not rehost the code.

• Author: telagod
• Source: telagod/code-abyss
• License: MIT
• Homepage: https://www.npmjs.com/package/code-abyss

Install and usage instructions live in the source repository linked above.