跳转到内容

概览

用编码 agent 跑控制变量实验的状态机协议。你写研究规格:各组之间改变哪些变量、固定哪些变量、哪些可以调整。agent 在 GitHub 的 issue 和 PR 上按状态机一步步实现和运行实验。每个 run 都记下实际生效的完整配置,由脚本对照规格核对,规格不允许的差异都会报出来。你只在四处做决定:发布、合并、预算、下结论。

01发布02合并03预算04下结论ArmnTop-1规格linear371.4 ± 0.6full385.1 ± 0.4lora-8384.2 ± 0.5lora-16384.6 ± 0.3研究总表 · 12 个 run01发布02合并03预算04下结论linear71.4± 0.6full85.1± 0.4lora-884.2± 0.5lora-1684.6± 0.3研究总表 · 12 个 run规格
人的关口agent 的工作按规格核对过

问题:agent 改动了需要固定的设置

Section titled “问题:agent 改动了需要固定的设置”

编码 agent 写代码、启动运行、贴出结果的速度,已经快过人能读完的速度。这些改动发生在计划以下的代码、配置和启动里。为了修一次崩溃改了学习率,为了塞进显存把有效 batch 减半。每一处单看都合理,合在一起,对比就成了猜测。而你通常只看到 agent 的总结。

CVSM 只请你做四个决定,其余的都能核对。

  • 你批准一份研究规格:各组之间的不同、固定不变的设置(各带理由)、可以调整的设置。见研究规格。
  • 规格以下的事都由 agent 做,通过 GitHub issue 和 PR。它们只在四个关口停下,或者在自己解决不了的卡点停下。
  • 每个 run 都记下解析后的配置,结果命令拿这些记录对照规格核对。偏差以取自记录的事实交到你手上。见运行记录。

CVSM 是围绕 git 和 GitHub 的一组文件和约定。不用安装任何东西;除了 GitHub、git 和你自己的机器,不需要别的。

状态:GitHub issue

study 或 plan 父 issue,下面挂 code 和 run 子 issue。仓库里没有计划、进度或笔记文件。见状态。

规则:AGENTS.md

状态怎么判断、什么时候停、怎么提问、Git 和文件怎么用。最多 80 行,有测试卡住上限。见 AGENTS.md。

步骤:四个 skill

plan、implement、review、run,每个最多 120 行。Claude Code 和 Codex 读同一套文件。见 skill。

检查:guard、test、merge.py

guard 检查每个 PR 的格式、文件位置和改动范围;test 跑项目测试;merge.py 是 agent 唯一的合并入口。见合并。

运行:run.py 和 results.py

Run 命令的参考实现把每次运行记成一个 MLflow run;结果命令生成结果表和规格核对。见 run.py。

审查:新会话

每个 PR 都由一个只拿到 PR 编号的新会话审查。见审查。

要安装的服务 0 个
规则(AGENTS.md) 最多 80 行,有测试检查
skill 4 个,每个最多 120 行
人的关口 4 个,是仅有的计划内停点
agent 的合并入口 1 个,merge.py
agent 命令行工具 2 种,Claude Code 和 Codex,共用一套 skill

CVSM 只记录事实、展示差异。它不定 seed 数,不设计实验,不决定何时重跑,也不判断 run 能不能比,这些由你在规格和指令里定。分析、可视化,以及 agent 在任务内部怎么实现,也都由你决定。见原则。

CVSM v0.1.0 是预发布版本。它已经用来开发它自己,1.0 之前接口仍可能变化。见项目状态。