
昨天的 GitHub 趋势榜前五,四个跟 skill 有关。第一名 obra/superpowers 一天 1905 星,仓库里主要是一堆 markdown 和 shell。第五名 affaan-m/ECC 做的是 harness 性能优化,隔壁还有个包了 82 个 skill 的漏洞挖掘套件,单日 1007 星。
同一个榜上还有个 NVIDIA/SkillEvaluator,969 星,做的是这件事的另一半:给 skill 打分。
一边在拼命生产,一边刚开始验收,中间这道缝就很显眼。整个生态现在没人回答一个最基本的问题:装上这个 skill 之后,agent 到底变好了没有。
现在的"好",靠什么证明
无非三样:星数、README 的措辞、作者是谁。
这三样都不是证据。skill 的文件结构挺简单,一个 SKILL.md 写触发条件和步骤,加上脚本、模板、参考文档。本质是软件资产,可它没走软件的流程:没有测试,也没有版本回归和合并前的门禁。
你从网上装一个 skill,它读你仓库、跑你的命令、用你的 API key。它更新了,你 pull 下来,行为就跟着变了。变好还是变坏,你只能靠感觉。
三层,各回答一个问题
SkillEvaluator 把验收拆成三层,每一层独立,想跑哪层跑哪层。
第一层,静态检查。 看结构是否合规、脚本有没有安全问题、依赖里有没有已知漏洞、文档里有没有泄露个人信息。安全扫描调 SkillSpector 和 Gitleaks,Semgrep 可选,Python 依赖用 Bandit。不需要 API key,不需要 GPU,也不需要 Docker,几十秒出结果。分数阈值默认 70,退出码 0 是通过,1 是有检查没过或者证据不全,2 是配置写错。
这层文档里有一句话值得单独拿出来说:通过只表示静态检查过了,“This does not measure live agent performance”。这是整份文档最诚实的地方。你把 SKILL.md 写得结构完整、脚本干净,拿八十几分不难,可这跟它有没有用,一点关系都没有。
第二层,去重。 用 embedding 比相似度,既看一个 skill 内部有没有把同一套指导写三遍,也支持拿一份 skill catalog 跨项目比对。
为什么这层重要,原因很直接:skill 是往 context 里塞的。同一段指导写三遍,吃的是你的 token 预算,还会互相打架,agent 不知道该听哪条。跨库比对更狠一点:你准备发出去的那个 skill,可能跟用户已经装的那个重合 90%。
第三层,对照实验。 这是唯一回答"有没有用"的一层。
做法很朴素:同一个 agent(codex、claude-code、opencode 三个选一个),同一批 case,装 skill 跑一遍,不装跑一遍。两次都在 Harbor 沙箱里执行,所以唯一的变量是 skill 本身。两份结果的带符号差值叫 Skill Lift。多跑几次看 pass@k,这是稳定性,和 Lift 分开报。
分数不能跨版本比
有个细节挺有意思。官方 README 里那个示例 skill,v0.9.0 的文档写的是 84.5 分(B),主分支 README 写的是 86.2 分(B)。
同一份示例,两个数。评分器自己在变,规则在改,权重在调。
所以"我 84 分,你 86 分,我的更好"这种比法没有意义。有意义的只有自己跟自己比。0.9.0 加了 compare-to 和 compare-versions,就是把两次运行放在一起看,而不是跟别人的截图比。这条对任何评测系统都成立,模型跑分也一样,榜单换个 prompt 就换个数。
连评测本身都是确定性优先
三层跑完,报告里排头的是五个维度:Security、Correctness、Discoverability、Effectiveness、Efficiency。
看每个维度的来源就有意思了。
Security 靠确定性检查 trace 和 agent 的动作。Discoverability 靠确定性检查执行轨迹,看该加载 skill 的时候到底加载了没有。Efficiency 也是确定性检查,看有没有乱调工具、白烧 token。
Correctness 靠 LLM judge 打分。Effectiveness 一半靠 judge 判断目标达成,一半靠事先声明的 behavior_check 直接判定。
五个维度,三个纯确定性,一个纯 judge,一个各占一半。
也就是说,给一个不确定的系统做评测,套路还是先把能确定性判定的部分拿回来,只在真正需要理解语义的地方花模型的钱。这套思路和昨天写的那篇阿里代码评审工具是同一个道理,只是换到了评测层。
几个真会踩的坑
没有 baseline 就没有结论。 工具支持只跑 baseline 那一臂做校准。这种运行在报告里 Lift 显示的是 skipped 或 N/A,verdict 保持 NEUTRAL,绝不填 0.0。“不知道"就得写成不知道,不能写成一个数字。这个习惯自己搭评测脚本的人也值得抄。
题集覆盖度比分数重要。 没有人工题集的时候,autopilot 会自动造一个起步 case。官方自己提示这种情况下 coverage 有限,模板里也不会包含人工写的负例。用自动生成的题集刷高分,等于自己出题自己考。
judge 会飘,要审。 0.9.0 专门加了 validate-grader 命令验评分器本身,把 judge 的请求和回复都留存下来,还允许配 judge 重试和降级策略。承认 judge 不可靠,然后给它留审计痕迹,这比假装它准要靠谱。
要花钱。 第三层是唯一真要花钱的:真跑 agent,真开沙箱。所以它给了 token、judge 调用次数、尝试次数、按价格折算的成本四道预算上限。超了就保留部分结果,不给你一个跑了一半的假结论。
那你到底该跑哪一层
我按三种场景给建议。
自己用的 skill,第一层加三条人工 case 就够了。格式、脚本 lint、凭据扫描是硬需求,剩下的你自己用两天就知道好不好,没必要为了一个私有 skill 开沙箱烧钱。
准备发出去的 skill,至少做一次 baseline 对照,10 条 case 起,把 Lift 写进 README。写不出 Lift,就别在 README 里写"提升开发效率"这种话。
团队共享的 skill 库,进 CI。第一层做硬门禁,它本来就是为 PR 设计的,一条命令会把工作流 PR 开出来。第二层出报告但不阻塞合并。第三层只在改 prompt 主体或者换模型的时候跑,平时跑不起。
最后说句不好听的
skill 这件事,现在被高估的是数量,被低估的是验收。
一个仓库塞 82 个 skill、README 写得像产品发布会,这不构成任何证据。真正的证据只有一句:同一个 agent,同一个任务,装上它之后失败率降了多少。
这句话说不出来的 skill,大概率是靠这一版模型的常识在撑。下一版模型出来,它就没有存在理由了。
参考来源: