大模型评测审查

安装与使用 Eval Audit

1. 安装 Skill

   在项目中运行上游安装命令，然后依照作者的安装说明和下方使用条件继续。

   npx skills add ai-evals-course/evals-skills --skill eval-audit

2. 向 Agent 提供任务

   提供相关文件、背景与约束。例如：

   审查这些评测数据集、评判指令和报告，找出数据泄漏、缺少验证与过期检查。

关于这个 Skill

审查大模型评测流程，检查错误分析缺失、评委模型未经验证、数据泄漏和评测过时等问题。

为什么推荐

针对产品评测材料进行专项审查，包括评委模型与人工标签的一致性验证。

适合用来做什么

• 检查已有大模型评测系统，按证据确定改进优先级。

工作方式与边界

输出是审查结果与优先建议，不代表评委模型已完成校准；仓库另有建立和验证评测器的工作流。

使用前需要了解

• 提供评测轨迹、评委提示词、标注数据或其他流程材料；可选连接观测平台。