参数说明#
执行 evalscope eval --help 可获取全部参数说明。
环境变量#
以下环境变量可在启动前设置,用于控制全局默认行为:
环境变量 |
说明 |
默认值 |
|---|---|---|
|
EvalScope 缓存根目录,用于存放数据集、评测中间文件等 |
|
|
全局默认语言,影响报告等输出语言( |
|
|
评测进度心跳上报间隔(秒) |
|
|
ModelScope 模型与数据集缓存根目录 |
|
|
数据集转换的批处理大小 |
|
模型参数#
参数 |
类型 |
说明 |
默认值 |
|---|---|---|---|
|
|
被评测的模型名称 |
- |
|
|
模型别名,用于报告展示 |
|
|
|
模型API端点,支持OpenAI兼容格式和OpenAI Responses API根路径 |
|
|
|
模型API端点密钥 |
|
|
|
模型加载参数,逗号分隔的 |
|
|
|
模型任务类型 |
|
|
|
模型推理模板,支持Jinja模板字符串(仅本地推理支持该参数) |
|
示例:
# key=value形式
--model-args revision=master,precision=torch.float16,device_map=auto
# JSON字符串形式
--model-args '{"revision": "master", "precision": "torch.float16", "device_map": "auto"}'
模型推理参数#
--generation-config 参数支持以下配置项(逗号分隔的key=value或JSON字符串):
参数 |
类型 |
说明 |
支持的后端 |
|---|---|---|---|
|
|
请求超时时间(秒) |
所有 |
|
|
重试次数,默认为5 |
OpenAI兼容 |
|
|
重试间隔时间(秒),默认10 |
OpenAI兼容 |
|
|
是否流式返回响应 |
所有 |
|
|
最大生成token数量 |
所有 |
|
|
Nucleus采样,考虑概率质量为top_p的token |
所有 |
|
|
采样温度,范围0~2,越高越随机 |
所有 |
|
|
触发停止生成的序列列表,返回文本不包含该序列 |
所有 |
|
|
范围-2.0~2.0,正值惩罚重复token |
OpenAI兼容 |
|
|
范围-2.0~2.0,正值惩罚已出现token |
OpenAI兼容 |
|
|
对已生成token施加指数惩罚,1.0 表示不惩罚 |
OpenAI兼容、HuggingFace、vLLM |
|
|
token id到偏置值的映射(-100~100) |
OpenAI兼容 |
|
|
随机种子 |
OpenAI兼容 |
|
|
是否采用采样策略(否则贪婪解码) |
Transformers |
|
|
从top_k最可能的词中采样 |
Anthropic、Google、HuggingFace、vLLM、SGLang |
|
|
是否返回输出token的对数概率 |
OpenAI兼容、HuggingFace、llama-cpp-python |
|
|
返回概率最高的前N个token(范围0~20) |
OpenAI兼容、HuggingFace |
|
|
工具调用是否支持并行 |
OpenAI、Groq |
|
|
请求结构化输出(JSON Schema),仍需对输出做校验 |
OpenAI、Google、Mistral |
|
|
reasoning 努力程度,原样透传给服务端(如 |
OpenAI兼容 |
|
|
reasoning 最大 token 预算(thinking budget) |
Anthropic Claude |
|
|
reasoning 摘要级别,可选 |
OpenAI reasoning 系列 |
|
|
多轮对话中如何编码上一轮 assistant 的 |
OpenAI兼容 |
|
|
向OpenAI兼容服务发送的额外请求体 |
OpenAI兼容服务 |
|
|
向OpenAI兼容服务发送的额外查询参数 |
OpenAI兼容服务 |
|
|
向OpenAI兼容服务发送的额外请求头 |
OpenAI兼容服务 |
|
|
图像生成模型专用,指定图像高度 |
图像生成模型 |
|
|
图像生成模型专用,指定图像宽度 |
图像生成模型 |
|
|
图像生成模型专用,推理步数 |
图像生成模型 |
|
|
图像生成模型专用,指导尺度 |
图像生成模型 |
示例:
# key=value形式
--generation-config do_sample=true,temperature=0.5
# JSON字符串形式(支持更复杂参数)
--generation-config '{"do_sample":true,"temperature":0.5,"extra_body": {"chat_template_kwargs":{"enable_thinking": false}}}'
数据集参数#
参数 |
类型 |
说明 |
默认值 |
|---|---|---|---|
|
|
数据集名称列表,空格分隔 |
- |
|
|
数据集下载路径 |
|
|
|
数据集下载源 |
|
|
|
每个数据集最大评测数据量 |
|
|
|
重复推理一个样例多次 |
|
|
|
数据集配置参数(JSON字符串),详见下表 |
|
dataset-args 配置项#
--dataset-args 为JSON字符串,每个数据集可配置以下参数:
参数 |
类型 |
说明 |
|---|---|---|
|
|
数据集modelscope id/本地路径 |
|
|
本地数据集路径,已废弃,请使用 |
|
|
评测样本超时时间(秒),代码类任务建议设置 |
|
|
Prompt模板,示例: |
|
|
系统prompt |
|
|
评测数据子集列表 |
|
|
few-shot示例数量 |
|
|
是否随机采样few-shot数据 |
|
|
是否打乱数据 |
|
|
是否打乱选项顺序(仅多选题) |
|
|
指标列表。应使用 |
|
|
评测结果聚合方式,默认 |
|
|
输出过滤器 |
|
|
是否强制重新下载数据集 |
|
|
数据集相关的额外参数,具体参考各数据集说明,指定 |
|
|
Sandbox配置(详见下方Sandbox参数) |
sandbox_config 配置项:
参数 |
类型 |
说明 |
默认值 |
|---|---|---|---|
|
|
Docker镜像名称 |
|
|
|
是否启用网络 |
|
|
|
工具配置字典 |
|
示例:
--datasets gsm8k arc ifeval hle \
--dataset-args '{
"gsm8k": {
"few_shot_num": 4,
"few_shot_random": false
},
"arc": {
"dataset_id": "/path/to/arc"
},
"ifeval": {
"filters": {
"remove_until": "</think>"
}
},
"hle": {
"extra_params": {
"include_multi_modal": false
}
}
}'
评测参数#
参数 |
类型 |
说明 |
默认值 |
|---|---|---|---|
|
|
评测类型 |
|
|
|
评测批量大小,作用于以下阶段: |
|
|
|
评测后端 |
|
|
|
非Native后端的配置文件路径 |
- |
Judge参数#
Native LLM Judge 通过一个 typed judge 对象配置:Python/YAML 使用 judge={...},CLI 使用
--judge '<JSON object>'。
TaskConfig(
model='MODEL',
datasets=['simple_qa'],
judge={
'strategy': 'llm',
'models': {
'model_id': 'JUDGE_MODEL',
'api_url': 'OPENAI_COMPATIBLE_URL',
'api_key': 'JUDGE_API_KEY',
'generation_config': {'temperature': 0.0, 'retries': 3},
},
'repeats': 1,
'position_swap': 'auto',
'aggregation': 'mean',
'min_valid_judges': 1,
},
)
models 可传单个对象或对象列表。列表表示独立 Judge;重复的 model_id 必须显式指定不同的
judge_id,唯一 model_id 默认同时作为 judge_id。
字段 |
类型 |
说明 |
默认值 |
|---|---|---|---|
|
|
|
|
|
|
一个或多个 Judge 模型配置;为保证 review cache 可复现,必须给出 |
|
|
|
每个 Judge 的独立判分观测次数,不等同于 transport retry。 |
|
|
|
|
|
|
|
普通指标的跨观测聚合方式。 |
|
|
|
一个指标所需的最少有效 Judge verdict 数。 |
|
models 的每项支持 judge_id、model_id、api_key、api_url、eval_type、model_args 与
generation_config。provider 私有的模型初始化参数放入 model_args;transport 重试放入
generation_config.retries。
judge.contract 仅配置通用单 verdict Judge:system_prompt、prompt_template、score_mapping 和
score_type。pattern 要求 Judge 在 JSON 中返回 score_mapping 之一;numeric 要求 JSON 分数位于
[0, 1]。框架会在 prompt 中追加 JSON 格式要求,只解析一次普通模型回复;不使用 constrained decoding、
正则提分或纠正性追问。无效回复显示为 unavailable,并从指标中排除,而非记为 0。
对于经过 LLM 判定的样本,报告包含 JudgeSummary:覆盖率、失败计数与分歧。当 adapter 通过确定性的
Judge 短路直接判定样本时,得分 metadata 会记录 judge_skipped=true 和 judge_skip_reason;Web review
面板会将其标为规则直接判分,而非 LLM verdict。native 评测复用 prediction 和 review 前要求缓存的评测身份完全匹配。
设置 rerun_review=True 可复用 prediction 并重算 review,新的 review 文件只有成功后才原子替换旧文件;它也是身份
不匹配时唯一的显式覆盖开关,生成的配置会在当前评测版本下记录 prediction 来源。
如果重评失败或被中断,请保持 use_cache 指向原评测输出目录,并设置 rerun_review=True 继续重评。
系统会复用已保存的模型回答并重新评分。尚未完成重评的基准不能直接复用旧评分结果。
旧 judge_strategy 和单个 mapping judge_model_args 仅保留一轮输入迁移并会告警。已删除的
judge_worker_num 和 score_pattern 会明确报错。
Sandbox参数#
EvalScope 使用嵌套的 --sandbox 配置(对应 SandboxTaskConfig)统一管理沙箱设置。
--sandbox 配置项#
参数 |
类型 |
说明 |
默认值 |
|---|---|---|---|
|
|
是否启用沙箱 |
|
|
|
沙箱引擎,可选 |
|
|
|
任务级沙箱配置,将与 |
|
|
|
转发给 ms_enclave manager 构造函数的参数(如远端 docker daemon 的 |
|
|
|
池化执行的预热池大小, |
|
完整使用方法(含本地与远端管理器配置示例)请参考 沙箱环境使用。
Agent 参数#
--agent-config / agent_config 用于启用 Agent 评测:当设置后,所有基于 DefaultDataAdapter 的基准会改用 内置 AgentLoop 进行推理,或通过 外部 Agent Bridge 转交给 Claude Code / Codex 等成品 CLI。AgentLoopAdapter 子类(如 swe_bench_*_agentic)保留 benchmark 默认值,同时接受其支持的显式覆盖,例如策略、步数和工具。
参数 |
类型 |
说明 |
默认值 |
|---|---|---|---|
|
|
Agent 全局配置,详见下表 |
|
agent-config 配置项#
字段 |
类型 |
说明 |
默认值 |
|---|---|---|---|
|
|
策略名称: |
|
|
|
工具白名单: |
|
|
|
Agent 命令执行环境,例如 |
|
|
|
Agent 环境构造参数;Docker 镜像放在 |
|
|
|
循环迭代硬上限 |
|
|
|
策略构造参数,例如 |
|
参见
完整使用说明、用例与 Trace 可视化请参见 Agent 评测。
其他参数#
参数 |
类型 |
说明 |
默认值 |
|---|---|---|---|
|
|
评测输出路径(详见下方目录结构) |
|
|
|
是否不在工作目录中添加时间戳 |
|
|
|
复用本地缓存路径(如 |
|
|
|
配合 |
|
|
|
是否开启进度追踪,将层级评测进度实时写入 |
|
|
|
采集每次推理请求的性能指标(延迟、TTFT、Token 用量),汇总后写入评测报告。采集 TTFT 需开启 |
|
|
|
随机种子 |
|
|
|
是否开启调试模式 |
|
|
|
是否忽略生成过程中的错误 |
|
|
|
预检参数,不执行推理,只打印参数 |
|
work-dir 目录结构示例#
./outputs/{timestamp}/
├── configs/
│ └── task_config_b6f42c.yaml # 任务配置
├── logs/
│ └── eval_log.log # 评测日志
├── predictions/
│ └── {model_id}/
│ └── {dataset}.jsonl # 模型推理结果
├── reports/
│ └── {model_id}/
│ └── {dataset}.json # 评测报告
├── reviews/
│ └── {model_id}/
│ └── {dataset}.jsonl # 评测结果详情
└── progress.json # 进度追踪文件(启用--enable-progress-tracker时生成)
progress.json 文件格式示例:
{
"status": "running",
"pipeline": "eval",
"total_count": 14042,
"processed_count": 5200,
"percent": 37.03,
"stage": {
"name": "Evaluating", "label": "mmlu",
"current": 1, "total": 3, "status": "running",
"children": [
{"name": "Predicting", "label": "mmlu@test", "current": 1000, "total": 1000, "status": "completed", "children": []},
{"name": "Reviewing", "label": "mmlu@test", "current": 320, "total": 1000, "status": "running", "children": []}
]
},
"updated_at": "2026-03-09T10:05:42Z"
}