安装

方式1. 使用pip安装

我们推荐使用conda来管理环境，并使用pip安装依赖:

1. 创建conda环境 (可选)

# 建议使用 python 3.10
conda create -n evalscope python=3.10

# 激活conda环境
conda activate evalscope

2. pip安装依赖

pip install evalscope                # 安装 Native backend (默认)
# 额外选项
pip install evalscope[opencompass]   # 安装 OpenCompass backend
pip install evalscope[vlmeval]       # 安装 VLMEvalKit backend
pip install evalscope[rag]           # 安装 RAGEval backend
pip install evalscope[perf]          # 安装 模型压测模块 依赖
pip install evalscope[all]           # 安装所有 backends (Native, OpenCompass, VLMEvalKit, RAGEval)

警告

由于项目更名为evalscope，对于v0.4.3或更早版本，您可以使用以下命令安装：

pip install llmuses<=0.4.3

使用llmuses导入相关依赖：

from llmuses import ...

方式2. 使用源码安装

使用源码安装可使用最新功能

1. 下载源码

git clone https://github.com/modelscope/evalscope.git

2. 安装依赖

cd evalscope/

pip install -e .                  # 安装 Native backend
# 额外选项
pip install -e '.[opencompass]'   # 安装 OpenCompass backend
pip install -e '.[vlmeval]'       # 安装 VLMEvalKit backend
pip install -e '.[rag]'           # 安装 RAGEval backend
pip install -e '.[perf]'          # 安装 模型压测模块 依赖
pip install -e '.[all]'           # 安装所有 backends (Native, OpenCompass, VLMEvalKit, RAGEval)