Skip to content

modelscope_model.md

Latest commit

 

History

History
76 lines (52 loc) · 2.23 KB

modelscope_model.md

File metadata and controls

76 lines (52 loc) · 2.23 KB

ModelScope 模型下载配置

模型介绍

BAAI/bge-reranker-v2-m3 是北京智源研究院（BAAI）推出的多语言重排序模型，基于 XLMRobertaForSequenceClassification 架构：

  • 原生 CrossEncoder 兼容：BERT 式 Encoder-only 架构，sentence-transformers 原生支持
  • 多语言：支持 100+ 语言，中文和英文表现优秀
  • 长上下文：最大 8192 tokens
  • 轻量级：仅 568M 参数，适合本地笔记本部署

安装步骤

1. 安装依赖包

# 进入后端目录
cd backend

# 安装重排序模型依赖
uv add sentence-transformers torch

2. 模型获取方式

方法一：自动下载（推荐）

系统支持自动检测和下载模型。当 FastAPI 服务器启动时：

  1. 自动检查配置的模型路径是否存在
  2. 如果不存在，自动从 ModelScope 下载模型到指定路径
  3. 下载完成后在第一次使用时自动加载

无需手动下载，系统会在服务器启动时自动完成检查和下载。

方法二：手动从 ModelScope 下载

如果需要手动下载：

  1. 访问模型页面：BAAI/bge-reranker-v2-m3 · 模型库
  2. 下载完整模型文件到本地目录，推荐路径： 
    D:\Hugging_Face\models\bge-reranker-v2-m3

环境变量配置

在 .env 文件中配置模型路径：

# 重排序模型配置（可选）
RERANKER_MODEL_PATH=D:\Hugging_Face\models\bge-reranker-v2-m3

硬件要求

  • CPU 模式：任意现代 CPU（推荐 8GB+ 内存）
  • GPU 模式：支持 CUDA 的 NVIDIA GPU（推荐，大幅提升性能）

软件要求

  • Python 3.8+
  • PyTorch 2.0+
  • sentence_transformers 2.2.0+

性能优化建议

  1. GPU 加速：确保安装了 CUDA 版本的 PyTorch 以获得最佳性能
  2. 批量处理：虽然当前设置 batch_size=1 避免 padding 错误，但在文档数量较少时可以尝试增加批次大小
  3. 模型缓存：模型会在服务启动时加载一次，后续请求无需重新加载

版本信息

  • 模型版本：BAAI/bge-reranker-v2-m3（XLMRobertaForSequenceClassification）
  • sentence-transformers：2.2.0+
  • PyTorch：2.0+

← 返回首页