开源、可信的大模型资产管理平台CSGHub

CSGHub Server是开源、可信的大模型资产管理平台CSGHub的服务端部分开源项目，提供基于REST API的模型、数据集等大模型资产管理功能。

1709883758915

主要功能：

  • 用户和组织的创建和管理
  • 模型、数据集托管，支持以https或git协议的方式上传和下载模型、数据集文件
  • 模型、数据集标签的自动生成
  • 用户、组织、模型和数据的搜索
  • 数据集文件在线预览，目前支持.parquet格式文件
  • 文本、图像内容审核
  • 单个文件下载，包括LFS文件下载
  • 模型、数据集活跃度数据跟踪，如下载量、Like量等

功能演示

为了帮助您更直观地了解 CSGHub 的功能和使用方法，我们录制了演示视频。您可以通过观看视频，快速了解本项目的主要特性和操作流程。

  • CSGHub功能演示可以通过外部视频网站查看 YouTube 或 Bilibili

更完整的功能请移步OpenCSG官网(https://portal.opencsg.com/models)，体验"模型"和"数据集"的强大管理功能。

快速使用

系统资源需求: 4c CPU/8GB内存 请准备自行安装docker程序，本项目已在 Ubuntu22 环境下中完成测试。

您可以通过docker-compose快速部署本地化的csghub-server服务：

1
2
3
4
5
# API token 长度至少为128个字符，发往 csghub-server 的 http 请求需要将 API token 作为 Bearer token 来做身份验证
export STARHUB_SERVER_API_TOKEN=<API token>
mkdir -m 777 gitea minio_data
curl -L https://raw.githubusercontent.com/OpenCSGs/csghub-server/main/docker-compose.yml -o docker-compose.yml
docker compose -f docker-compose.yml up -d

技术架构

csghub-server architecture

可扩展可定制

  • 支持不同的Git Server，如gitea，gitlab等
  • 支持灵活配置LFS存储系统，可选择使用本地或第三方兼容S3协议的任意云存储服务
  • 按需开启内容审核，选择任意第三方内容审核服务

技术规划

  • 支持更多Git Server: 目前内置了对gitea的支持，未来计划实现对主流Git仓库的支持
  • 支持Git LFS: Git LFS支持超大文件， 支持git命令操作和Web UI在线下载
  • 数据集在线预览: 数据集预览，支持LFS格式数据集的Top20/TopN加载预览
  • 模型和数据集自动打标签:：支持自定义元数据和自动化提取模型/数据集标签
  • S3协议兼容: 支持S3(MinIO)存储协议，更高的可靠性和存储性价比
  • 模型格式转换: 主流模型格式转化
  • 模型一键部署: 支持与OpenCSG llm-inference集成， 一键启动模型推理