Pods — @mariozechner/pi-pods
概述
pi 简化了在远程 GPU Pod 上运行大语言模型的过程，它自动：
- 在新的 Ubuntu Pod 上设置 vLLM
- 为 Agent 模型（Qwen、GPT-OSS、GLM 等）配置工具调用
- 在同一 Pod 上管理多个模型，智能分配 GPU
- 为每个模型提供 OpenAI 兼容的 API 端点
- 包含用于测试的交互式 Agent（带文件系统工具）
安装
npm install -g @mariozechner/pi
快速开始
# 设置环境变量
export HF_TOKEN=your_huggingface_token
export PI_API_KEY=your_api_key
# 设置 DataCrunch Pod
pi pods setup dc1 "ssh root@1.2.3.4" \
--mount "sudo mount -t nfs ..."
# 启动模型
pi start Qwen/Qwen2.5-Coder-32B-Instruct --name qwen
# 发送单条消息
pi agent qwen "什么是斐波那契数列？"
# 交互式聊天模式
pi agent qwen -i
# 使用 OpenAI 兼容客户端
export OPENAI_BASE_URL='http://1.2.3.4:8001/v1'
export OPENAI_API_KEY=$PI_API_KEY
前置要求
- Node.js 18+
- HuggingFace Token
- GPU Pod：
- Ubuntu 22.04 或 24.04
- SSH root 访问
- NVIDIA 驱动已安装
- 持久化存储（存放模型）
支持的 Provider
| Provider | 说明 |
|---|---|
| DataCrunch | 适合共享模型存储，NFS 卷可在同一区域的多个 Pod 间共享 |
| 即将支持 | Lambda Labs、Massed Compute、Paperspace、RunPod、Vast.ai |