Together AI 介绍
这是什么 Together AI?
Together AI 是一个 AI 加速云，提供生成式 AI 全生命周期的端到端平台。通过易用的 API 和高度可扩展的基础设施，支持快速推理、微调和训练生成式 AI 模型。用户可以运行和微调开源模型，在 AI 加速云和可扩展 GPU 集群上大规模训练和部署模型，并优化性能和成本。平台支持 200 多种生成式 AI 模型，涵盖聊天、图像、代码等多种模态，提供兼容 OpenAI 的 API。
如何使用 Together AI?
用户可以通过易用的 API 进行无服务器推理，或通过专用端点在自定义硬件上部署模型。微调可通过简单命令或 API 控制超参数完成。可申请 GPU 集群进行大规模训练。平台还提供网页 UI、API 和 CLI，用于启动或停止端点及管理服务。提供代码执行环境以构建和运行 AI 开发任务。
为什么选择 Together AI?
如果您需要一个强大的一体化 AI 加速平台，轻松处理训练、微调和推理，Together AI 是理想选择。它适合需要可扩展 GPU 集群和支持大量生成式 AI 模型的用户，并且提供兼容 OpenAI 的 API，方便无缝接入。无服务器推理和专用端点让自定义硬件部署轻松便捷。
Together AI 功能特点
AI API
- ✓无服务器推理 API，支持开源模型
- ✓专用端点，支持自定义硬件部署
- ✓微调（LoRA 和全微调）
- ✓Together Chat 应用，支持开源 AI
- ✓代码沙箱，用于 AI 开发环境
- ✓代码解释器，执行 LLM 生成代码
- ✓GPU 集群（即时和预留），配备 NVIDIA GPU（GB200、B200、H200、H100、A100）
- ✓丰富的模型库（200+ 生成式 AI 模型）
- ✓兼容 OpenAI 的 API
- ✓加速软件栈（如 FlashAttention-3、自定义 CUDA 内核）
- ✓高速互联（InfiniBand、NVLink）
- ✓强大的管理工具（Slurm、Kubernetes）
常见问题
价格
无服务器推理
价格按每百万令牌计费（聊天、多模态、语言、代码为输入输出，嵌入仅输入，图像模型按图像大小/步骤计）。批量推理享受 50% 首次折扣。具体模型价格根据大小和类型从每百万令牌 0.06 美元到 7.00 美元不等。
专用端点
在可定制 GPU 端点上部署模型，按分钟计费。支持多种 NVIDIA GPU，如 RTX-6000、L40、A100、H100、H200。价格从 RTX-6000/L40 的 0.025 美元/分钟（1.49 美元/小时）到 H200 的 0.083 美元/分钟（4.99 美元/小时）不等。
微调
价格基于模型大小、数据集大小和训练轮数。监督微调（LoRA）价格为每百万令牌 0.48 至 2.90 美元。全微调价格为每百万令牌 0.54 至 3.20 美元。DPO（LoRA）价格为每百万令牌 1.20 至 7.25 美元。DPO（全微调）价格为每百万令牌 1.35 至 8.00 美元。
Together GPU 集群
配备 NVIDIA Blackwell 和 Hopper GPU（H200、H100、A100）的先进集群，优化 AI 训练和推理。H200 起价 2.09 美元/小时，H100 起价 1.75 美元/小时，A100 起价 1.30 美元/小时。GB200 和 B200 价格需联系。
代码执行
Together Code Sandbox 按 vCPU 计费（0.0446 美元/小时）和内存计费（0.0149 美元/小时）。Together Code Interpreter 按会话计费（60 分钟 0.03 美元）。
