产品介绍
Together AI 是什么？
Together AI 是面向开发者和企业的全栈 AI 云平台，主要用于构建开放模型和自定义模型应用。平台覆盖模型推理、GPU 计算、微调、评测、托管存储，以及从无服务器 API 到专属基础设施的多种部署方式。
团队可以直接调用托管模型、为生产负载预留吞吐量、启动 GPU 集群，或使用自有训练数据调整模型。它属于基础设施，而不是面向终端用户的通用助手；应用界面、提示词、数据流程、安全规则和评测体系仍需由客户设计。
如何使用 Together AI
- 从支持的模型库中选择模型，或确定要部署的自定义模型。
- 原型阶段先使用无服务器推理，适配波动流量。
- 使用真实请求测试质量、延迟、上下文能力和成本。
- 在微调前先建立评测；只有提示词、检索或模型选择无法满足目标时再训练。
- 当负载稳定且规模足够时，再比较预留吞吐量或专属部署的经济性。
- 在生产环境持续监控 token 用量、错误、延迟、安全表现和模型版本变化。
在组织完成权限、数据保留、地域要求和服务条款审查前，不要提交密钥、受监管记录或个人数据。模型输出应视为不可信输入，在执行代码、数据库查询、金融操作或客户决策前必须验证。
核心功能
- 无服务器推理： 通过 API 使用托管模型，无需维护模型服务器。
- 批量推理： 处理不要求实时响应的大规模异步任务。
- 预留吞吐量： 为生产工作负载获得更可预测的容量。
- 专属推理： 运行专属模型或容器，满足隔离与定制需求。
- GPU 集群： 支持训练、微调和高计算量 AI 工作。
- 模型微调： 提供 LoRA、全量微调和偏好优化等方式。
- 模型评测： 用可重复指标比较模型和 checkpoint。
- 开发环境与存储： 为开发流程提供 sandbox 和托管存储。
- 开放模型库： 浏览并部署多种语言与生成式开放模型。
使用场景
- 为应用增加文本生成、提取、分类或对话功能。
- 不自建推理栈，直接以生产 API 方式提供开放模型。
- 针对领域术语、风格、结构化输出或任务行为微调模型。
- 对大型文档或数据集执行离线批处理。
- 上线前比较多个模型的质量、延迟和成本。
- 为自定义模型或持续负载使用专属 GPU 容量。
- 为企业内部 AI 产品建立共享推理与评测层。
价格
定价按使用量计算，并随产品、模型、输入与输出 token、训练方式和基础设施选择而变化。无服务器推理通常按百万输入/输出 token 计费；微调按训练与评测 token 计费，并可能有最低任务费用。专属 endpoint、预留吞吐量和 GPU 集群采用独立的容量价格。模型与费率会变化，部署前应查看实时价格和计算器。
常见问题
Together AI 是聊天机器人吗？
不是。它是构建和运行 AI 应用的基础设施，开发者或产品团队需要提供界面、工作流、数据和业务逻辑。
它支持开放模型吗？
支持。开放模型访问和部署是平台核心能力，同时提供微调与自定义部署方式。
何时应使用专属推理？
当流量持续稳定、性能必须可预测，或工作负载需要指定模型、容器或隔离条件时，专属或预留容量更合适。
所有项目都需要微调吗？
不需要。应先建立评测集，并测试提示词、检索、工具调用和模型选择；只有这些方法无法稳定达到目标时才进行微调。
