产品介绍
OpenPipe 是什么？
OpenPipe 是面向 LLM 应用和智能体团队的模型训练、评估与托管平台。其 SDK 可记录应用中的请求和响应，团队可筛选这些数据或导入外部数据来建立训练集，再据此训练专用模型。产品支持监督微调、直接偏好优化、评估和托管部署。
OpenPipe 使用兼容 OpenAI 的推理格式，因此应用从第三方基础模型切换到训练后的部署时，通常只需较少的集成调整。它适合重复性生产任务：较小的专用模型可能在达到团队评估标准的同时降低延迟或成本。
如何使用 OpenPipe
- 将 SDK 接入现有的模型应用。
- 收集有代表性的请求、响应、反馈和有用元数据。
- 筛选日志或导入已审核样本，创建训练数据集。
- 通过微调或偏好优化训练模型，并与基线比较。
- 部署选定模型、监控输出，并持续改进数据集。
核心功能
- 请求日志： 记录应用输入输出，并通过标签支持后续分析。
- 数据集管理： 从日志或兼容 OpenAI 的 JSONL 文件建立数据集。
- 微调与 DPO： 根据示例和偏好数据训练专用模型。
- 评估与标准： 比较模型，并根据定义的预期衡量行为。
- 托管推理： 通过兼容 OpenAI 的聊天接口部署训练模型。
- 缓存与回退： 为生产工作负载提供响应缓存和回退机制。
使用场景
- 智能体强化与优化： 根据收集的执行轨迹、输出和偏好改进任务智能体。
- 降低成本： 用针对窄任务训练的小模型替代昂贵的重复提示。
- 减少延迟： 为高频工作流托管专用模型。
- 模型评估： 在相同输入和标准下比较训练模型、基础模型与第三方模型。
价格
训练按模型规模和数据集 Token 计费；当前文档列出的价格从 8B 及以下模型每百万训练 Token 0.48 美元，到 70B 及以上模型每百万 Token 2.90 美元。托管推理根据模型按 Token 或小时计算单元计费。第三方微调模型由对应供应商直接计费，OpenPipe 不额外加价。包含批量折扣、本地部署、支持、SLA、安全和扩展存储的企业方案采用定制价格。
常见问题
使用 OpenPipe 需要修改应用的响应解析吗？
训练后的部署使用兼容 OpenAI 的推理格式，可减少切换模型时的集成改动。
哪些数据会用于训练？
团队可以使用请求日志、标记样本、导入的 JSONL 数据和偏好信息。创建数据集前应删除敏感或无权使用的数据。
微调模型一定优于原模型吗？
不一定。结果取决于任务定义、数据质量、训练配置和评估设计，部署前应使用有代表性的独立样本进行比较。
