产品介绍
PrivateGPT 是什么？
PrivateGPT 是将本地托管模型转为生产级 AI 应用的开源 API 层。它在本地推理服务器之上提供应用构建模块，让开发者无需把数据发送到云端模型 API，也无需重复搭建导入、检索、编排和工具基础设施，即可创建私有 AI 工作流。
该 API 遵循 Claude 消息模式，也能与使用本地 OpenAI 兼容供应商的工具配合。PrivateGPT 可连接 Ollama、llama.cpp、vLLM 和 LocalAI 等模型服务器。内置工作台用于测试、演示、内部试点和检查 API 请求，API 则是主要产品界面。
如何使用 PrivateGPT
- 在目标环境运行受支持的本地模型服务器。
- 安装并配置 PrivateGPT 作为应用 API 层。
- 将开发工具、内部应用或自动化平台连接到本地端点。
- 导入文档、文件、数据库、CSV 或其他获准上下文。
- 基于 API 构建消息、检索、工具、MCP 或智能体工作流。
- 使用工作台测试行为并检查请求，再集成到生产应用。
核心功能
- 消息 API： 支持标准消息、流式响应、异步处理和 Token 计数。
- 文件导入： 处理文档和其他文件，作为私有 AI 上下文。
- 带引用检索： 构建基于来源并支持引用的 RAG 答案。
- 结构化数据访问： 处理数据库、CSV 和表格数据。
- 嵌入与编排： 协调检索、嵌入、工具和本地模型调用。
- 自定义工具与 MCP： 连接本地 MCP 服务或获准的在线供应商。
使用场景
- 私有文档助手： 在不向外部模型 API 发送文档的情况下完成问答。
- 本地开发工具： 为编码助手和本地 AI 客户端提供私有后端。
- 内部 RAG 应用： 在一个 API 后整合文档导入、检索、引用和本地推理。
- 结构化数据工作流： 在私有环境中处理数据库和 CSV。
- 自动化系统： 将本地 AI 能力连接到 n8n 或内部流程平台。
常见问题
PrivateGPT 需要云端模型 API 吗？
不需要。它被设计为与本地模型服务器配合，不依赖云端 API。
官网列出哪些本地推理服务器？
官网列出 Ollama、llama.cpp、vLLM、LocalAI 及其他 OpenAI 兼容服务器。
PrivateGPT 和 Zylon 有什么区别？
PrivateGPT 是开源本地应用 API；Zylon 是覆盖部署、治理、运营、身份、审计和支持的完整企业基础设施。
