产品介绍
LocalGPT 是什么？
LocalGPT 是开源的本地部署文档智能平台，可在不把文档数据发送到用户机器之外的情况下进行问答、摘要和信息提取。它结合通过 Ollama 运行的本地模型、检索系统、网页界面、会话管理和用于构建其他 RAG 应用的 API。
其混合搜索组合语义相似度、关键词匹配和 Late Chunking。智能路由会为每个问题选择 RAG 或直接模型回答，查询拆分、上下文增强、剪枝、重排序、缓存和独立验证步骤则用于提高答案聚焦度。
如何使用 LocalGPT
- 安装 Python、Node.js 和 Ollama，或使用项目提供的 Docker 方案。
- 下载部署所需的本地推理模型和嵌入模型。
- 启动各项服务并打开本地网页界面。
- 创建索引并添加需要检索的文档。
- 新建聊天会话，用自然语言提问并查看返回的文档引用。
核心功能
- 本地处理： 将文档和模型推理保留在用户基础设施中。
- 混合检索： 组合语义相似度、关键词匹配和 Late Chunking。
- 智能路由： 为每个请求选择 RAG 或直接模型回答。
- 答案验证： 在返回答案前运行独立验证步骤。
- 会话式聊天： 保留对话上下文，并按主题组织聊天。
- 开发者 API： 提供 REST 端点、处理进度、配置和扩展架构。
使用场景
- 私密文档问答： 在本地环境中查询内部文件。
- 文档摘要： 从本地文档集合中提取简明信息。
- RAG 应用开发： 以 API 为基础构建私有检索应用。
- 本地模型实验： 更换推理、嵌入和重排序模型。
价格
LocalGPT 采用 MIT 许可证并可自行托管，用户自行承担部署硬件和运行成本。
常见问题
LocalGPT 会把文档发送到外部服务吗？
项目说明文档数据会保留在用户自己的机器上。
它使用什么模型运行时？
文档配置使用 Ollama 进行本地推理，并支持多种开源模型和嵌入。
可以不使用网页界面吗？
可以。它提供 REST API，并可在不启动前端的情况下运行后端和 RAG 服务。
