产品介绍
Project Astra 是什么？
Project Astra 是 Google DeepMind 探索通用 AI 助手能力的研究原型。它结合实时音频、摄像头画面、屏幕共享、工具、个性化和多模态记忆，让助手理解用户当前环境、自然对话并采取行动。部分最初由 Project Astra 探索的能力已进入 Gemini Live，Google 还在研究将其用于搜索体验和眼镜等新设备形态。
该原型可以主动回应、忽略无关背景对话、在屏幕上标记重要物体，并使用 Search、Gmail、Calendar、Maps、Photos 和 Lens 等 Google 服务。它会把用户偏好和历史交互细节用于后续回答，并在用户从 Android 手机切换到原型眼镜时保留对话上下文。
如何使用 Project Astra
- 符合条件的用户可加入有限研究项目的可信测试者候补名单。
- 在受支持的 Android 手机上，将摄像头对准物体或环境，或共享屏幕。
- 围绕助手看到的内容或用户需要完成的任务开始语音对话。
- 让原型检索用户分享的内容、使用获准 Google 工具，或响应视觉场景变化。
- 在另一台受支持设备上继续对话，由跨设备记忆保留上下文。
核心功能
- 自然语音交互： 通过改进的音频输入输出支持跨语言对话。
- 实时视觉理解： 随摄像头画面和共享屏幕变化理解视觉上下文。
- 主动协助： 无需僵化命令即可主动发起相关回应并采取行动。
- Google 工具使用： 使用 Search、Gmail、Calendar、Maps、Photos 和 Lens 等服务。
- 个性化推理： 保留用户偏好，并解释个性化答案背后的思路。
- 多模态记忆： 融合不同数据形式，并跨交互和设备记住关键细节。
使用场景
- 视觉辅助： 通过手机摄像头描述环境或识别物体。
- 低视力支持： 在测试项目的专业人工监督下帮助盲人和低视力用户理解陌生空间。
- 屏幕协助： 用户共享手机屏幕时讨论可见内容。
- 个人任务： 检索用户分享的说明书或食谱并用于当前情境。
- 跨设备协助： 在手机和原型眼镜之间切换，无需重新开始对话。
常见问题
Project Astra 已公开提供吗？
没有。Google DeepMind 将其描述为仅向少量可信测试者开放的研究原型，并提供候补名单。
Project Astra 使用哪些设备？
页面列出 Android 手机和原型眼镜。
Project Astra 的能力是否已进入 Google 产品？
是。Google 表示屏幕共享、视频理解等部分能力最初在 Project Astra 中探索，之后已进入 Gemini Live。
