LLM 和语音识别

Screph 支持本地和云连接。每个功能都使用明确选择的配置文件,并且在不更改设置的情况下不会切换到其他服务。

语言模型连接配置

配置文件包含服务类型、地址、模型和请求参数。支持 OpenAI、Anthropic、Gemini、OpenRouter、OpenAI 兼容服务、Ollama、LM Studio 和 LiteLLM Proxy。

为 Screph Code、智能体、计算机视觉、语义处理和连接检查指定连接配置。根据任务选择模型。

ChatGPT、Codex 与 OpenHands 连接

ChatGPT/Codex 使用独立的账户连接,并需要安装 Codex。OpenCodex 将 Codex 连接到所选兼容服务,需要单独配置。OpenHands 使用受支持的直接连接或代理连接,并配置模型和密钥,不使用 ChatGPT 账户登录。

智能体执行引擎、角色配置和模型分别选择。更改连接不会将已开始的对话转移到另一账户。如果所选模型、执行环境或配置不可用,会显示原因;不会自动替换为数据传输条款不同的服务。

本地和云端处理

选项数据传输
Ollama / LM Studio上下文由用户计算机或指定本地网络上的本地服务处理。
云端语言模型连接配置允许的文本、图像和上下文将发送到选定的提供商。
兼容的用户服务数据会发送到连接配置中指定的地址。用户需自行确认该地址是否可信,以及是否接受其服务条款。

密钥和连接检查

API 密钥保存在 Windows Credential Manager 中。普通设置中仅保留服务地址、模型和请求参数。系统凭据存储不可用时,不得以明文保存密钥。

保存或检查配置文件可以联系所选服务来检查访问权限并获取模型列表。此检查不会提交项目,但服务会接收正常的网络请求数据和配置文件凭据。

语音识别

选项要求和数据
Vosk所选语言的本地模型;音频保留在计算机上。
Yandex直接连接使用您配置的 Yandex 凭据向 Yandex 发送音频,不使用 Screph 服务器分钟数。
Google Cloud Speech音频将通过配置的凭据传输到 Google。
OpenAI-compatible音频被发送到指定的兼容服务。
ChatGPT / Codex通过 ChatGPT 账户和已安装 Codex 提供的实验性 Live 听写。仅登录账户并不能证明语音功能可用。

Batch、Live 与录音控制

Batch 在录音结束后识别已收集的音频。Live 在录音过程中显示临时文本,录音结束时再确定最终文本。Vosk 可在本地支持这两种模式。云端模式是否可用取决于所选服务、模型和已安装组件。

暂停会停止接收新音频,并允许继续同一会话;它不会释放麦克风。结束录音会等待最终文本。取消会终止当前请求,但无法收回已发送到外部服务的音频。

录音需要已选择且可用的麦克风。该服务一次仅处理一个麦克风会话;设备被占用时,其他请求不会开始录音。提供方、模型或模式的更改用于下一次会话,当前录音的设置保持不变。

语音标注将文本保存到所选对象中,而智能体的语音请求会进入聊天。标注的额外语义处理取决于相关设置。识别出的文本可以检查和修改;ChatGPT 听写和云端模式仍处于实验阶段。

设置

语音识别的提供方、麦克风、语言和模式在“语音”设置中选择。分配 LLM 角色不会配置麦克风,也不会替代语音识别模型。

  1. 创建连接配置,指定服务、地址和模型。
  2. 如果需要,通过系统存储保存密钥。
  3. 检查连接,并将连接配置分配给所需用途。
  4. 使用实际项目前,先用非机密数据进行测试。

如果连接不起作用

  • 检查地址、模型、密钥、网络访问以及提供方账户的限制。
  • 对于本地服务,请确保它正在运行并且模型已加载。
  • 对于 Vosk,检查语言和本地模型路径。