Screph 入门

本部分帮助您安装和启动 Screph、选择合适的模式,并在您自己的图像、视频或屏幕录制上创建 AI 的第一个任务。

安装

Download 页面、审核 系统下载 Windows 10/11 x64 目标的安装程序要求,并按照安装向导进行操作。

或者,您可以使用 GitHub 中的源代码并按照 README 说明手动安装。

首次启动

安装后从快捷方式或从“开始”菜单启动 Screph。在程序中,您可以打开或捕获视觉源、标记和连接元素、添加文本或语音描述以及保存结构化任务。计算机视觉方法可选;保存的上下文可以在智能体 IDE 中继续。

对于语音注释(语音转文本),您可以选择外部提供商或使用本地 Vosk 模型的离线模式。在第一个工作项目之前,打开 依赖项指南 并仅准备您的任务所需的运行时组件。

选择程序模式

打开General 设置→开发平台或 Selector 标题中的程序模式列表。选择可用模式之一:常规GUI AutomationIndustrial 视觉自主无人驾驶车辆。切换同时更新 CV 工作区和选择器功能;在域工作流之间移动之前保存项目。

默认情况下,向导会建议使用 %LOCALAPPDATA%\Screph,创建“开始”菜单快捷方式并在重新安装或卸载期间保留用户数据,除非您明确选择删除。虚拟 HID 驱动程序和 Arduino 刷新是单独的安装后操作;请参阅 Windows 和权限

对于自由格式标注和 GUI Automation 对于应用程序屏幕,从 General 开始。 Industrial 视觉和自主无人驾驶车辆已经提供了域工作区、预览、候选结果审核,并确认了标注应用程序,但它们不是生产控制或完整的导出系统。详细信息请参见 编程模式

接口概述

Screph 主应用程序窗口由几个关键区域组成:

  • 画布: 显示当前屏幕截图或图像的中心区域。您将在此处选择元素并使用它们。
  • 工具面板: 包含用于选择工作模式(选择、创建、移动、调整大小、层次结构)和其他操作的按钮。
  • 信息面板: 显示所选元素、元素层次结构的属性和其他有用信息。
  • 主菜单: 位于窗口顶部。提供对保存/加载项目、设置和帮助的访问。
  • 语音标注小部件: 当语音标注特征激活时出现。允许录制、停止和查看已识别的文本。

主要步骤

1。源数据:Capture 选项卡或打开图像

从视觉源开始。 Capture 选项卡可以记录区域、监视器或窗口,使用摄像头或 URL 流,并通过 文件/文件夹 将多个图像、视频和目录组合到一条时间线中。可以从菜单加载单个静止图像。

快速链接:Capture 选项卡指南

2. 选择画布工具

使用工具面板选择工具。这些是本地画布操作,而不是在开发平台下选择的整个程序模式:

  • 选择模式: 用于选择现有的元素。
  • 创建模式: 用于在画布上绘制新的元素。
  • 移动模式: 用于移动元素。
  • 调整大小模式: 用于调整元素的大小。
  • 层次模式: 用于创建父子关系。

3. 使用元素

根据所选模式,单击或拖动画布。详细信息请参见用户手册的 “元素选择” 部分。

4. 注释

为元素添加文本和语音注释。如果任务需要掩模、轮廓、OCR、匹配或其他派生数据,请应用 计算机视觉方法;提议的标注更改单独确认。详细信息请参见用户手册的 “注释” 部分。

5. 保存任务并继续

使用 文件 → 保存项目 (Ctrl+S)。 File → 保存设置... (Ctrl+Shift+S) 选择环境、范围和保存后操作; Ctrl+O 打开Project Manager。保存会创建主项目和 for_ai_agent 上下文:在 Screph Code 智能体 IDE 或支持的外部工具中继续执行任务,并单独使用 Automation Runtime 进行 GUI 自动化。请参阅 保存和加载

设置和热键

设置包括选择选项、界面、语音注释等参数。热键可加快工作速度 - 在设置部分找到列表。使用设置映射;专用页面涵盖 LLM/语音连接Automation Runtime

有了这些基本的了解,您就可以开始了。详细信息请参考《用户手册》。