Capture
来源和录制
已实施Capture 支持屏幕区域、窗口、显示器、摄像头、URL 流、图像、视频和文件夹。帧保留与来源及时间轴位置的关联。
操作按定时或围绕操作录制，支持回放、时间轴编辑和帧导出。
边界媒体文件可作为来源播放，但不会重新录制；数据量过大可能降低界面响应速度。
模块
Screph 模块及其结果
Screph 提供帧采集、标注、计算机视觉和程序开发工具。Capture 获取图像和视频，Selector 保存标注，可视化构建器连接计算机视觉操作。项目数据可供 Screph Code 使用，也可用于准备自动化脚本。
已实施
实验性
Selector
标注与关系
已实施Selector 将可视来源与元素、特征、区域、标注和关系关联起来。主标注在画布上编辑并保存在项目中，带有修改历史。
- 同一项目的多个视图、像素查看、直方图、线剖面、图层和结果比较。
- 元素、特征、关系和图像系列的文本和语音描述。
- 组保存在项目中并由支持的工作流程创建；目前还没有用于自定义组的通用可视化编辑器。
Computer vision
计算机视觉方法
已实施可视化构建器将操作连接成序列或图。界面显示各步骤的参数和输出，包括图像、掩码、轮廓、检测结果、文本、指标及运行日志。将结果应用到标注需要单独操作。
经典方法
边缘、阈值、分割、轮廓、匹配、比较、配准和运动分析。
方法与模型
YOLO、SAM 和 OmniParser 需要准备好的运行时和合适的模型文件。使用 Tesseract 进行 OCR 需要本地安装 Tesseract。
应用结果
检查结果后，用户可接受或拒绝所提出的标注更改。
Project
主项目和导出
已实施主项目保存格式版本，以及原始图像、标注、关系、组、描述和附加处理结果的引用。加载和保存时会检查项目结构及关联文件。
可将选定的项目数据传递给 Screph Code 和外部工具。GUI Automation 还需要执行脚本。
Automation Runtime
执行 GUI 脚本
已实施加载项目、查找图像和文本状态、等待条件，并通过所选输入方式执行操作。脚本需单独启动。
运行前，需要准备脚本、合适的输入方式、坐标检查，并观察目标应用程序。
Screph Code
带代码智能体的 IDE
已实现，有所限制Screph Code 通过已安装的 Pro Agent 组件使用代码文件夹和选定的项目数据。Builder 可以修改该文件夹中的文件。开始前请创建副本或分支，随后使用 Git 或其他比较工具检查更改。
Agent
界面中的智能体
实验性智能体解释结果，并创建和编辑标注及计算机视觉处理流程。默认情况下该功能关闭。逐步模式下由用户确认更改；委托模式下，智能体持续执行已授权任务，直到完成、停止或需要用户参与。
项目和图像保存在本地。向云端模型发送请求时会传输选定的请求数据。默认禁止向智能体发送图像和项目文件，需要获得许可后才能发送。
智能体设置与限制 →Action CV
分析记录的动作
实验性Action CV 将动作与其前后的帧关联起来，在本地运行选定的方法，并将建议的目标与用户的决策一起存储。结果需要人工验证。
Voice
语音描述和 Voice2Text
- 主程序在项目中保存语音描述，并支持 Vosk、Yandex、Google 和 OpenAI，具体取决于所选的服务和设置。
- Voice2Text 是独立的 Windows 应用，用于语音输入、插入前检查文本，以及按需使用语言模型分析截图。
产品状态
开放状态