Capture
来源和记录
已实施捕获适用于屏幕区域、窗口、监视器、相机、URL 流、图像、视频和文件夹。帧保持与其源和时间线上位置的连接。
操作定期或围绕动作、播放、时间线编辑和帧导出进行录制。
边界媒体文件作为源播放，但不会重新录制；流量过大会降低界面的响应能力。
模块
Screph 模块及其结果
Screph 是一个使用视觉数据为 AI 创建任务的环境。 Capture 接收原材料，Selector 存储可编辑标记，计算机视觉技术生成附加结果，主项目将选定的数据传递给用于处理代码和执行脚本的工具。
已实施
实验上
Selector
标注与关系
已实施选择器将视觉源与元素、特征、区域、注释和关系相关联。主要标记在画布上编辑并保存在项目中，并具有更改历史记录。
- 同一项目的多个视图、像素视图、直方图、线条轮廓、图层和结果比较。
- 元素、特征、关系和图像系列的文本和语音描述。
- 组保存在项目中并由支持的工作流程创建；目前还没有用于自定义组的通用可视化编辑器。
Computer vision
计算机视觉方法
已实施单个方法、方法序列或方法图可以创建掩码、轮廓、检测、识别的文本、指标和执行日志。该方法的结果与建议的标记更改分开存储。
经典方法
边界、阈值、分割、轮廓、映射、比较、对齐和运动分析。
方法与模型
YOLO、SAM 和 OmniParser 需要准备好的运行时和合适的模型文件。使用 Tesseract 进行 OCR 需要本地安装 Tesseract。
应用结果
仅当用户在支持的审核过程中做出决定后，提议的更改才会成为主要标记的一部分。
Project
主要项目及出口
已实施主项目存储格式版本、源图像、标记、连接、组、描述和附加方法结果的链接。加载和保存时，会检查项目结构和关联文件。
为 Screph Code和支持的外部工具创建所选数据的单独视图。 GUI Automation使用主项目和单独准备的脚本。
Automation Runtime
执行 GUI 脚本
已实施Automation Runtime加载主项目，查找图像和文本，等待指定条件，并通过配置的Arduino HID或FakerInput Virtual HID执行输入操作。标记本身不会触发自动化。
在启动之前，您需要一个脚本、合适的输入法、坐标验证和目标应用程序的观察。
Screph Code
内置代理IDE
有限制地实施Screph Code 通过安装的 Pro Agent 组件接收选定的项目数据并使用代码文件夹。 Builder 可以更改此文件夹中的文件，因此您在工作之前需要单独的副本或分支，然后通过 Git 或其他 diff 工具检查更改。
Action CV
分析记录的动作
实验上Action CV 将动作与其前后的帧关联起来，在本地运行选定的方法，并将建议的目标与用户的决策一起存储。结果需要人工验证。
Voice
语音描述和 Voice2Text
- 主程序在项目中保存语音描述，并支持 Vosk、Yandex、Google 和 OpenAI，具体取决于所选的服务和设置。
- Voice2Text 是一个独立的 Windows 程序，用于使用语言模型进行听写、验证文本插入和可选图像处理。
产品状态
开放状态