工作流

从视觉数据到任务、代码和执行

项目将图像、视频或屏幕录制链接到标注、关系、语音描述以及选择和配置计算机视觉方法的结果。保存的任务数据用于 Screph Code 或其他智能体工具。数据准备、代码更改和执行仍然是独立的阶段;预览结果不会更改主标注,直到单独应用它。

01
Program Mode

程序模式

该模式定义可用的对象类型和工具。 General 和 GUI Automation 支持主进程; Industrial 和 UAV 是阶段不完整的实验工作区。切换会同时更改计算机视觉和 Selector 配置文件。

已存储: режим программы и совместимые профили компьютерного зрения и Selector.
02
Capture

视觉源

来源可以是屏幕区域、摄像头、网络流或一组图像、视频和文件夹。 Capture 将帧链接到其源和时间线位置;仅文件路径或帧号不足以识别出处。

创建: кадры, ссылки на источник, положение на шкале времени и данные проверки захвата.
03
Selector

标注与关系

Selector 创建元素、特征、感兴趣区域、注释并键入关系。即使打开多个视觉数据视图,也可以在共享画布上编辑标注。

更改: основная разметка через команды Selector с отменой и повтором действий.
04
Computer vision

计算机视觉结果

处理作为一种方法、线性序列或方法图运行。输入数据和感兴趣区域经过验证;输出可以包括掩模、轮廓、检测、OCR、指标、执行跟踪和诊断。模型支持的方法可能需要单独的运行时和权重文件。

边界: предварительный просмотр не входит в основной проект; применение сохраняет связанный результат, а команда Save создаёт отдельный технический архив.
05
Review

结果对比及应用

预览、覆盖、掩码、指标和执行跟踪允许与源数据进行比较。在 Industrial、UAV、Assistant 和 Action CV 中,预览结果不是应用的更改,过时的上下文会阻止项目更改。

决定: результат можно принять, отклонить, изменить или пересчитать; исходные материалы проверки сохраняются отдельно.
06
Main project

主项目

项目包存储版本化的 JSON、源图像、元素、特征、匹配、组、关系、元数据和对结果文件的引用。加载之前会检查架构和包完整性。

输出: редактируемый пакет проекта; представление в модуле дерева создаётся из его данных.
07
Code and execution

代码和执行

for_ai_agent 上下文被传递到 Screph Code 或其他智能体工具。 Automation Runtime 单独使用主项目进行 GUI 自动化。 Screph Code 通过 JSON-RPC 与 Pro Agent 交换数据。 Automation Runtime 中的项目验证单独启动;选定的监视器防护仅在实际指针输入期间应用。

边界: экспорт, создание кода и исполнение ввода запускаются отдельными действиями пользователя.
三个不同的图表

同一个词并不意味着同一个实体

项目关系图

在主项目中的元素和特征之间键入关系。这是标注数据,不是可执行程序。

方法图

带有类型化输入和输出以及执行跟踪的计算机视觉方法图。它会转换视觉数据。

操作跟踪

记录的用户操作和链接的帧。 Action CV 在不改变原始迹线的情况下得出建议的结果。

文档

第一个项目:源,标注并保存

开始使用