用例

使用 Screph 模块的场景

每个场景都会列出其视觉输入、Screph 中的操作、存储的输出和当前限制。计算机视觉方法可选;处理代码和执行仍然是不同的阶段。

ImplementedGeneral / GUI Automation

用于自动化的 GUI 场景数据

任务

仅坐标对于场景来说是不够的:它需要对象标识、视觉特征、状态和验证数据。

输入

Windows 屏幕或窗口、静止图像或录制的序列。

在 Screph

该项目存储元素、关系和注释。 OCR、配套等计算机视觉方式可选;提议的结果将单独审查。

输出

Automation Runtime 的主项目、选定的 main.py 和单独的for_ai_agent Screph Code 或其他智能体工具的上下文。

边界: 标注图表不会自动执行。需要单独的场景、目标坐标上下文和配置的 Arduino 或 FakerInput 输入法。

ImplementedGeneral

使用存储参数进行计算机视觉分析

任务

OpenCV 笔记本本身无法链接感兴趣区域、参数、视觉输出和项目更改。

输入

图像、屏幕截图或经过验证的视频和文件夹集。

在 Screph

感兴趣的区域与方法、线性序列或方法图相关联。将源数据与结果、掩模、轮廓、OCR 和指标进行比较。

输出

方法参数、执行跟踪和单独的结果文件。对主项目元素和特征的更改仅在单独应用后才会存储。

边界: 模型支持的方法需要匹配的权重文件和运行时; Tesseract OCR 需要本地安装。

ExperimentalAction CV

记录的操作序列中的目标

任务

键盘和指针事件日志不包含用户与之交互的已审阅的视觉对象。

输入

动作记录,包含动作之前、期间和之后的帧以及坐标变换。

在 Screph

LLM 提出方法计划,计算机视觉方法在本地运行,建议的结果与源帧进行比较并单独接受、编辑或拒绝。

输出

审核决策、提议的目标、来源数据、提议的项目图更改和丰富的自动化上下文。

边界: 该过程是实验性的,需要人类审核。 LLM 不是事实来源;原始动作轨迹保持不变。

ExperimentalIndustrial / UAV

本地数据上的 Industrial 和 UAV 任务

任务

General 标注不包括缺陷、测量区域、感兴趣区域、更改和轨迹的域特定类型。

输入

工业图像或感兴趣区域,或者具有可用时间和空间数据的 UAV 帧或系列。

在 Screph

创建所选模式的任务,执行配置的方法计划,将结果与源数据进行比较,并单独应用支持的元素或区域更改。

输出

主标注和单独模式文件以供进一步调查。

边界: 流程不完整。 Screph 不是 MES/QMS、CNC/PLC 控制器、GIS、任务控制或自动驾驶仪。