用例

Screph 支持的工作流程

四种工作流程:准备界面自动化、验证计算机视觉操作、在操作录制中查找目标,以及 Industrial 和 UAV 的实验性任务。

已实施General / GUI Automation

准备 GUI 脚本

目的

描述界面元素、它们的特征、状态和关系,以供后续自动化使用。

初始数据

Windows 屏幕或窗口、单个快照或操作记录。

在 Screph 中操作

标注元素和关系、添加描述,必要时运行 OCR 和图像比较,然后检查结果。

保存的结果

主项目,以及为 Automation Runtime 单独准备的脚本;所选数据也可传给 Screph Code。

边界: 运行自动化前,请准备脚本、检查坐标系并配置输入方式。项目文件本身不会执行操作。

已实施General

验证计算机视觉操作

目的

为感兴趣区域选择操作和参数,检查结果并将其应用到标注。

初始数据

图像、屏幕截图、视频或媒体文件夹。

在 Screph 中操作

运行单个操作、处理链或处理图,将原始数据与掩码、轮廓、识别文本和指标进行比较。

保存的结果

参数、运行日志和结果文件。对主标注的修改需经确认后保存。

边界: 带有模型的方法需要合适的模型文件和依赖项; Tesseract OCR 需要本地安装。

实验性Action CV

从操作录制中查找目标

目的

确定记录的击键或鼠标按钮的视觉目标。

初始数据

操作录制,以及操作前、操作期间和操作后关联的帧。

在 Screph 中操作

语言模型可提出计划,计算机视觉操作在本地执行,结果由用户接受、修改或拒绝。

保存的结果

建议目标、来源信息,以及保存在原始录制旁的用户决定。

边界: 结果需要人工验证。原来的动作记录保持不变。

实验性Industrial / UAV

Industrial 和 UAV 领域任务

目的

探索具有缺陷、测量、变化和轨迹领域数据类型的图像。

初始数据

具有可用时间和空间数据的工业图像或无人机镜头。

在 Screph 中操作

选择模式、运行处理操作、将结果与原始数据比较,并确认受支持的标注修改。

保存的结果

所选模式的主标注和附加材料。

边界: 这些过程尚未完成,并且不控制设备、生产、任务或自动驾驶仪。