用例

Screph 支持的工作流程

当前版本的四个流程如下所示:输入数据、Screph 中的工作、保存的结果以及每种模式的限制。

已实施General / GUI Automation

准备 GUI 脚本

目的

描述界面元素、它们的特征、状态和关系,以供后续自动化使用。

初始数据

Windows 屏幕或窗口、单个快照或操作记录。

在Screph工作

标记元素和连接、描述,如有必要,进行 OCR 和图像比较,然后检查结果。

保存的结果

主要项目和为Automation Runtime单独准备的脚本;所选数据也可以传递到 Screph Code。

边界: 该项目不会自动执行。要运行,您需要一个单独的脚本、一个坐标上下文和一个自定义的输入方法。

已实施General

计算机视觉分析

目的

链接感兴趣的区域、方法参数、视觉结果和应用于标记的决策。

初始数据

图像、屏幕截图、视频或媒体文件夹。

在Screph工作

运行单个方法、方法序列或方法图,并将源数据与掩码、轮廓、识别的文本和指标进行比较。

保存的结果

参数、执行日志和结果文件。对主标记的更改仅在确认后才会保存。

边界: 带有模型的方法需要合适的模型文件和依赖项; Tesseract OCR 需要本地安装。

实验上Action CV

在活动记录中查找目标

目的

确定记录的击键或鼠标按钮的视觉目标。

初始数据

动作录制以及动作之前、期间和之后的相关镜头。

在Screph工作

LLM可以提出计划,计算机视觉技术在本地执行,结果由用户接受、修改或拒绝。

保存的结果

提议的目标、有关其起源的信息以及原始条目旁边的用户解决方案。

边界: 结果需要人工验证。原来的动作记录保持不变。

实验上Industrial / UAV

主题任务工业和无人机

目的

探索具有缺陷、测量、变化和轨迹领域数据类型的图像。

初始数据

具有可用时间和空间数据的工业图像或无人机镜头。

在Screph工作

选择模式,运行方法,将结果与原始数据进行比较,并确认支持的标记更改。

保存的结果

所选模式的基本标记和附加材料。

边界: 这些过程尚未完成,并且不控制设备、生产、任务或自动驾驶仪。