AI 视觉数据 · Windows · Alpha 上的任务

Screph:基于视觉数据创建 AI 任务。

Screph 将源图像和视频与标注、关系、描述及可选的计算机视觉数据关联起来。Screph Code 和受支持的外部编码工具可以使用已保存的任务数据。

核心工作流

Screph 中的数据流程

Screph 将源素材、标注、描述和计算机视觉结果存储在一个项目中。对主标注的更改单独应用。

01 / Capture

数据源与捕获

源可以是屏幕区域、监视器、窗口、相机、URL、视频、图像或文件夹。帧保留其源和时间轴位置。

02 / Describe

标注与关系

元素、区域、特征、组、注释和关系在共享画布上编辑。树枝可以单独导出。

03 / Build

主项目与代码

主项目存储源素材、标注、关系、描述和方法结果。 Screph Code、Automation Runtime 和外部工具通过不同的路径接收项目数据。

流程描述
界面演示

Screph 主程序界面

该演示重现了主要的 Screph 应用程序界面:其工作区、面板和控件。演示中不执行图像处理、项目保存和代码处理。

用例

视觉数据工作流

对象类型和可用工具因模式而异。源数据、标注和描述仍然是项目的共享部分。

Legacy Systems

没有 API 的旧系统

传统终端、SCADA 和银行系统的屏幕链接到元素、状态和转换规则。该项目提供用于准备控制或监视代码的数据。

行业•政府•金融
Expert Knowledge

数字化专家知识

专家在工作中的录音链接了帧、操作、选定的元素以及文本或语音描述。该项目可用于准备培训材料或自动化工作流。

培训•人力资源
Compliance

视觉合规性

通过元素、特征和注释来描述表单字段、状态和验证规则。项目数据可用于准备验证代码和结果日志。

财务•审计
Integration

没有 API 的集成

CAD 和 ERP 或 LIMS 和 Excel 等两个系统的接口被描述为链接的元素和操作。任务上下文记录了数据源、目的地和视觉交互条件。

企业 • 咨询 • 集成商
ETL from Video

来自视频的 ETL

截屏帧链接到时间线位置、选定区域和动作描述。该上下文可用于准备数据提取代码和流程文档。

SOP • 最佳实践
Surveillance

视频监控操作员

VMS 屏幕和设施地图存储为具有选定区域、州和关系的视觉源。上下文可用于准备分析和报告代码。

安全•零售
Laboratory

实验室协议

仪器接口元素,测量值和操作顺序存储在工程中。该上下文可用于准备串行测量和 LIMS 导出代码。

制药•生物技术
Creative Pipelines

创意管道

Adobe、DaVinci 或 Blender 中的面板和控件链接到操作和参数说明。上下文可用于准备批处理和渲染代码。

工作室 • 内容
Accessibility

辅助代理

接口元素标记有状态、约束和可访问性要求。在为特定应用程序准备改编时可以使用上下文。

包容性 • B2C
Sports Analytics

体育分析

广播区域链接到时间戳和事件注释。该上下文可用于准备事件提取和统计代码。

媒体•电子竞技
UX Annotation

用户体验注释

接口元素的用途、状态和关系存储在项目中。该数据可用于清单、指标和 A/B 假设。

产品•设计
Trading

交易操作

终端元素和状态在屏幕截图或工作记录中标记。上下文可用于准备可审查的代码和报告;操作执行仍然是外部阶段。

后台•风险
Digital Twin

数字流程双胞胎

业务流程屏幕通过顺序、状态和时间数据链接。该项目可用作流程模型和可执行文件工作流的基础。

咨询•优化•企业
EdTech

教育技术评估

学习环境元素、任务状态和验证规则存储在项目中。上下文可用于评估代码和学习材料。

教育
Healthcare

传统医疗保健系统

通过元素、状态和关系描述封闭的医疗保健系统接口。该上下文可以用于外部集成,而无需修改原始应用程序。

医疗保健 • 政府门户
QA Testing

视觉回归测试

参考接口状态、区域和比较规则存储在项目中。该上下文可用于准备测试代码和报告。

QA • CI/CD
主项目

该项目存储架构版本 JSON、源图像、标注、关系、组和结果清单。

PREVIEW / APPLY

方法数据仍作为独立结果保留。只有在用户明确决定后,建议的更改才会成为主标注的一部分。

单独的阶段

自动化执行、外部 LLM 使用和代码生成都有自己的依赖项和限制。

FAQ

产品边界一览

Screph 如何生成并运行代码?

Screph Code 通过单独的 Pro Agent 进程接收上下文。 Builder 代理可以修改选定的工作区,因此使用外部差异检查结果;没有通用的每个文件应用。运行文件或 GUI 自动化仍然是一个单独的显式阶段。

需要连接互联网吗?

标注,项目持久性和经典 CV 方法在本地运行。云语音/LLM 提供程序、模型下载和某些集成需要网络访问。

项目是否上传到云端?

项目和图像存储在本地。传输仅发生在明确选择的云/LLM/语音流中;默认情况下,助手不允许使用图像和产物。

Industrial 和 UAV 准备好用于生产了吗?

没有。它们是预览、审核建议结果的实验​​工作区以及标注更改的单独应用。没有完整的生产流程和自主执行。

主要 Screph 项目

项目数据与代码

该项目包含视觉源、标注、关系、文本和语音描述以及可选的计算机视觉数据。保存的数据用于 Screph Code 或通过单独的操作传递到支持的外部工具。