数据源与捕获
源可以是屏幕区域、监视器、窗口、相机、URL、视频、图像或文件夹。帧保留其源和时间轴位置。
计算机视觉 · AI 代理 · 开发 · Windows · Alpha 版
Screph：面向计算机视觉的统一环境。
经典算法、机器学习模型、标注、AI 代理协助和内置开发环境位于同一工作空间中。预先准备的基础和组件管理可减少开始任务前的配置工作量。
更少准备工作
即可开始第一次实验
对于受支持的任务，所需的库集合已经准备好，并提供了组件安装和检查工具。这可以减少手动组装环境以及连接各个工具的工作量。
- 经典计算机视觉
- OpenCV · NumPy · Pillow
图像处理、滤波器、轮廓和匹配。
- 机器学习方法
- PyTorch · YOLO · SAM · OmniParser
运行环境以及适用模型的管理工具。
- 文本、视频和语音
- Tesseract · FFmpeg · Vosk
用于文本识别、视频处理和本地语音的组件。
- 脚本与开发
- Python · Screph Code
根据项目数据执行脚本并进行代理式代码工作。
Screph 中的数据流程
Screph 将源素材、标注、描述和计算机视觉结果存储在一个项目中。对主标注的更改单独应用。
标注与关系
元素、区域、特征、组、注释和关系在共享画布上编辑。树枝可以单独导出。
主项目与代码
主项目存储源素材、标注、关系、描述和方法结果。 Screph Code、Automation Runtime 和外部工具通过不同的路径接收项目数据。
在代理参与下进行标注、算法参数配置和代码开发
可以让代理执行受支持的标注操作并准备处理建议。源材料、结果和更改仍可在工作空间中检查。
标注协助
助手可以帮助准备区域和标注操作。建议的更改在应用到主要标注前会经过检查。
选择方法和参数
代理会根据选定区域建议计算机视觉方法及其设置。检查建议、应用参数和启动处理仍是独立的操作。
在 Screph Code 中开发
内置的代理式 IDE 使用选定的项目数据进行代码工作。文件更改需要检查；代码执行需单独启动。
代理工作需要配置适当的 LLM 连接。可用功能取决于所选模型和可用工具。
预先准备的起点和配置空间
更多精力用于任务本身
统一的图形工作空间和预先准备的组件可以减少技术准备工作。可以从图像、标注和方法比较开始，再逐步使用模型、代理和代码。
更快验证假设
共享的项目数据、方法序列和方法图、代理协助以及内置开发功能，可以组织重复操作和原型工作。对于受支持的组件，仍可选择自定义环境。
可以在可用工具中继续完善原型，也可以在外部环境中继续处理数据和代码。Screph 对大型项目的适用性目前尚未经过实际验证。
界面演示
Screph 主程序界面
Выберите маршрут и проследите за действиями в обновлённом интерфейсе Screph с голосовым описанием. Демонстрация использует подготовленные данные и не запускает локальные файлы, модели и устройства.
交互式演示
应用前景
视觉数据工作流
视觉源、标注、关系和说明为界面与流程分析、自动化设计以及 AI 数据准备等方向提供基础。
无 API 的旧系统
旧式终端、SCADA 和银行系统的标注画面构成元素、状态和转换的可视化地图，可用于监控、流程迁移和界面操作项目。
专业经验传承
画面、操作、选中元素和语音说明共同构成实践经验地图，用于教学场景、操作指南和自动化设计。
可视化合规检查
表单字段、状态和检查规则被整理为结构化材料，用于控制流程、界面审计和结果记录设计。
通过界面连接系统
两个封闭系统中的元素被关联到统一的操作与数据交换模型中，为 CAD 与 ERP、LIMS 与表格以及内部系统之间的交互场景提供基础。
从视频中整理流程数据
屏幕录像帧、时间戳、区域和操作说明可作为数据提取、步骤还原和流程文档的材料。
视频监控分析
VMS 画面、摄像头、场地平面图和标注区域为事件研究、操作员支持和报告准备提供视觉上下文。
实验室流程
仪器界面、测量值和操作顺序描述了用于实验记录、批量处理以及与 LIMS 数据交换的流程。
创意工作流
Adobe、DaVinci 和 Blender 面板与操作、参数和步骤关联。这类界面地图可作为批量处理和渲染场景的基础。
界面无障碍
元素、状态和无障碍要求为自适应交互、导航辅助和具体应用分析提供任务上下文。
体育分析
转播区域、时间戳和事件标注构成用于片段分类、视频检索和统计分析的数据结构。
UX 标注
元素用途、状态和关系可整理为 UX 检查表、界面对比和 A/B 假设分析所需的材料。
终端操作分析
终端截图和录像把操作序列、状态和检查点整理为流程研究、检查表编制和报告所需的材料。
数字化流程模型
业务流程画面、状态、转换和时间关系描述当前流程，可用于场景设计、瓶颈分析和后续自动化。
教学场景检查
学习环境元素、任务状态和检查规则为反馈、教学材料和检查场景设计提供上下文。
医疗系统界面
封闭医疗系统被描述为元素、状态和交互的可视化地图，用于文档编制、人员培训和集成路径研究。
可视化回归测试
界面基准状态、重点区域和比较规则构成用于回归检查设计和报告准备的数据集。
工业视觉
零部件和设备图像、测量区域、公差及缺陷特征构成视觉检查、状态对比和质检材料准备等任务的上下文。
无人机视觉数据分析
图像帧及其序列、关注区域、变化和轨迹为观测对比、区域分析及研究任务的数据准备提供结构。
该项目存储架构版本 JSON、源图像、标注、关系、组和结果清单。
方法数据仍作为独立结果保留。只有在用户明确决定后，建议的更改才会成为主标注的一部分。
自动化执行、外部 LLM 使用和代码生成都有自己的依赖项和限制。
FAQ
基本限制
所有组件都已安装吗？
预先准备的基础包括依赖项集合及其管理工具。某些组件、模型和连接需要单独配置。具体安装程序的组成需要单独检查。
可以使用自定义环境吗？
对于受支持的组件，可以选择 Screph 管理的环境、现有的系统安装或自定义路径。所选环境必须通过必要依赖项的检查。
Screph 如何使用代码？
Screph Code 接收选定的任务数据。 Builder 可以更改工作文件夹中的文件，因此您需要在请求之前备份或版本控制系统，然后检查更改。运行代码和 GUI Automation是分开执行的。
需要连接互联网吗？
标注，项目持久性和经典 CV 方法在本地运行。云语音/LLM 提供程序、模型下载和某些集成需要网络访问。
项目是否上传到云端？
项目和图像存储在本地。只有在明确选择的 LLM 或语音识别云端流程中才会传输数据。默认情况下，智能体无权发送项目图像或文件。
Industrial 和 UAV 准备好用于生产了吗？
没有。它们是预览、审核建议结果的实验工作区以及标注更改的单独应用。没有完整的生产流程和自主执行。