Подготовка данных для
автоматизации GUI
Data preparation for
GUI automation
Выделяйте элементы интерфейса, добавляйте аннотации голосом или текстом, определяйте связи между компонентами. Экспортируйте структурированные данные для генерации кода автоматизации с помощью LLM-агентов. Select UI elements, add voice or text annotations, define relationships between components. Export structured data for automation code generation with LLM agents.
Ключевые возможности Key Features
Интуитивное выделение элементов Intuitive Element Selection
Выделяйте элементы (кнопки, поля ввода, списки) на изображении экрана. Система сохраняет их координаты и размеры. Easily select any interactive elements directly on your application screen – buttons, input fields, lists, and much more, without needing to understand complex selectors.
Голосовые и текстовые аннотации Voice and Text Annotations
Добавляйте к элементам текстовые и голосовые аннотации. Работает через внешний провайдер или офлайн с локальными моделями Vosk. Describe each element and desired actions via text or voice. Voice annotations work via an external provider or offline with local Vosk models.
Подготовка данных и эмуляция действий Data Preparation and Action Emulation
Формируйте структурированные данные (изображения, выделения, аннотации, связи) и эмулируйте действия пользователя. Экспортируйте данные для генерации кода автоматизации GUI. Screph builds a structured dataset (images, selections, annotations, relations) and lets you emulate user actions. Data is exported for subsequent GUI automation code generation.
Интеграция с IDE IDE Integration
Экспорт данных, копирование и запуск агента для генерации кода (Trae/VS Code). Export data, copy code and run an agent for code generation (Trae/VS Code).
Как это работает (кратко) How it Works (Briefly)
-
Шаг 1: Выделите элементы на экране вашего приложения. Step 1: Select elements on your application screen.
-
Шаг 2: Опишите их назначение и желаемые действия. Step 2: Describe their purpose and desired actions.
-
Шаг 3: Определите связи между элементами. Step 3: Define connections between elements.
-
Шаг 4: Эмуляция действий и экспорт данных для генерации кода GUI. Step 4: Emulate actions and export data for GUI automation code generation.
-
Шаг 5: Используйте или доработайте код в вашей IDE. Step 5: Use or refine the code in your IDE.
Сценарии применения Use Cases
Размечайте интерфейсы, экспортируйте структурированные данные в JSON — LLM-агенты генерируют скрипты автоматизации на их основе. Annotate interfaces, export structured data to JSON — LLM agents generate automation scripts based on your data.
Legacy-системы без APILegacy Systems Without API
Разметка экранов старых терминалов, SCADA, банковских АБС. Агент генерирует сценарии управления и мониторинга по вашим данным.Annotate screens of old terminals, SCADA, banking ABS. The agent generates management and monitoring scripts based on your data.
Оцифровка экспертных навыковDigitizing Expert Knowledge
Записывайте, как эксперт работает с UI. Агент генерирует сценарии обучения и автоматизации по разметке.Record how an expert works with the UI. The agent generates training and automation scripts from the annotations.
Визуальный комплаенсVisual Compliance
Размечаете формы с правилами проверки. Агент генерирует скрипты контроля и протоколирования.Annotate forms with validation rules. The agent generates control and logging scripts.
Интеграция без APIIntegration Without API
Размечаете UI двух систем (CAD ↔ ERP, LIMS ↔ Excel). Агент генерирует пайплайн переноса данных через визуальное взаимодействие.Annotate the UI of two systems (CAD ↔ ERP, LIMS ↔ Excel). The agent generates a data transfer pipeline via visual interaction.
ETL из видеоETL from Video
Разметка кадров скринкастов → агент генерирует скрипт и документацию.Annotate screencast frames → the agent generates scripts and documentation.
Оператор видеонаблюденияVideo Surveillance Operator
Разметка интерфейса VMS + план объекта. Агент генерирует сценарии миссий и отчётов.Annotate VMS interface + facility map. The agent generates mission and report scripts.
Лабораторные протоколыLaboratory Protocols
Разметка интерфейсов приборов → агент генерирует скрипты серийных измерений и выгрузки в LIMS.Annotate instrument interfaces → the agent generates serial measurement and LIMS export scripts.
Креативные пайплайныCreative Pipelines
Разметка Adobe/DaVinci/Blender. Агент генерирует сценарии пакетных операций и рендера.Annotate Adobe/DaVinci/Blender. The agent generates batch processing and rendering scripts.
Агенты доступностиAccessibility Agents
Разметка UI с учётом ограничений. Агент генерирует сценарии адаптации любого приложения.Annotate UI with accessibility constraints. The agent generates adaptation scripts for any application.
Спортивная аналитикаSports Analytics
Разметка элементов трансляции. Агент генерирует скрипты извлечения событий и статистики.Annotate broadcast elements. The agent generates event extraction and statistics scripts.
UX-аннотированиеUX Annotation
Разметка намерений элементов. Агент генерирует чеклисты, метрики и A/B-гипотезы.Annotate element intents. The agent generates checklists, metrics, and A/B hypotheses.
Трейдинг-операцииTrading Operations
Разметка терминалов. Агент генерирует скрипты снятия позиций и compliance-отчётов.Annotate terminals. The agent generates position closing and compliance report scripts.
Цифровые двойники процессовDigital Process Twins
Разметка экранов бизнес-процесса с временной логикой. Агент генерирует BPMN-модель и исполняемый сценарий.Annotate business process screens with temporal logic. The agent generates a BPMN model and executable script.
EdTech-проверкиEdTech Assessments
Разметка учебных сред. Агент генерирует проверяющие сценарии и персональные подсказки.Annotate learning environments. The agent generates assessment scripts and personalized hints.
Legacy-медсистемыLegacy Healthcare Systems
Разметка UI закрытых систем. Агент генерирует автоматизацию «поверх» без модификации.Annotate closed system UIs. The agent generates "overlay" automation without modification.
Визуальное регресс-тестированиеVisual Regression Testing
Разметка эталонных состояний UI. Агент генерирует скрипты сравнения и отчёты для QA.Annotate reference UI states. The agent generates comparison scripts and QA reports.