Open Source • AGPL-3.0 Open Source • AGPL-3.0
Screph - автоматизация интерфейсов

Автоматизируйте любой интерфейс
без программирования
Automate any interface
no coding required

Покажите мышкой, что нужно автоматизировать. Опишите действия голосом или текстом. Получите готовый код для pyautogui, Selenium или Playwright за минуты. Point and click to select what to automate. Describe actions with voice or text. Get ready-to-use code for pyautogui, Selenium or Playwright in minutes.

🎯 Выделяй как в Paint Select like in Paint 🎙️ Диктуй действия голосом Dictate actions by voice 🔗 Визуальный граф сценария Visual scenario graph 📤 Экспорт в JSON & Python Export to JSON & Python

Ключевые возможности Key Features

Интуитивное выделение элементов Intuitive Element Selection

Выделяйте элементы (кнопки, поля ввода, списки) на изображении экрана. Система сохраняет их координаты и размеры. Easily select any interactive elements directly on your application screen – buttons, input fields, lists, and much more, without needing to understand complex selectors.

Голосовые и текстовые аннотации Voice and Text Annotations

Добавляйте к элементам текстовые и голосовые аннотации. Работает через внешний провайдер или офлайн с локальными моделями Vosk. Describe each element and desired actions via text or voice. Voice annotations work via an external provider or offline with local Vosk models.

Подготовка данных и эмуляция действий Data Preparation and Action Emulation

Формируйте структурированные данные (изображения, выделения, аннотации, связи) и эмулируйте действия пользователя. Экспортируйте данные для генерации кода автоматизации GUI. Screph builds a structured dataset (images, selections, annotations, relations) and lets you emulate user actions. Data is exported for subsequent GUI automation code generation.

Интеграция с IDE IDE Integration

Экспорт данных, копирование и запуск агента для генерации кода (Trae/VS Code). Export data, copy code and run an agent for code generation (Trae/VS Code).

Как это работает (кратко) How it Works (Briefly)

  1. Шаг 1: Выделите элементы на экране вашего приложения. Step 1: Select elements on your application screen.
  2. Шаг 2: Опишите их назначение и желаемые действия. Step 2: Describe their purpose and desired actions.
  3. Шаг 3: Определите связи между элементами. Step 3: Define connections between elements.
  4. Шаг 4: Эмуляция действий и экспорт данных для генерации кода GUI. Step 4: Emulate actions and export data for GUI automation code generation.
  5. Шаг 5: Используйте или доработайте код в вашей IDE. Step 5: Use or refine the code in your IDE.

Сценарии применения Use Cases

Размечайте интерфейсы, экспортируйте структурированные данные в JSON - LLM-агенты генерируют скрипты автоматизации на их основе. Annotate interfaces, export structured data to JSON - LLM agents generate automation scripts based on your data.

Legacy Systems

Legacy-системы без APILegacy Systems Without API

Разметка экранов старых терминалов, SCADA, банковских АБС. Агент генерирует сценарии управления и мониторинга по вашим данным.Annotate screens of old terminals, SCADA, banking ABS. The agent generates management and monitoring scripts based on your data.

Промышленность • Госсектор • ФинансыIndustry • Government • Finance
Expert Knowledge

Оцифровка экспертных навыковDigitizing Expert Knowledge

Записывайте, как эксперт работает с UI. Агент генерирует сценарии обучения и автоматизации по разметке.Record how an expert works with the UI. The agent generates training and automation scripts from the annotations.

Обучение • HRTraining • HR
Compliance

Визуальный комплаенсVisual Compliance

Размечаете формы с правилами проверки. Агент генерирует скрипты контроля и протоколирования.Annotate forms with validation rules. The agent generates control and logging scripts.

Финансы • АудитFinance • Audit
Integration

Интеграция без APIIntegration Without API

Размечаете UI двух систем (CAD ↔ ERP, LIMS ↔ Excel). Агент генерирует пайплайн переноса данных через визуальное взаимодействие.Annotate the UI of two systems (CAD ↔ ERP, LIMS ↔ Excel). The agent generates a data transfer pipeline via visual interaction.

Enterprise • Консалтинг • ИнтеграторыEnterprise • Consulting • Integrators
ETL from Video

ETL из видеоETL from Video

Разметка кадров скринкастов → агент генерирует скрипт и документацию.Annotate screencast frames → the agent generates scripts and documentation.

SOP • Best practicesSOP • Best practices
Surveillance

Оператор видеонаблюденияVideo Surveillance Operator

Разметка интерфейса VMS + план объекта. Агент генерирует сценарии миссий и отчётов.Annotate VMS interface + facility map. The agent generates mission and report scripts.

Безопасность • РитейлSecurity • Retail
Laboratory

Лабораторные протоколыLaboratory Protocols

Разметка интерфейсов приборов → агент генерирует скрипты серийных измерений и выгрузки в LIMS.Annotate instrument interfaces → the agent generates serial measurement and LIMS export scripts.

Фарма • БиотехPharma • Biotech
Creative Pipelines

Креативные пайплайныCreative Pipelines

Разметка Adobe/DaVinci/Blender. Агент генерирует сценарии пакетных операций и рендера.Annotate Adobe/DaVinci/Blender. The agent generates batch processing and rendering scripts.

Студии • КонтентStudios • Content
Accessibility

Агенты доступностиAccessibility Agents

Разметка UI с учётом ограничений. Агент генерирует сценарии адаптации любого приложения.Annotate UI with accessibility constraints. The agent generates adaptation scripts for any application.

Инклюзия • B2CInclusion • B2C
Sports Analytics

Спортивная аналитикаSports Analytics

Разметка элементов трансляции. Агент генерирует скрипты извлечения событий и статистики.Annotate broadcast elements. The agent generates event extraction and statistics scripts.

Медиа • КиберспортMedia • Esports
UX Annotation

UX-аннотированиеUX Annotation

Разметка намерений элементов. Агент генерирует чеклисты, метрики и A/B-гипотезы.Annotate element intents. The agent generates checklists, metrics, and A/B hypotheses.

Продукт • ДизайнProduct • Design
Trading

Трейдинг-операцииTrading Operations

Разметка терминалов. Агент генерирует скрипты снятия позиций и compliance-отчётов.Annotate terminals. The agent generates position closing and compliance report scripts.

Бэк-офис • РискBack-office • Risk
Digital Twin

Цифровые двойники процессовDigital Process Twins

Разметка экранов бизнес-процесса с временной логикой. Агент генерирует BPMN-модель и исполняемый сценарий.Annotate business process screens with temporal logic. The agent generates a BPMN model and executable script.

Консалтинг • Оптимизация • EnterpriseConsulting • Optimization • Enterprise
EdTech

EdTech-проверкиEdTech Assessments

Разметка учебных сред. Агент генерирует проверяющие сценарии и персональные подсказки.Annotate learning environments. The agent generates assessment scripts and personalized hints.

ОбучениеEducation
Healthcare

Legacy-медсистемыLegacy Healthcare Systems

Разметка UI закрытых систем. Агент генерирует автоматизацию «поверх» без модификации.Annotate closed system UIs. The agent generates "overlay" automation without modification.

Медицина • ГоспорталыHealthcare • Government Portals
QA Testing

Визуальное регресс-тестированиеVisual Regression Testing

Разметка эталонных состояний UI. Агент генерирует скрипты сравнения и отчёты для QA.Annotate reference UI states. The agent generates comparison scripts and QA reports.

QA • CI/CDQA • CI/CD