Автоматизируйте любой интерфейс
без программирования
Automate any interface
no coding required
Разметьте элементы на экране и опишите действия голосом или текстом. Дальше — либо сгенерируйте код автоматизации в один клик (pyautogui, Selenium, Playwright), либо экспортируйте структурированные данные и признаки для работы в любом агентном IDE и других инструментах. Annotate screen elements and describe actions with voice or text. Then either generate automation code in one click (pyautogui, Selenium, Playwright) or export structured data and features for any agentic IDE workflow and other tools.
Ключевые возможности Key Features
Умный ROI Селектор Smart ROI Selector
Выделяйте области любой формы: от простых прямоугольников до сложных полигонов и произвольных контуров. Система автоматически захватывает метаданные окон Windows и сохраняет точные координаты элементов. Select areas of any shape: from simple rectangles to complex polygons and arbitrary contours. The system automatically captures Windows window metadata and saves precise element coordinates.
YOLO и Продвинутый CV YOLO & Advanced CV
Используйте мощь нейросетей YOLO для поиска объектов и классические алгоритмы OpenCV для сегментации. Настраиваемые пресеты обработки ROI гарантируют стабильное распознавание даже при изменении интерфейса. Leverage YOLO neural networks for object detection and classic OpenCV algorithms for segmentation. Custom ROI processing presets ensure stable recognition even when the UI changes.
Human-like Эмуляция Human-like Emulation
Алгоритмы имитации человеческого ввода с микросмещениями, рандомными задержками и вариативной скоростью. Поддержка Arduino-девайсов позволяет обходить самые строгие системы защиты. Human input imitation algorithms with micro-offsets, random delays, and variable speed. Support for Arduino devices allows bypassing even the most strict protection systems.
Профессиональная Архитектура Enterprise Architecture
Строгая типизация настроек (Settings Providers), безопасное хранение секретов (Redaction) и полная диагностика системы. Проект спроектирован для надежной работы в сложных промышленных сценариях. Strict settings typing (Settings Providers), secure secret storage (Redaction), and full system diagnostics. The project is designed for reliability in complex industrial scenarios.
Голосовая разметка и управление Voice-First Workflow
Интегрируйте голосовые команды в процесс разметки. Screph поддерживает Yandex SpeechKit, Google Cloud и Vosk (offline), позволяя на ходу описывать логику переходов, типы объектов и действия. Integrate voice commands into your annotation workflow. Screph supports Yandex SpeechKit, Google Cloud, and Vosk (offline), letting you describe transition logic, object types, and actions on the fly.
Vision и захват видеопотока Vision & Stream Capture
Захватывайте не только скриншоты, но и видеопотоки. Высокопроизводительный захват экрана (>20 FPS) через OpenCV и mss с возможностью постобработки: от пороговой фильтрации до поиска контуров. Capture not just screenshots, but video streams. High-performance screen capture (>20 FPS) via OpenCV and mss with post-processing capabilities: from threshold filtering to contour search.
Как это работает (кратко) How it Works (Briefly)
1. Захват и разметка ROI1. Capture & ROI Annotation
Запустите Screen Selector и выделите элементы управления. Screph автоматически определит контекст окна, сохранит иерархию элементов (parent/child) и их точные геометрические параметры для последующего анализа. Launch Screen Selector and highlight control elements. Screph automatically detects window context, saves element hierarchy (parent/child), and their precise geometric parameters for further analysis.
2. Построение графа логики2. Logic Graph Construction
Определите правила взаимодействия через объекты Edge. Вы можете задать типы связей (Flow, Hierarchy) и добавить голосовые или текстовые аннотации. Это создаёт структурированную базу знаний о поведении интерфейса. Define interaction rules via Edge objects. You can specify relationship types (Flow, Hierarchy) and add voice or text annotations. This creates a structured knowledge base of interface behavior.
3. Настройка CV-обработки3. CV Processing Setup
Примените специализированные методы компьютерного зрения к выделенным областям. Поиск контуров, сегментация или использование YOLO-моделей позволяют агенту надежно распознавать состояния элементов (нажат/активен). Apply specialized computer vision methods to selected areas. Contour search, segmentation, or using YOLO models allow the agent to reliably recognize element states (pressed/active).
4. Валидация эмулятором4. Emulator Validation
Проверьте сценарий с помощью встроенного GuiBotController. Он имитирует действия пользователя через InputEmulationLibrary, используя микрозадержки и вариативные смещения для максимальной естественности. Verify the scenario using the built-in GuiBotController. It simulates user actions via InputEmulationLibrary, using micro-delays and variable offsets for maximum naturalness.
5. Экспорт и генерация POM5. Export and POM Gen
Экспортируйте проект в формате JSON. Эти данные используются LLM-агентами (Trae, Cursor) для мгновенной генерации профессионального кода на основе Page Object Model или использования с внутренним рантаймом. Export the project in JSON format. This data is used by LLM agents (Trae, Cursor) to instantly generate professional code based on the Page Object Model or for use with the internal runtime.
Сценарии применения Use Cases
Screph объединяет компьютерное зрение, удобный голосовой интерфейс и бесшовную передачу размеченных данных в популярные агентные инструменты. Screph combines computer vision, a voice-first workflow, and seamless handoff of annotated data to popular agentic tools.
Legacy-системы без APILegacy Systems Without API
Разметка экранов старых терминалов, SCADA, банковских АБС. По данным разметки можно быстро получить сценарии управления и мониторинга.Annotate screens of old terminals, SCADA, banking ABS. Based on your annotations, you can generate management and monitoring scripts.
Оцифровка экспертных навыковDigitizing Expert Knowledge
Записывайте, как эксперт работает с UI. По разметке можно получить сценарии обучения и автоматизации.Record how an expert works with the UI. Use annotations to generate training and automation scripts.
Визуальный комплаенсVisual Compliance
Размечаете формы с правилами проверки. По разметке можно получить скрипты контроля и протоколирования.Annotate forms with validation rules. Generate control and logging scripts based on your annotations.
Интеграция без APIIntegration Without API
Размечаете UI двух систем (CAD ↔ ERP, LIMS ↔ Excel). По разметке можно сформировать пайплайн переноса данных через визуальное взаимодействие.Annotate the UI of two systems (CAD ↔ ERP, LIMS ↔ Excel). Generate a data transfer pipeline via visual interaction.
ETL из видеоETL from Video
Разметка кадров скринкастов → по разметке можно получить скрипт и документацию.Annotate screencast frames → generate scripts and documentation from your annotations.
Оператор видеонаблюденияVideo Surveillance Operator
Разметка интерфейса VMS + план объекта. По разметке можно получить сценарии миссий и отчётов.Annotate VMS interface + facility map. Generate mission and report scripts from your annotations.
Лабораторные протоколыLaboratory Protocols
Разметка интерфейсов приборов → по разметке можно получить скрипты серийных измерений и выгрузки в LIMS.Annotate instrument interfaces → generate serial measurement and LIMS export scripts from your annotations.
Креативные пайплайныCreative Pipelines
Разметка Adobe/DaVinci/Blender. По разметке можно получить сценарии пакетных операций и рендера.Annotate Adobe/DaVinci/Blender. Generate batch processing and rendering scripts from your annotations.
Агенты доступностиAccessibility Agents
Разметка UI с учётом ограничений. По разметке можно получить сценарии адаптации любого приложения.Annotate UI with accessibility constraints. Generate adaptation scripts for any application from your annotations.
Спортивная аналитикаSports Analytics
Разметка элементов трансляции. По разметке можно получить скрипты извлечения событий и статистики.Annotate broadcast elements. Generate event extraction and statistics scripts from your annotations.
UX-аннотированиеUX Annotation
Разметка намерений элементов. По разметке можно получить чеклисты, метрики и A/B-гипотезы.Annotate element intents. Generate checklists, metrics, and A/B hypotheses from your annotations.
Трейдинг-операцииTrading Operations
Разметка терминалов. По разметке можно получить скрипты снятия позиций и compliance-отчётов.Annotate terminals. Generate position closing and compliance report scripts from your annotations.
Цифровые двойники процессовDigital Process Twins
Разметка экранов бизнес-процесса с временной логикой. По разметке можно получить BPMN-модель и исполняемый сценарий.Annotate business process screens with temporal logic. Generate a BPMN model and executable script from your annotations.
EdTech-проверкиEdTech Assessments
Разметка учебных сред. По разметке можно получить проверяющие сценарии и персональные подсказки.Annotate learning environments. Generate assessment scripts and personalized hints from your annotations.
Legacy-медсистемыLegacy Healthcare Systems
Разметка UI закрытых систем. По разметке можно получить автоматизацию «поверх» без модификации.Annotate closed system UIs. Generate "overlay" automation without modification from your annotations.
Визуальное регресс-тестированиеVisual Regression Testing
Разметка эталонных состояний UI. По разметке можно получить скрипты сравнения и отчёты для QA.Annotate reference UI states. Generate comparison scripts and QA reports from your annotations.