Capture
Источники и запись
Реализовано
Capture работает с областью экрана, окном, монитором, камерой, URL-потоком, изображениями, видео и папками. Кадры сохраняют связь с источником и положением на шкале времени.
ОперацииЗапись через равные интервалы или вокруг действий, воспроизведение, редактирование шкалы времени и экспорт кадров.
ОграничениеМедиафайлы воспроизводятся как источник, но не записываются повторно; тяжёлый поток может снижать отзывчивость интерфейса.
Selector
Разметка и связи
Реализовано
Selector связывает визуальный источник с элементами, признаками, областями, аннотациями и отношениями. Основная разметка редактируется на холсте и сохраняется в проекте с историей изменений.
- Несколько представлений одного проекта, просмотр пикселей, гистограмма, профиль линии, слои и сравнение результатов.
- Текстовые и голосовые описания для элементов, признаков, отношений и серий изображений.
- Группы сохраняются в проекте и создаются поддерживаемыми рабочими процессами; общего визуального редактора произвольных групп пока нет.
Computer vision
Методы компьютерного зрения
Реализовано
В визуальном конструкторе методы связываются в последовательность или граф. Параметры и результат каждого шага доступны в интерфейсе: изображения, маски, контуры, найденные объекты, текст, метрики и журнал выполнения. Применение результата к разметке выполняется отдельно.
Классические методы
Границы, пороговая обработка, сегментация, контуры, сопоставление, сравнение, выравнивание и анализ движения.
Методы с моделями
YOLO, SAM и OmniParser требуют подготовленной среды выполнения и подходящих файлов моделей. Для OCR с Tesseract нужна локальная установка Tesseract.
Применение результата
После проверки результата пользователь принимает или отклоняет предложенное изменение разметки.
Методы, зависимости и проверка результатов →
Project
Основной проект и экспорт
Реализовано
Основной проект хранит версию формата, исходные изображения, разметку, связи, группы, описания и ссылки на прикреплённые результаты методов. При загрузке и сохранении проверяются структура проекта и связанные файлы.
В Screph Code и внешние инструменты можно передать выбранные данные проекта. Для GUI Automation дополнительно нужен сценарий исполнения.
Automation Runtime
Исполнение GUI-сценариев
Реализовано
Загрузка проекта, поиск визуальных и текстовых состояний, ожидание условий и действия через выбранный способ ввода. Запуск сценария всегда выполняется отдельно.
Перед запуском нужны сценарий, подходящий способ ввода, проверка координат и наблюдение за целевым приложением.
Способы ввода
Screph Code
IDE с кодовым агентом
Реализовано с ограничениями
Screph Code работает с папкой кода и выбранными данными проекта через установленный компонент Pro Agent. Builder может изменять файлы в этой папке. Перед работой создайте копию или ветку, затем проверьте изменения через Git или другой инструмент сравнения.
Agent
Агент в интерфейсе
Экспериментально
Агент объясняет результаты, создаёт и редактирует разметку и схемы компьютерного зрения. По умолчанию он выключен. В пошаговом режиме пользователь подтверждает изменения; в делегированном агент продолжает разрешённую задачу до результата, остановки или запроса участия пользователя.
Проекты и изображения хранятся локально. Для обращения к облачной модели передаются данные выбранного запроса. Отправка изображений и файлов проекта агенту по умолчанию запрещена и требует разрешения.
Настройка и ограничения Агента →
Action CV
Анализ записанных действий
Экспериментально
Action CV связывает действие с кадрами до и после него, запускает выбранные методы локально и сохраняет предлагаемые цели вместе с решением пользователя. Результат требует проверки человеком.
Voice
Голосовые описания и Voice2Text
- Основная программа сохраняет голосовые описания в проекте и поддерживает Vosk, Yandex, Google и OpenAI в зависимости от выбранной службы и настроек.
- Voice2Text работает как отдельная Windows-программа для диктовки, проверки текста перед вставкой и обработки снимка с помощью языковой модели по выбору пользователя.
