Capture
Источники и запись
Реализовано
Capture работает с областью экрана, окном, монитором, камерой, URL-потоком, изображениями, видео и папками. Кадры сохраняют связь с источником и положением на шкале времени.
ОперацииЗапись через равные интервалы или вокруг действий, воспроизведение, редактирование шкалы времени и экспорт кадров.
ОграничениеМедиафайлы воспроизводятся как источник, но не записываются повторно; тяжёлый поток может снижать отзывчивость интерфейса.
Selector
Разметка и связи
Реализовано
Selector связывает визуальный источник с элементами, признаками, областями, аннотациями и отношениями. Основная разметка редактируется на холсте и сохраняется в проекте с историей изменений.
- Несколько представлений одного проекта, просмотр пикселей, гистограмма, профиль линии, слои и сравнение результатов.
- Текстовые и голосовые описания для элементов, признаков, отношений и серий изображений.
- Группы сохраняются в проекте и создаются поддерживаемыми рабочими процессами; общего визуального редактора произвольных групп пока нет.
Computer vision
Методы компьютерного зрения
Реализовано
Один метод, последовательность или граф методов может создать маски, контуры, обнаружения, распознанный текст, метрики и журнал выполнения. Результат метода хранится отдельно от предлагаемого изменения разметки.
Классические методы
Границы, пороговая обработка, сегментация, контуры, сопоставление, сравнение, выравнивание и анализ движения.
Методы с моделями
YOLO, SAM и OmniParser требуют подготовленной среды выполнения и подходящих файлов моделей. Для OCR с Tesseract нужна локальная установка Tesseract.
Применение результата
Предлагаемое изменение становится частью основной разметки только после решения пользователя в поддерживаемом процессе проверки.
Методы, зависимости и проверка результатов →
Project
Основной проект и экспорт
Реализовано
Основной проект хранит версию формата, исходные изображения, разметку, связи, группы, описания и ссылки на прикреплённые результаты методов. При загрузке и сохранении проверяются структура проекта и связанные файлы.
Для Screph Code и поддерживаемых внешних инструментов создаётся отдельное представление выбранных данных. GUI Automation использует основной проект и отдельно подготовленный сценарий.
Automation Runtime
Исполнение GUI-сценариев
Реализовано
Automation Runtime загружает основной проект, ищет изображения и текст, ожидает заданные условия и выполняет действия ввода через настроенный Arduino HID или FakerInput Virtual HID. Разметка сама по себе не запускает автоматизацию.
Перед запуском нужны сценарий, подходящий способ ввода, проверка координат и наблюдение за целевым приложением.
Screph Code
Встроенная агентная IDE
Реализовано с ограничениями
Screph Code получает выбранные данные проекта через установленный компонент Pro Agent и работает с папкой кода. Builder может изменять файлы в этой папке, поэтому перед работой нужна отдельная копия или ветка, а после — проверка изменений через Git или другой инструмент сравнения.
Agent
Агент в интерфейсе
Экспериментально
Помощник выключен по умолчанию. Изображения и файлы передаются только с разрешения, а действия, меняющие данные, показываются для проверки и требуют подтверждения.
Настройка и ограничения Агента →
Action CV
Анализ записанных действий
Экспериментально
Action CV связывает действие с кадрами до и после него, запускает выбранные методы локально и сохраняет предлагаемые цели вместе с решением пользователя. Результат требует проверки человеком.
Voice
Голосовые описания и Voice2Text
- Основная программа сохраняет голосовые описания в проекте и поддерживает Vosk, Yandex, Google и OpenAI в зависимости от выбранной службы и настроек.
- Voice2Text — отдельная Windows-программа для диктовки, проверяемой вставки текста и необязательной обработки снимка с помощью языковой модели.
