Модули

Модули Screph и границы их ответственности

Screph — среда создания задач для AI на визуальных данных. Она состоит из модулей для получения источников, разметки, применения методов компьютерного зрения, сохранения проекта, работы с кодом и исполнения сценариев. Для каждого модуля указаны входные данные, результаты и текущие ограничения.

ImplementedExperimentalPlanned
Input

Capture

Implemented

Получает и индексирует визуальные источники, но не создаёт разметку сам по себе.

ВходыОбласть/окно/монитор, камера, URL-поток или проверенный набор файлов и папок.
ОперацииЗапись через равные интервалы или вокруг действий, воспроизведение, редактирование шкалы времени, хранение в памяти или на диске, проверка источника и предварительный просмотр.
РезультатКадры, ссылки на источник, положение на шкале времени, экспорт PNG и файлы, связанные с действиями и кадрами.
ОграничениеМедиафайлы воспроизводятся, но не записываются; источник с высокой нагрузкой может снижать отзывчивость интерфейса.
Authoring

Selector

Implemented

Владеет основным редактируемым проектом и связывает визуальный источник с предметной разметкой.

  • Элементы, типизированные визуальные признаки и области выделения с автоматическим или ручным составом. Группы разметки входят в основной формат проекта, но отдельного свободного редактора групп в Selector пока нет.
  • Работа с признаками: копирование с отдельными файлами изображений, создание шаблонов, сеток и производных признаков, целевая точка, связь с владельцем и источником, проверка обрезки, маски и предварительного просмотра.
  • Граф связей показывает иерархию, связь владельца с признаком, связи элементов и признаков, видимость и свойства выбранной связи.
  • Раскладки холста A/B/C/D показывают разные материалы одного проекта. Масштаб, прокрутка и курсор можно связать; раскладка хранится локально и не входит в пакет проекта.
  • Для активного изображения доступны просмотр пикселей, лупа, гистограмма, профиль линии, слои, навигатор и сравнение результатов между версиями.
  • Текстовые и голосовые описания связываются с элементами, признаками, совпадениями, отношениями и сериями изображений. Смысловая обработка настраивается отдельно и может автоматически применить типизированное правило с высокой уверенностью.
  • Модули дерева сохраняют выбранную ветку в отдельный компактный JSON и проверяют, соответствует ли он текущему состоянию проекта.
Analysis

Computer vision

Implemented

Методы компьютерного зрения создают результаты и могут предложить изменения разметки. Основная разметка изменяется только после отдельного применения такого изменения.

28 методов панели

Границы, HSV/K-Means, GrabCut, Watershed, суперпиксели, контуры и компоненты, MSER/Hough, пороговая обработка, сопоставление, сравнение и выравнивание, KLT, OCR, анализ структуры и сегментация с моделями.

14 узлов последовательности

Оттенки серого, тон и контраст, размытие, CLAHE, изменение размера, обрезка, поворот и выравнивание, объединение масок, инверсия, морфология и извлечение контуров.

Исполнение и зависимости

Один метод, линейная последовательность или граф методов. Для OCR нужен компонент ocr.runtime; для YOLO, SAM и OmniParser — ml.runtime и файлы моделей.

Полный каталог и границы режимов →

Data

Проекты и экспорт

Implemented

Основной пакет проекта использует JSON с версией формата и хранит ссылки на файлы результатов.

  • gui_elements, image_features, feature_matches, markup_groups, edges и regions.
  • Исходные изображения, описания результатов методов, маски, контуры, метрики и данные проверки сохранения.
  • Автоматически создаваемый отдельный файл for_ai_agent; поддерживаемый способ автоматизации отдельно готовит main.py.
  • Проверка схемы и целостности файлов при загрузке и сохранении.
Execution

GUI Automation

Implemented

Automation Runtime читает основной проект и исполняет отдельный сценарий Python. Файл for_ai_agent не является его прямым входом, а исполнение не запускается автоматически после разметки.

Поиск и ожидание

Сопоставление изображений и текста, ожидание условий и записанный захват для повторяемой отладки.

Ввод

Щелчок, перемещение, ввод текста, сочетание клавиш, перетаскивание и прокрутка через Arduino HID, устаревший последовательный интерфейс или FakerInput Virtual HID.

Automation Manager

Запуск сценариев, телеметрия EVT, предварительный просмотр экрана и совпадений, ход выполнения и журнал.

Assistance

AI Assistant

Experimental

Помощник выключен по умолчанию. Он формирует контекст со скрытием ограниченных данных и вызывает только разрешённые типизированные действия. Передача изображений и файлов требует явного разрешения; изменения сначала показываются для проверки и требуют подтверждения.

Открыть руководство Assistant →
Recorded actions

Action CV

Experimental

Связывает кадры до и после действия, само действие, план LLM, локальный запуск методов компьютерного зрения, предлагаемые цели, решения проверки и экспорт. Исходная запись действий остаётся неизменяемым материалом для проверки.

Code and speech

Screph Code и голосовые функции

Implemented
  • Screph Code использует редактор Monaco, среду выполнения OpenHands и отдельный процесс Pro Agent с версией протокола JSON-RPC.
  • Builder может сразу изменять файлы в выбранной папке с кодом. Раздел Changes и команда Undo не охватывают все изменения агента, поэтому для проверки требуется сравнение файлов средствами Git или другого внешнего инструмента; до запуска нужна отдельная копия или ветка.
  • Передача в IDE поддерживает связку VS Code/Codex, Trae, PearAI и Window Commander. Остальные пакеты расширений IDE пока существуют только как внутренние заготовки.
  • Для распознавания речи используются Vosk, Yandex, Google и OpenAI. Доступные режимы зависят от выбранной службы; голосовые описания сохраняются в проекте.
  • Voice2Text — отдельная программа в системном трее с окном редактируемой диктовки, вставкой текста в окна Windows, привязками и необязательным преобразованием снимка экрана через LLM. Основная программа реализована; текущий устаревший ZIP требует замены после проверки публикации.
Статус модулей

Доступный режим не всегда означает завершённый процесс

Статус и ограничения