В проекте изображение, видео или запись экрана связываются с разметкой, отношениями, голосовыми описаниями и результатами подбора и настройки методов компьютерного зрения. Сохранённые данные задачи используются в Screph Code или других агентных инструментах. Подготовка данных, изменение кода и исполнение остаются отдельными этапами; предварительный результат не меняет основную разметку без отдельного применения.
Режим определяет доступные типы объектов и инструменты. General и GUI Automation поддерживают основной процесс; Industrial и UAV доступны как экспериментальные рабочие области с незавершёнными этапами. При смене режима согласованно меняются профили компьютерного зрения и Selector.
Источником может быть область экрана, камера, сетевой поток или набор изображений, видео и папок. Capture связывает кадры с источником и положением на шкале времени; одного пути к файлу или номера кадра недостаточно для определения происхождения.
В Selector создаются элементы, признаки, области интереса, аннотации и типизированные связи. Разметка редактируется на общем холсте, даже если одновременно открыто несколько представлений визуальных данных.
Обработка выполняется одним методом, линейной последовательностью или графом методов. Входные данные и область интереса проверяются; результат может содержать маски, контуры, обнаружения, OCR, метрики, журнал выполнения и сообщения диагностики. Методы с моделями могут требовать отдельной среды выполнения и файлов весов.
Предварительный просмотр, наложение, маска, метрики и журнал позволяют сравнить результат с исходными данными. В Industrial, UAV, Assistant и Action CV предварительный результат не равен применённому изменению, а устаревший контекст блокирует изменение проекта.
Пакет проекта хранит JSON с версией формата, исходные изображения, элементы, признаки, совпадения, группы, связи, метаданные и ссылки на файлы результатов. Перед загрузкой проверяются схема и целостность пакета.
Контекст for_ai_agent передаётся в Screph Code или другой агентный инструмент. Automation Runtime отдельно использует основной проект для GUI-автоматизации. Screph Code обменивается данными с Pro Agent через JSON-RPC. Проверка проекта в Automation Runtime запускается отдельно; защита выбранного монитора действует только во время фактического ввода указателя.
Типизированные связи между элементами и признаками основного проекта. Это данные разметки, а не исполняемая программа.
Граф методов компьютерного зрения с типизированными входами и выходами и журналом выполнения. Он преобразует визуальные данные.
Записанные действия пользователя и связанные с ними кадры. Action CV создаёт на их основе предлагаемые результаты, не изменяя исходную запись.