Сценарии

Сценарии работы с модулями Screph

Для каждого сценария указаны входные визуальные данные, операции в Screph, сохранённый результат и текущее ограничение. Методы компьютерного зрения используются при необходимости; работа с кодом и исполнение остаются отдельными этапами.

ImplementedGeneral / GUI Automation

Данные GUI-сценария для автоматизации

Задача

Для сценария недостаточно координат: нужны идентификатор объекта, визуальные признаки, состояния и данные для проверки.

Вход

Экран или окно Windows, один снимок либо записанная последовательность.

В Screph

В проекте создаются элементы, отношения и аннотации. OCR, сопоставление и другие методы компьютерного зрения применяются при необходимости; предлагаемые результаты проверяются отдельно.

Результат

Основной проект для Automation Runtime, выбранный main.py и отдельный контекст for_ai_agent для Screph Code или другого агентного инструмента.

Ограничение: Граф разметки не исполняется автоматически. Требуются отдельный сценарий, контекст координат цели и настроенный способ ввода Arduino или FakerInput.

ImplementedGeneral

Анализ компьютерного зрения с сохранёнными параметрами

Задача

Отдельный блокнот OpenCV сам по себе не связывает область интереса, параметры, визуальный результат и изменение проекта.

Вход

Изображение, снимок экрана или проверенный набор видео и папок.

В Screph

Область интереса связывается с методом, линейной последовательностью или графом методов. Исходные данные сравниваются с результатом, маской, контурами, OCR и метриками.

Результат

Параметры методов, журнал выполнения и отдельные файлы результатов. Изменения элементов и признаков основного проекта сохраняются только после отдельного применения.

Ограничение: Методы с моделями требуют соответствующих файлов весов и среды выполнения; для Tesseract OCR нужна локальная установка.

ExperimentalAction CV

Цели в записанной последовательности действий

Задача

Журнал нажатий клавиш и кнопок мыши не содержит проверенного визуального объекта, с которым взаимодействовал пользователь.

Вход

Запись действий с кадрами до, во время и после действия и с преобразованиями координат.

В Screph

LLM предлагает план методов, методы компьютерного зрения исполняются локально, а предлагаемые результаты сравниваются с исходными кадрами и принимаются, изменяются или отклоняются отдельно.

Результат

Решения проверки, предлагаемые цели, сведения об их происхождении, предлагаемое изменение графа проекта и дополненный контекст автоматизации.

Ограничение: Процесс имеет статус Experimental и требует проверки человеком. LLM не является источником истины; исходная запись действий не изменяется.

ExperimentalIndustrial / UAV

Задачи Industrial и UAV на локальных данных

Задача

Общая разметка не содержит предметных типов дефекта, зоны измерения, области интереса, изменения и траектории.

Вход

Промышленное изображение или область интереса либо кадр или серия UAV с доступными временными и пространственными данными.

В Screph

Создаётся задача выбранного режима, выполняется настроенный план методов, результаты сравниваются с исходными данными, а поддерживаемое изменение элемента или области применяется отдельно.

Результат

Основная разметка и отдельные файлы режима для дальнейшего исследования.

Ограничение: Процессы не завершены. Screph не является MES/QMS, контроллером CNC/PLC, GIS, системой управления миссиями или автопилотом.