Покажите на изображении, что нужно найти или прочитать, и опишите желаемый результат. В Screph можно настроить обработку в графическом интерфейсе, привлечь агента к выбору областей и алгоритмов, а затем поручить кодовому агенту создание программы по материалам проекта.
Screph создаётся для людей, которые знают свою предметную задачу: найти деталь, прочитать значение, различить состояния или повторить действия в интерфейсе. Изображение и пояснения помогают поставить задачу, графические инструменты — проверить решение, а агенты — справиться с обработкой и программированием.
Рамкой можно обозначить объект и место поиска, выделить характерную деталь и добавить описание. Так задача получает наглядный контекст для вас и агента.
Можно выделить объект по цвету, получить контур или распознать текст. Если выбор метода непонятен, агенту доступен подбор операции и параметров для выбранной области.
Исходник и обработку можно рассмотреть рядом: сохранились ли нужные детали, не попал ли фон в результат. Проблемный пример можно приложить к вопросу агенту и обсудить следующую правку.
Сохранённые объекты, пояснения и результаты передаются как контекст для кода. Агент помогает превратить описание задачи в программу, которую затем можно проверить на своих примерах.
Чтобы объяснить замысел, достаточно начать с примера. В интерфейсе Screph образец, способ поиска и будущая программа последовательно получают конкретное описание.
На изображении задаём область поиска, выделяем образец детали и отдельный визуальный ориентир. Уточняем рамку, проверяем отмену перемещения и связываем образец с ориентиром. Описания сохраняют назначение выделенных областей.
Сначала выделяем границы одной операцией Canny: в результате видны и деталь, и точечные помехи. Затем запускаем цепочку Median Blur → Canny и сравниваем маски. Предварительное сглаживание убирает лишние границы, сохраняя контур детали.
В Screph Code открываем подготовленный проект: разметку, инструкции и материалы обработки. Затем просматриваем задачу для агента и результат проверки трёх случаев — деталь на месте, смещена или отсутствует. В веб-демонстрации ответ агента и результаты запуска подготовлены заранее.
В чате можно описать ожидаемый результат обычными словами и приложить кадр Canvas. Встроенные инструменты дают агенту доступ к контексту задачи и поддерживаемым действиям в программе — от предложения разметки до настройки обработки.
Агент предлагает рамки на приложенном изображении. Их можно рассмотреть поверх исходника, принять, а затем уточнить обычными инструментами холста.
Подбор учитывает выбранную область и цель обработки. Рекомендация содержит метод, параметры и объяснение; после применения результат можно пересчитать и оценить на изображении.
В Screph Code задача продолжается с выбранными данными проекта. С кодовым агентом можно обсуждать логику, вносить изменения и разбирать вывод после запуска.
Агент работает через выбранное подключение к модели. Для анализа изображений требуется разрешить их передачу; доступные действия зависят от подключённых инструментов.
Например: найти значок или прочитать число в заданной области. Можно начать с рамки и одной операции, а непонятный шаг разобрать с агентом. Глубину настройки определяет задача.
Для более сложной задачи есть последовательности кадров, цепочки обработки, датасеты и обучение моделей. Если требуется особая обработка, доступны пользовательские операции на Python и запросы к ИИ; с созданием кода помогает агент.
Screph находится в разработке. На странице статуса описаны готовность отдельных инструментов и текущие ограничения.
Демонстрации показывают разметку детали на Canvas, выбор обработки, работу агента с кадром и передачу проекта в Screph Code. Это учебный интерфейс в браузере: он объясняет шаги работы без запуска ваших файлов, моделей и устройств.
Отдельные панели крупным планом: где показать объект, настроить обработку, обсудить результат с агентом и продолжить работу над программой. Снимки версии в разработке можно открыть целиком.
Тип объекта и форма рамки выбираются отдельно: элемент, признак или область; прямоугольник, эллипс, многоугольник или лассо.
Инструменты выбора собирают несколько рамок во временный набор. Ctrl-клик добавляет объект или убирает его из выбора.
Вкладки «Граф» и «Дерево» показывают объекты и их связи. Граф помогает увидеть структуру разметки.
В блоке «Построение схемы» выбирается операция или цепочка шагов. Например, Median Blur убирает точечные помехи перед поиском контуров Canny.
Кнопка «Запустить и сохранить» рассчитывает результат с текущими параметрами. Сохранённый результат обработки остаётся отдельным от разметки.
Инспектор показывает распределение значений пикселей по каналам. Гистограмма помогает оценить изображение перед настройкой обработки.
В блоке «Источник» выбираются источник кадров, способ записи и область захвата. Эти настройки определяют, какое изображение поступит в работу.
Таблица показывает фрагмент изображения, маску и превью признака с их статусами. Отсюда доступны открытие файла и пересохранение.
Поле запроса и кнопка «Прикрепить кадр Canvas» задают обращение к агенту. Для ответа требуется настроенное подключение модели.
Блок «Следующий шаг» предлагает создать или выбрать датасет и открыть расширенные настройки. Подготовка примеров предшествует обучению.
Мини-карта показывает общий вид изображения и положение видимой области. Она помогает ориентироваться при увеличении холста.
Кнопки перехода, пуска и остановки управляют просмотром кадров. Рядом настраиваются скорость воспроизведения и повтор по кругу.
Кнопки «−» и «+» меняют масштаб. «В окно» и «К кадру» помогают выбрать удобный вид таймлайна.
Флажки «Владение» и «Связи» управляют отображением двух видов отношений в графе объектов.
Рядом находятся команды создания датасета, добавления данных и открытия учебного примера. Доступность действий зависит от выбранного датасета.
Дерево папок и файлов помогает находить материалы проекта. Поле фильтра сокращает список при поиске нужного файла.
Кнопки «Запуск», «Стоп» и «Повтор» собраны рядом. Здесь можно управлять выполнением подготовленного кода.
Вкладки под редактором переключают вывод, терминал и план. Рабочие панели доступны рядом с открытым файлом.
Изображения, выделенные объекты, описания, связи и результаты обработки сохраняются в проекте. К ним можно вернуться, чтобы уточнить задачу и продолжить работу.
Рамки, параметры и результаты видны в интерфейсе. Предложение агента можно проверить по изображению и при необходимости скорректировать перед применением.
Screph Code помогает создать программу по материалам проекта. Её проверка и запуск — отдельный этап: сохранение разметки не запускает автоматизацию.
Для первых шагов можно начать с изображения и описания задачи: показать объект, выбрать область и проверить результат в интерфейсе. Агент помогает с методами, параметрами и кодом. Возможность решить конкретную задачу зависит от данных и доступных инструментов; более сложные случаи могут потребовать технической доработки и дополнительных проверок.
В настройках выбирается подключение к языковой модели. Для анализа изображения нужна модель, которая его поддерживает, и разрешение на передачу кадра. Отдельные методы компьютерного зрения требуют своих моделей и вычислительных компонентов; требования описаны в документации.
Screph Code — встроенная агентная IDE, то есть редактор для создания программы вместе с кодовым агентом. Он получает выбранные изображения, разметку, описания и материалы обработки, чтобы писать код в контексте задачи. Агент может менять файлы рабочей папки: изменения стоит сохранять в системе контроля версий и проверять. Запуск выполняется отдельно.
Разметка, сохранение проектов и классические операции обработки работают локально. Подключение к облачному агенту, сервисы речи, загрузка моделей и отдельные интеграции требуют интернета.
Проекты и изображения хранятся локально. Для обращения к облачной модели передаются данные выбранного запроса. Отправка изображений и файлов проекта агенту по умолчанию запрещена и требует разрешения.
Industrial и UAV остаются экспериментальными рабочими областями. Они не заявлены как законченные процессы для промышленной эксплуатации или автономного выполнения.
Что нужно найти, прочитать или проверить? В Screph этот замысел можно показать на кадре, уточнить вместе с агентом и использовать как основу для создания своей программы.