Источники и захват
Источником может быть область экрана, монитор, окно, камера, URL, видео, изображение или папка. Для кадров сохраняются источник и положение на шкале времени.
Компьютерное зрение · AI-агенты · Разработка · Windows · Альфа-версия
Screph: единая среда для компьютерного зрения.
Классические алгоритмы и модели машинного обучения, разметка, помощь AI-агентов и встроенная среда разработки — в общем рабочем пространстве. Подготовленная основа и управление компонентами сокращают объём настройки перед работой над задачей.
Меньше подготовки
до первого эксперимента
Для поддерживаемых задач уже подобраны наборы библиотек и предусмотрены средства установки и проверки компонентов. Это уменьшает объём ручной сборки окружения и соединения отдельных инструментов.
- Классическое компьютерное зрение
- OpenCV · NumPy · Pillow
Обработка изображений, фильтры, контуры и сопоставление.
- Методы с машинным обучением
- PyTorch · YOLO · SAM · OmniParser
Среда выполнения и средства управления подходящими моделями.
- Текст, видео и речь
- Tesseract · FFmpeg · Vosk
Компоненты для распознавания текста, операций с видео и локальной речи.
- Сценарии и разработка
- Python · Screph Code
Выполнение сценариев и агентная работа с кодом по данным проекта.
Путь данных в Screph
Screph хранит исходные материалы, разметку, описания и результаты методов компьютерного зрения в одном проекте. Изменение основной разметки выполняется отдельно.
Разметка и связи
Элементы, области, признаки, группы, аннотации и связи редактируются на общем холсте. Ветки дерева можно экспортировать отдельно.
Основной проект и работа с кодом
Основной проект хранит исходные материалы, разметку, отношения, описания и результаты методов. Screph Code, Automation Runtime и внешние инструменты получают данные проекта отдельными путями.
Разметка, параметры алгоритмов и код — с участием агентов
Агенту можно поручать поддерживаемые операции с разметкой и подготовку рекомендаций по обработке. Исходный материал, результаты и изменения остаются доступны для проверки в рабочем пространстве.
Помощь с разметкой
Агент помогает подготовить области и операции с разметкой. Предлагаемые изменения проверяются перед применением к основной разметке.
Подбор операции и параметров
По выбранной области агент предлагает операцию обработки и её настройки. Проверка рекомендации, применение параметров и запуск обработки остаются отдельными действиями.
Разработка в Screph Code
Встроенная агентная IDE использует выбранные данные проекта для работы с кодом. Изменения файлов требуют проверки; выполнение кода запускается отдельно.
Агентная работа требует настроенного подключения к подходящей LLM. Возможности зависят от выбранной модели и доступных инструментов.
Подготовленная отправная точка и пространство для настройки
Больше внимания самой задаче
Общее графическое пространство и подготовленные компоненты уменьшают объём технической подготовки. Можно начать с изображения, разметки и сравнения методов, постепенно переходя к моделям, агентам и коду.
Быстрее проверять гипотезы
Общие данные проекта, последовательности и графы методов, помощь агентов и встроенная разработка позволяют организовать повторяющиеся операции и работу над прототипом. Для поддерживаемых компонентов сохраняется выбор собственной среды.
Прототип можно развивать дальше внутри доступных инструментов или продолжить работу с данными и кодом во внешней среде. Применимость Screph к крупным проектам пока не проверена на практике.
Демонстрация интерфейса
Основной интерфейс программы Screph
Выберите маршрут и проследите за действиями в обновлённом интерфейсе Screph с голосовым описанием. Демонстрация использует подготовленные данные и не запускает локальные файлы, модели и устройства.
Интерактивная демонстрация
Возможности программы
Интерфейс и инструменты
Кнопки и панели Screph: что они настраивают и с какими данными помогают работать. Снимки текущей версии в разработке, в тёмной теме.
Панель инструментов
Тип объекта и форма рамки выбираются отдельно: элемент, признак или область; прямоугольник, эллипс, многоугольник или лассо.
Выбор нескольких рамок
Инструменты выбора собирают несколько рамок во временный набор. Ctrl-клик добавляет объект или убирает его из выбора.
Панель информации
Вкладки «Граф» и «Дерево» показывают объекты и их связи. Граф помогает увидеть структуру разметки.
Настройка обработки
В блоке «Построение схемы» выбирается операция или цепочка шагов. Например, Median Blur убирает точечные помехи перед поиском контуров Canny.
Пересчёт и сохранение
Кнопка «Запустить и сохранить» рассчитывает результат с текущими параметрами. Сохранённый результат обработки остаётся отдельным от разметки.
Гистограмма изображения
Инспектор показывает распределение значений пикселей по каналам. Гистограмма помогает оценить изображение перед настройкой обработки.
Панель захвата
В блоке «Источник» выбираются источник кадров, способ записи и область захвата. Эти настройки определяют, какое изображение поступит в работу.
Признаки объектов
Таблица показывает фрагмент изображения, маску и превью признака с их статусами. Отсюда доступны открытие файла и пересохранение.
Чат агента
Поле запроса и кнопка «Прикрепить кадр Canvas» задают обращение к агенту. Для ответа требуется настроенное подключение модели.
Подготовка датасета
Блок «Следующий шаг» предлагает создать или выбрать датасет и открыть расширенные настройки. Подготовка примеров предшествует обучению.
Мини-карта холста
Мини-карта показывает общий вид изображения и положение видимой области. Она помогает ориентироваться при увеличении холста.
Управление воспроизведением
Кнопки перехода, пуска и остановки управляют просмотром кадров. Рядом настраиваются скорость воспроизведения и повтор по кругу.
Масштаб таймлайна
Кнопки «−» и «+» меняют масштаб. «В окно» и «К кадру» помогают выбрать удобный вид таймлайна.
Фильтры графа
Флажки «Владение» и «Связи» управляют отображением двух видов отношений в графе объектов.
Команды датасета
Рядом находятся команды создания датасета, добавления данных и открытия учебного примера. Доступность действий зависит от выбранного датасета.
Проводник проекта
Дерево папок и файлов помогает находить материалы проекта. Поле фильтра сокращает список при поиске нужного файла.
Запуск кода
Кнопки «Запуск», «Стоп» и «Повтор» собраны рядом. Здесь можно управлять выполнением подготовленного кода.
Вывод и терминал
Вкладки под редактором переключают вывод, терминал и план. Рабочие панели доступны рядом с открытым файлом.
Проект сохраняет JSON с версией схемы, исходные изображения, разметку, связи, группы и манифесты результатов.
Данные метода остаются отдельным результатом. Предлагаемое изменение становится частью основной разметки только после явного решения пользователя.
Исполнение автоматизации, внешний LLM и генерация кода имеют собственные зависимости и ограничения.
FAQ
Основные ограничения
Все компоненты уже установлены?
Подготовленная основа включает наборы зависимостей и средства управления ими. Некоторые компоненты, модели и подключения требуют отдельной настройки. Состав конкретного установщика проверяется отдельно.
Можно ли использовать собственную среду?
Для поддерживаемых компонентов доступны управляемая среда Screph, существующая системная установка и собственный путь. Выбранная среда должна пройти проверку необходимых зависимостей.
Как Screph работает с кодом?
Screph Code получает выбранные данные задачи. Builder может изменять файлы рабочей папки, поэтому до запроса нужна резервная копия или система контроля версий, а после — проверка изменений. Запуск кода и GUI-автоматизации выполняется отдельно.
Нужен ли интернет?
Разметка, хранение проектов и классические CV-методы работают локально. Облачные сервисы речи и LLM, загрузка моделей и некоторые интеграции требуют подключения к сети.
Отправляются ли проекты в облако?
Проекты и изображения хранятся локально. Передача происходит только в явно выбранном облачном сценарии, связанном с LLM или распознаванием речи. По умолчанию Агенту запрещена отправка изображений и файлов проекта.
Режимы Industrial и UAV готовы к промышленной эксплуатации?
Нет. Они доступны как экспериментальные рабочие области для предварительного просмотра, проверки предлагаемых результатов и отдельного применения изменений разметки. Законченный производственный процесс и автономное выполнение пока отсутствуют.
Основной проект Screph
Данные проекта и работа с кодом
Проект содержит визуальный источник, разметку, отношения, текстовые и голосовые описания и результаты методов компьютерного зрения. Сохранённые данные используются в Screph Code или передаются поддерживаемому внешнему инструменту отдельным действием.