Источники и захват
Источником может быть область экрана, монитор, окно, камера, URL, видео, изображение или папка. Для кадров сохраняются источник и положение на шкале времени.
Компьютерное зрение · AI-агенты · Разработка · Windows · Альфа-версия
Screph: единая среда для компьютерного зрения.
Классические алгоритмы и модели машинного обучения, разметка, помощь AI-агентов и встроенная среда разработки — в общем рабочем пространстве. Подготовленная основа и управление компонентами сокращают объём настройки перед работой над задачей.
Меньше подготовки
до первого эксперимента
Для поддерживаемых задач уже подобраны наборы библиотек и предусмотрены средства установки и проверки компонентов. Это уменьшает объём ручной сборки окружения и соединения отдельных инструментов.
- Классическое компьютерное зрение
- OpenCV · NumPy · Pillow
Обработка изображений, фильтры, контуры и сопоставление.
- Методы с машинным обучением
- PyTorch · YOLO · SAM · OmniParser
Среда выполнения и средства управления подходящими моделями.
- Текст, видео и речь
- Tesseract · FFmpeg · Vosk
Компоненты для распознавания текста, операций с видео и локальной речи.
- Сценарии и разработка
- Python · Screph Code
Выполнение сценариев и агентная работа с кодом по данным проекта.
Путь данных в Screph
Screph хранит исходные материалы, разметку, описания и результаты методов компьютерного зрения в одном проекте. Изменение основной разметки выполняется отдельно.
Разметка и связи
Элементы, области, признаки, группы, аннотации и связи редактируются на общем холсте. Ветки дерева можно экспортировать отдельно.
Основной проект и работа с кодом
Основной проект хранит исходные материалы, разметку, отношения, описания и результаты методов. Screph Code, Automation Runtime и внешние инструменты получают данные проекта отдельными путями.
Разметка, параметры алгоритмов и код — с участием агентов
Агенту можно поручать поддерживаемые операции с разметкой и подготовку рекомендаций по обработке. Исходный материал, результаты и изменения остаются доступны для проверки в рабочем пространстве.
Помощь с разметкой
Ассистент помогает подготовить области и операции с разметкой. Предлагаемые изменения проверяются перед применением к основной разметке.
Подбор метода и параметров
По выбранной области агент предлагает метод компьютерного зрения и его настройки. Проверка рекомендации, применение параметров и запуск обработки остаются отдельными действиями.
Разработка в Screph Code
Встроенная агентная IDE использует выбранные данные проекта для работы с кодом. Изменения файлов требуют проверки; выполнение кода запускается отдельно.
Агентная работа требует настроенного подключения к подходящей LLM. Возможности зависят от выбранной модели и доступных инструментов.
Подготовленная отправная точка и пространство для настройки
Больше внимания самой задаче
Общее графическое пространство и подготовленные компоненты уменьшают объём технической подготовки. Можно начать с изображения, разметки и сравнения методов, постепенно переходя к моделям, агентам и коду.
Быстрее проверять гипотезы
Общие данные проекта, последовательности и графы методов, помощь агентов и встроенная разработка позволяют организовать повторяющиеся операции и работу над прототипом. Для поддерживаемых компонентов сохраняется выбор собственной среды.
Прототип можно развивать дальше внутри доступных инструментов или продолжить работу с данными и кодом во внешней среде. Применимость Screph к крупным проектам пока не проверена на практике.
Демонстрация интерфейса
Основной интерфейс программы Screph
Демонстрация воспроизводит основной интерфейс программы Screph: рабочую область, панели и элементы управления. Обработка изображений, сохранение проекта и работа с кодом в демонстрации не выполняются.
Интерактивная демонстрация
Перспективы применения
Сценарии работы с визуальными данными
Визуальный источник, разметка, связи и описания формируют основу для направлений, где требуется анализ интерфейсов и процессов, проектирование автоматизации или подготовка данных для AI.
Legacy-системы без API
Размеченные экраны старых терминалов, SCADA и банковских систем задают визуальную карту элементов, состояний и переходов для проектов мониторинга, переноса процессов и управления через интерфейс.
Передача экспертных навыков
Кадры, действия, выделенные элементы и голосовые пояснения складываются в карту практического опыта для учебных сценариев, инструкций и проектирования автоматизации.
Визуальные проверки регламентов
Поля форм, состояния и правила проверки объединяются в структурированный материал для контрольных процедур, аудита интерфейсов и проектирования журналов результатов.
Связь систем через интерфейсы
Элементы двух закрытых систем связываются в общей модели операций и обмена данными — основе для сценариев взаимодействия между CAD и ERP, LIMS и таблицами, внутренними порталами.
Данные процессов из видео
Кадры скринкаста, временные отметки, области и описания действий дают материал для извлечения данных, реконструкции этапов и документации процесса.
Аналитика видеонаблюдения
Экраны VMS, камеры, планы объектов и размеченные зоны создают визуальный контекст для исследования событий, поддержки оператора и подготовки отчётов.
Лабораторные процессы
Интерфейсы приборов, измеряемые значения и порядок действий описывают процесс для протоколов, серийной обработки и обмена данными с LIMS.
Креативные пайплайны
Панели Adobe, DaVinci и Blender связываются с операциями, параметрами и переходами. Такая карта интерфейса служит основой для пакетной обработки и сценариев рендера.
Доступность интерфейсов
Элементы, состояния и требования доступности задают контекст задачи для адаптивного взаимодействия, навигационной поддержки и анализа конкретного приложения.
Спортивная аналитика
Области трансляции, временные отметки и аннотации событий задают структуру данных для классификации эпизодов, поиска фрагментов и расчёта статистики.
UX-аннотирование
Назначение, состояния и связи элементов дают систематизированный материал для UX-чек-листов, сравнения интерфейсов и анализа A/B-гипотез.
Анализ операций в терминалах
Снимки и записи терминала объединяют последовательности действий, состояния и контрольные точки в материал для изучения процессов, составления чек-листов и отчётности.
Цифровые модели процессов
Экраны бизнес-процесса, состояния, переходы и временные связи описывают текущий процесс для проектирования сценариев, анализа узких мест и будущей автоматизации.
Проверка учебных сценариев
Элементы учебной среды, состояния заданий и правила проверки задают контекст для обратной связи, учебных материалов и проектирования сценариев проверки.
Работа с медицинскими интерфейсами
Закрытая медицинская система описывается как визуальная карта элементов, состояний и взаимодействий для документации, обучения персонала и исследования путей интеграции.
Визуальное регресс-тестирование
Эталонные состояния интерфейса, значимые области и правила сравнения образуют набор данных для проектирования регресс-проверок и подготовки отчётов.
Промышленное зрение
Изображения деталей и оборудования, области измерения, допуски и признаки дефектов формируют контекст для задач визуальной инспекции, сравнения состояний и подготовки материалов контроля.
Анализ данных UAV
Кадры и серии кадров, области интереса, изменения и траектории задают структуру для сравнения наблюдений, анализа участков и подготовки данных для исследовательских задач.
Проект сохраняет JSON с версией схемы, исходные изображения, разметку, связи, группы и манифесты результатов.
Данные метода остаются отдельным результатом. Предлагаемое изменение становится частью основной разметки только после явного решения пользователя.
Исполнение автоматизации, внешний LLM и генерация кода имеют собственные зависимости и ограничения.
FAQ
Основные ограничения
Все компоненты уже установлены?
Подготовленная основа включает наборы зависимостей и средства управления ими. Некоторые компоненты, модели и подключения требуют отдельной настройки. Состав конкретного установщика проверяется отдельно.
Можно ли использовать собственную среду?
Для поддерживаемых компонентов доступны управляемая среда Screph, существующая системная установка и собственный путь. Выбранная среда должна пройти проверку необходимых зависимостей.
Как Screph работает с кодом?
Screph Code получает выбранные данные задачи. Builder может изменять файлы рабочей папки, поэтому до запроса нужна резервная копия или система контроля версий, а после — проверка изменений. Запуск кода и GUI-автоматизации выполняется отдельно.
Нужен ли интернет?
Разметка, хранение проектов и классические CV-методы работают локально. Облачные сервисы речи и LLM, загрузка моделей и некоторые интеграции требуют подключения к сети.
Отправляются ли проекты в облако?
Проекты и изображения хранятся локально. Передача происходит только в явно выбранном облачном сценарии, связанном с LLM или распознаванием речи. По умолчанию AI-ассистенту запрещена отправка изображений и файлов проекта.
Режимы Industrial и UAV готовы к промышленной эксплуатации?
Нет. Они доступны как экспериментальные рабочие области для предварительного просмотра, проверки предлагаемых результатов и отдельного применения изменений разметки. Законченный производственный процесс и автономное выполнение пока отсутствуют.
Основной проект Screph
Данные проекта и работа с кодом
Проект содержит визуальный источник, разметку, отношения, текстовые и голосовые описания и результаты методов компьютерного зрения. Сохранённые данные используются в Screph Code или передаются поддерживаемому внешнему инструменту отдельным действием.