Источники и захват
Источником может быть область экрана, монитор, окно, камера, URL, видео, изображение или папка. Для кадров сохраняются источник и положение на шкале времени.
Среда создания задач для AI на визуальных данных · Windows · Альфа-версия
Screph: создание задач для AI на визуальных данных.
В Screph исходное изображение или видео связывается с элементами разметки, их отношениями, описаниями и результатами методов компьютерного зрения. Основной проект хранит эти данные и создаёт контекст для встроенной агентной IDE Screph Code или поддерживаемого внешнего инструмента для работы с кодом.
Путь данных в Screph
Screph хранит исходные материалы, разметку, описания и результаты методов компьютерного зрения в одном проекте. Изменение основной разметки выполняется отдельно.
Разметка и связи
Элементы, области, признаки, группы, аннотации и связи редактируются на общем холсте. Ветки дерева можно экспортировать отдельно.
Основной проект и работа с кодом
Основной проект хранит исходные материалы, разметку, отношения, описания и результаты методов. Screph Code, Automation Runtime и внешние инструменты получают данные проекта отдельными путями.
Демонстрация интерфейса
Основной интерфейс программы Screph
Демонстрация воспроизводит основной интерфейс программы Screph: рабочую область, панели и элементы управления. Обработка изображений, сохранение проекта и работа с кодом в демонстрации не выполняются.
Интерактивная демонстрация
Перспективы применения
Сценарии работы с визуальными данными
Визуальный источник, разметка, связи и описания формируют основу для направлений, где требуется анализ интерфейсов и процессов, проектирование автоматизации или подготовка данных для AI.
Legacy-системы без API
Размеченные экраны старых терминалов, SCADA и банковских систем задают визуальную карту элементов, состояний и переходов для проектов мониторинга, переноса процессов и управления через интерфейс.
Передача экспертных навыков
Кадры, действия, выделенные элементы и голосовые пояснения складываются в карту практического опыта для учебных сценариев, инструкций и проектирования автоматизации.
Визуальные проверки регламентов
Поля форм, состояния и правила проверки объединяются в структурированный материал для контрольных процедур, аудита интерфейсов и проектирования журналов результатов.
Связь систем через интерфейсы
Элементы двух закрытых систем связываются в общей модели операций и обмена данными — основе для сценариев взаимодействия между CAD и ERP, LIMS и таблицами, внутренними порталами.
Данные процессов из видео
Кадры скринкаста, временные отметки, области и описания действий дают материал для извлечения данных, реконструкции этапов и документации процесса.
Аналитика видеонаблюдения
Экраны VMS, камеры, планы объектов и размеченные зоны создают визуальный контекст для исследования событий, поддержки оператора и подготовки отчётов.
Лабораторные процессы
Интерфейсы приборов, измеряемые значения и порядок действий описывают процесс для протоколов, серийной обработки и обмена данными с LIMS.
Креативные пайплайны
Панели Adobe, DaVinci и Blender связываются с операциями, параметрами и переходами. Такая карта интерфейса служит основой для пакетной обработки и сценариев рендера.
Доступность интерфейсов
Элементы, состояния и требования доступности задают контекст задачи для адаптивного взаимодействия, навигационной поддержки и анализа конкретного приложения.
Спортивная аналитика
Области трансляции, временные отметки и аннотации событий задают структуру данных для классификации эпизодов, поиска фрагментов и расчёта статистики.
UX-аннотирование
Назначение, состояния и связи элементов дают систематизированный материал для UX-чек-листов, сравнения интерфейсов и анализа A/B-гипотез.
Анализ операций в терминалах
Снимки и записи терминала объединяют последовательности действий, состояния и контрольные точки в материал для изучения процессов, составления чек-листов и отчётности.
Цифровые модели процессов
Экраны бизнес-процесса, состояния, переходы и временные связи описывают текущий процесс для проектирования сценариев, анализа узких мест и будущей автоматизации.
Проверка учебных сценариев
Элементы учебной среды, состояния заданий и правила проверки задают контекст для обратной связи, учебных материалов и проектирования сценариев проверки.
Работа с медицинскими интерфейсами
Закрытая медицинская система описывается как визуальная карта элементов, состояний и взаимодействий для документации, обучения персонала и исследования путей интеграции.
Визуальное регресс-тестирование
Эталонные состояния интерфейса, значимые области и правила сравнения образуют набор данных для проектирования регресс-проверок и подготовки отчётов.
Промышленное зрение
Изображения деталей и оборудования, области измерения, допуски и признаки дефектов формируют контекст для задач визуальной инспекции, сравнения состояний и подготовки материалов контроля.
Анализ данных UAV
Кадры и серии кадров, области интереса, изменения и траектории задают структуру для сравнения наблюдений, анализа участков и подготовки данных для исследовательских задач.
Проект сохраняет JSON с версией схемы, исходные изображения, разметку, связи, группы и манифесты результатов.
Данные метода остаются отдельным результатом. Предлагаемое изменение становится частью основной разметки только после явного решения пользователя.
Исполнение автоматизации, внешний LLM и генерация кода имеют собственные зависимости и ограничения.
FAQ
Основные ограничения
Как Screph работает с кодом?
Screph Code получает выбранные данные задачи. Builder может изменять файлы рабочей папки, поэтому до запроса нужна резервная копия или система контроля версий, а после — проверка изменений. Запуск кода и GUI-автоматизации выполняется отдельно.
Нужен ли интернет?
Разметка, хранение проектов и классические CV-методы работают локально. Облачные сервисы речи и LLM, загрузка моделей и некоторые интеграции требуют подключения к сети.
Отправляются ли проекты в облако?
Проекты и изображения хранятся локально. Передача происходит только в явно выбранном облачном сценарии, связанном с LLM или распознаванием речи. По умолчанию AI-ассистенту запрещена отправка изображений и файлов проекта.
Режимы Industrial и UAV готовы к промышленной эксплуатации?
Нет. Они доступны как экспериментальные рабочие области для предварительного просмотра, проверки предлагаемых результатов и отдельного применения изменений разметки. Законченный производственный процесс и автономное выполнение пока отсутствуют.
Основной проект Screph
Данные проекта и работа с кодом
Проект содержит визуальный источник, разметку, отношения, текстовые и голосовые описания и результаты методов компьютерного зрения. Сохранённые данные используются в Screph Code или передаются поддерживаемому внешнему инструменту отдельным действием.