Источники и захват
Источником может быть область экрана, монитор, окно, камера, URL, видео, изображение или папка. Для кадров сохраняются источник и положение на шкале времени.
Среда создания задач для AI на визуальных данных · Windows · Альфа-версия
Screph: создание задач для AI на визуальных данных.
В Screph исходное изображение или видео связывается с элементами разметки, их отношениями и описаниями. Результаты методов компьютерного зрения добавляются при необходимости. Основной проект хранит эти данные и создаёт контекст для встроенной агентной IDE Screph Code или поддерживаемого внешнего инструмента для работы с кодом.
Путь данных в Screph
Screph хранит исходные материалы, разметку, описания и результаты методов компьютерного зрения в одном проекте. Изменение основной разметки выполняется отдельно.
Разметка и связи
Элементы, области, признаки, группы, аннотации и связи редактируются на общем холсте. Ветки дерева можно экспортировать отдельно.
Основной проект и работа с кодом
Основной проект хранит исходные материалы, разметку, отношения, описания и результаты методов. Screph Code, Automation Runtime и внешние инструменты получают данные проекта отдельными путями.
Демонстрация интерфейса
Основной интерфейс программы Screph
Демонстрация воспроизводит основной интерфейс программы Screph: рабочую область, панели и элементы управления. Обработка изображений, сохранение проекта и работа с кодом в демонстрации не выполняются.
Сценарии применения
Сценарии работы с визуальными данными
В разных режимах меняются типы объектов и доступные инструменты. Исходные данные, разметка и описания остаются общей частью проекта.
Legacy-системы без API
Экраны старых терминалов, SCADA и банковских систем связываются с элементами, состояниями и правилами переходов. Проект содержит данные для подготовки кода управления или мониторинга.
Оцифровка экспертных навыков
Запись работы эксперта связывает кадры, действия, выделенные элементы и текстовые или голосовые описания. Проект можно использовать при подготовке учебного материала или сценария автоматизации.
Визуальный комплаенс
Поля форм, состояния и правила проверки описываются через элементы, признаки и аннотации. Данные проекта можно использовать при подготовке кода проверки и журнала результатов.
Интеграция без API
Интерфейсы двух систем, например CAD и ERP или LIMS и Excel, описываются как связанные элементы и операции. Контекст задачи фиксирует источник, назначение данных и условия визуального взаимодействия.
ETL из видео
Кадры скринкаста связываются с положением на шкале времени, выделенными областями и описаниями действий. Контекст можно использовать для подготовки кода извлечения данных и документации процесса.
Оператор видеонаблюдения
Экраны VMS и план объекта сохраняются как визуальные источники с выделенными областями, состояниями и связями. Контекст можно использовать для подготовки кода анализа и отчётов.
Лабораторные протоколы
Элементы интерфейса прибора, измеряемые значения и порядок операций сохраняются в проекте. Контекст можно использовать для подготовки кода серийных измерений и выгрузки в LIMS.
Креативные пайплайны
Панели и элементы управления Adobe, DaVinci или Blender связываются с описаниями операций и параметров. Контекст можно использовать для подготовки кода пакетных операций и рендера.
Агенты доступности
Элементы интерфейса размечаются вместе с состояниями, ограничениями и требованиями доступности. Контекст можно использовать при подготовке адаптации для конкретного приложения.
Спортивная аналитика
Области трансляции связываются с временными отметками и аннотациями событий. Контекст можно использовать для подготовки кода извлечения событий и расчёта статистики.
UX-аннотирование
Назначение, состояния и связи элементов интерфейса сохраняются в проекте. Эти данные можно использовать для чек-листов, метрик и A/B-гипотез.
Трейдинг-операции
Элементы и состояния терминала размечаются на снимках или записи работы. Контекст можно использовать для подготовки проверяемого кода и отчётов; выполнение операций остаётся внешним этапом.
Цифровые двойники процессов
Экраны бизнес-процесса связываются последовательностью, состояниями и временными данными. Проект можно использовать как основу для модели процесса и исполняемого сценария.
EdTech-проверки
Элементы учебной среды, состояния заданий и правила проверки сохраняются в проекте. Контекст можно использовать для проверяющего кода и учебных материалов.
Legacy-медсистемы
Интерфейс закрытой медицинской системы описывается через элементы, состояния и связи. Контекст можно использовать для внешней интеграции без изменения исходной программы.
Визуальное регресс-тестирование
Эталонные состояния интерфейса, области и правила сравнения сохраняются в проекте. Контекст можно использовать для подготовки тестового кода и отчётов.
Проект сохраняет JSON с версией схемы, исходные изображения, разметку, связи, группы и манифесты результатов.
Данные метода остаются отдельным результатом. Предлагаемое изменение становится частью основной разметки только после явного решения пользователя.
Исполнение автоматизации, внешний LLM и генерация кода имеют собственные зависимости и ограничения.
FAQ
Коротко о границах продукта
Как Screph генерирует и запускает код?
Screph Code получает контекст через отдельный процесс Pro Agent. Агент Builder может изменять выбранную рабочую папку, поэтому результат следует проверять внешним сравнением изменений. Универсального подтверждения для каждого файла пока нет. Запуск файла и GUI-автоматизации остаётся отдельным явным этапом.
Нужен ли интернет?
Разметка, хранение проектов и классические CV-методы работают локально. Облачные сервисы речи и LLM, загрузка моделей и некоторые интеграции требуют подключения к сети.
Отправляются ли проекты в облако?
Проекты и изображения хранятся локально. Передача происходит только в явно выбранном облачном сценарии, связанном с LLM или распознаванием речи. По умолчанию AI-ассистенту запрещена отправка изображений и файлов проекта.
Режимы Industrial и UAV готовы к промышленной эксплуатации?
Нет. Они доступны как экспериментальные рабочие области для предварительного просмотра, проверки предлагаемых результатов и отдельного применения изменений разметки. Законченный производственный процесс и автономное выполнение пока отсутствуют.
Основной проект Screph
Данные проекта и работа с кодом
Проект содержит визуальный источник, разметку, отношения, текстовые и голосовые описания и необязательные данные методов компьютерного зрения. Сохранённые данные используются в Screph Code или передаются поддерживаемому внешнему инструменту отдельным действием.