В Screph исходное изображение или видео связывается с элементами разметки, их отношениями и описаниями. Результаты методов компьютерного зрения добавляются при необходимости. Основной проект хранит эти данные и создаёт контекст для встроенной агентной IDE Screph Code или поддерживаемого внешнего инструмента для работы с кодом. Screph links source images and video to markup, relations, descriptions and optional computer-vision data. Screph Code and supported external coding tools can use the saved task data.
Screph хранит исходные материалы, разметку, описания и результаты методов компьютерного зрения в одном проекте. Изменение основной разметки выполняется отдельно.Screph stores source materials, markup, descriptions and computer-vision results in one project. Changes to the main markup are applied separately.
Источником может быть область экрана, монитор, окно, камера, URL, видео, изображение или папка. Для кадров сохраняются источник и положение на шкале времени.A source can be a screen region, monitor, window, camera, URL, video, image or folder. Frames retain their source and timeline position.
Элементы, области, признаки, группы, аннотации и связи редактируются на общем холсте. Ветки дерева можно экспортировать отдельно.Elements, regions, features, groups, annotations and relations are edited on a shared canvas. Tree branches can be exported separately.
Основной проект хранит исходные материалы, разметку, отношения, описания и результаты методов. Screph Code, Automation Runtime и внешние инструменты получают данные проекта отдельными путями.The main project stores source materials, markup, relations, descriptions and method results. Screph Code, Automation Runtime and external tools receive project data through separate paths.
Демонстрация воспроизводит основной интерфейс программы Screph: рабочую область, панели и элементы управления. Обработка изображений, сохранение проекта и работа с кодом в демонстрации не выполняются.The demo reproduces the main Screph application interface: its workspace, panels and controls. Image processing, project saving and work with code are not performed in the demo.
В разных режимах меняются типы объектов и доступные инструменты. Исходные данные, разметка и описания остаются общей частью проекта. Object types and available tools vary by mode. Source data, markup and descriptions remain a shared part of the project.
Экраны старых терминалов, SCADA и банковских систем связываются с элементами, состояниями и правилами переходов. Проект содержит данные для подготовки кода управления или мониторинга.Screens of legacy terminals, SCADA and banking systems are linked to elements, states and transition rules. The project provides data for preparing control or monitoring code.
Запись работы эксперта связывает кадры, действия, выделенные элементы и текстовые или голосовые описания. Проект можно использовать при подготовке учебного материала или сценария автоматизации.A recording of an expert at work links frames, actions, selected elements and text or voice descriptions. The project can be used to prepare training material or an automation workflow.
Поля форм, состояния и правила проверки описываются через элементы, признаки и аннотации. Данные проекта можно использовать при подготовке кода проверки и журнала результатов.Form fields, states and validation rules are described through elements, features and annotations. Project data can be used to prepare validation code and a result log.
Интерфейсы двух систем, например CAD и ERP или LIMS и Excel, описываются как связанные элементы и операции. Контекст задачи фиксирует источник, назначение данных и условия визуального взаимодействия.The interfaces of two systems, such as CAD and ERP or LIMS and Excel, are described as linked elements and operations. The task context records the data source, destination and visual interaction conditions.
Кадры скринкаста связываются с положением на шкале времени, выделенными областями и описаниями действий. Контекст можно использовать для подготовки кода извлечения данных и документации процесса.Screencast frames are linked to timeline positions, selected regions and action descriptions. The context can be used to prepare data-extraction code and process documentation.
Экраны VMS и план объекта сохраняются как визуальные источники с выделенными областями, состояниями и связями. Контекст можно использовать для подготовки кода анализа и отчётов.VMS screens and a facility map are stored as visual sources with selected regions, states and relations. The context can be used to prepare analysis and reporting code.
Элементы интерфейса прибора, измеряемые значения и порядок операций сохраняются в проекте. Контекст можно использовать для подготовки кода серийных измерений и выгрузки в LIMS.Instrument interface elements, measured values and the operation sequence are stored in the project. The context can be used to prepare serial-measurement and LIMS-export code.
Панели и элементы управления Adobe, DaVinci или Blender связываются с описаниями операций и параметров. Контекст можно использовать для подготовки кода пакетных операций и рендера.Panels and controls in Adobe, DaVinci or Blender are linked to operation and parameter descriptions. The context can be used to prepare batch processing and rendering code.
Элементы интерфейса размечаются вместе с состояниями, ограничениями и требованиями доступности. Контекст можно использовать при подготовке адаптации для конкретного приложения.Interface elements are marked with states, constraints and accessibility requirements. The context can be used when preparing an adaptation for a specific application.
Области трансляции связываются с временными отметками и аннотациями событий. Контекст можно использовать для подготовки кода извлечения событий и расчёта статистики.Broadcast regions are linked to timestamps and event annotations. The context can be used to prepare event-extraction and statistics code.
Назначение, состояния и связи элементов интерфейса сохраняются в проекте. Эти данные можно использовать для чек-листов, метрик и A/B-гипотез.The purpose, states and relations of interface elements are stored in the project. This data can be used for checklists, metrics and A/B hypotheses.
Элементы и состояния терминала размечаются на снимках или записи работы. Контекст можно использовать для подготовки проверяемого кода и отчётов; выполнение операций остаётся внешним этапом.Terminal elements and states are marked in screenshots or a work recording. The context can be used to prepare reviewable code and reports; operation execution remains an external stage.
Экраны бизнес-процесса связываются последовательностью, состояниями и временными данными. Проект можно использовать как основу для модели процесса и исполняемого сценария.Business-process screens are linked by sequence, states and temporal data. The project can be used as a basis for a process model and an executable workflow.
Элементы учебной среды, состояния заданий и правила проверки сохраняются в проекте. Контекст можно использовать для проверяющего кода и учебных материалов.Learning-environment elements, task states and validation rules are stored in the project. The context can be used for assessment code and learning materials.
Интерфейс закрытой медицинской системы описывается через элементы, состояния и связи. Контекст можно использовать для внешней интеграции без изменения исходной программы.A closed healthcare-system interface is described through elements, states and relations. The context can be used for external integration without modifying the original application.
Эталонные состояния интерфейса, области и правила сравнения сохраняются в проекте. Контекст можно использовать для подготовки тестового кода и отчётов.Reference interface states, regions and comparison rules are stored in the project. The context can be used to prepare test code and reports.
Проект сохраняет JSON с версией схемы, исходные изображения, разметку, связи, группы и манифесты результатов.The project stores schema-versioned JSON, source images, markup, relations, groups and result manifests.
Данные метода остаются отдельным результатом. Предлагаемое изменение становится частью основной разметки только после явного решения пользователя.Method data remains a separate result. A proposed change becomes part of the main markup only after an explicit user decision.
Исполнение автоматизации, внешний LLM и генерация кода имеют собственные зависимости и ограничения.Automation execution, external LLM use and code generation have their own dependencies and limitations.
Screph Code получает контекст через отдельный процесс Pro Agent. Агент Builder может изменять выбранную рабочую папку, поэтому результат следует проверять внешним сравнением изменений. Универсального подтверждения для каждого файла пока нет. Запуск файла и GUI-автоматизации остаётся отдельным явным этапом.Screph Code receives context through a separate Pro Agent process. The Builder agent can modify the selected workspace, so inspect the result with an external diff; there is no universal per-file Apply. Running a file or GUI automation remains a separate explicit stage.
Разметка, хранение проектов и классические CV-методы работают локально. Облачные сервисы речи и LLM, загрузка моделей и некоторые интеграции требуют подключения к сети.Markup, project persistence and classical CV methods run locally. Cloud speech/LLM providers, model downloads and some integrations require network access.
Проекты и изображения хранятся локально. Передача происходит только в явно выбранном облачном сценарии, связанном с LLM или распознаванием речи. По умолчанию AI-ассистенту запрещена отправка изображений и файлов проекта.Projects and images are stored locally. Transfer happens only in an explicitly selected cloud/LLM/speech flow; the Assistant disallows images and artifacts by default.
Нет. Они доступны как экспериментальные рабочие области для предварительного просмотра, проверки предлагаемых результатов и отдельного применения изменений разметки. Законченный производственный процесс и автономное выполнение пока отсутствуют.No. They are experimental workspaces for preview, review of proposed results and separate application of markup changes. A complete production process and autonomous execution are not available.
Проект содержит визуальный источник, разметку, отношения, текстовые и голосовые описания и необязательные данные методов компьютерного зрения. Сохранённые данные используются в Screph Code или передаются поддерживаемому внешнему инструменту отдельным действием.The project contains a visual source, markup, relations, text and voice descriptions, and optional computer-vision data. Saved data is used in Screph Code or passed to a supported external tool through a separate action.