Процесс включает выделение элементов, аннотирование, построение графа, эмуляцию действий и выпуск результата в двух форматах: генерация кода в один клик или экспорт данных и признаков для агентных инструментов. Подробные инструкции — в документации. Screph turns visual annotation into a structured dataset and action emulation. You can either generate code in one click or export data and features for agentic tools. The process consists of these key steps:
Выделите необходимые элементы (кнопки, поля ввода, тексты). Сохраняются координаты и размеры. См. раздел «Выделение элементов». Using an intuitive tool, select and highlight elements directly on the application screen (buttons, input fields, texts, images, etc.). Screph records their characteristics.
Добавьте описание назначения и действий: текстом или голосом. Speech‑to‑text через внешний провайдер или офлайн с локальными моделями Vosk. Add text or voice descriptions for each element. Speech‑to‑text works via an external provider or offline with local Vosk models.
Определите связи и последовательности действий между элементами. См. раздел «Структуры взаимодействий (графы)». Define the logical connections and sequence of actions between the selected elements. You can visually connect elements, specifying, for example, that after filling one field, a certain button needs to be pressed, thus forming an interaction graph.
На основе выделений, аннотаций и графа связей выполните эмуляцию действий и получите результат: код в один клик или экспорт данных (например, JSON) и признаков для дальнейшей работы в любом агентном инструменте. Based on selections, annotations and the relation graph, Screph emulates user actions and produces an outcome: one-click code generation or data export (e.g., JSON) and features for any agentic tooling.
Используйте сгенерированный код в IDE или работайте с экспортированными данными и признаками в агентных инструментах (Trae/VS Code и др.). См. раздел «Интеграция с IDE». Use generated code in your IDE or work with exported data and features in agentic tools (Trae/VS Code and others). See the “IDE integration” section.
