Процесс включает выделение элементов, аннотирование, построение графа и генерацию кода. Подробные инструкции — в документации. Screph simplifies UI automation by turning your visual instructions and descriptions into a structured dataset and action emulation. The process consists of these key steps:
Выделите необходимые элементы (кнопки, поля ввода, тексты). Сохраняются координаты и размеры. См. раздел «Выделение элементов». Using an intuitive tool, select and highlight elements directly on the application screen (buttons, input fields, texts, images, etc.). Screph records their characteristics.
Добавьте описание назначения и действий: текстом или голосом. Speech‑to‑text через внешний провайдер или офлайн с локальными моделями Vosk. Add text or voice descriptions for each element. Speech‑to‑text works via an external provider or offline with local Vosk models.
Определите связи и последовательности действий между элементами. См. раздел «Структуры взаимодействий (графы)». Define the logical connections and sequence of actions between the selected elements. You can visually connect elements, specifying, for example, that after filling one field, a certain button needs to be pressed, thus forming an interaction graph.
На основе выделений, аннотаций и графа связей выполните эмуляцию действий и экспортируйте данные (например, JSON) для последующей генерации кода автоматизации GUI. Based on selections, annotations and the relation graph, Screph emulates user actions and provides data export (e.g., JSON) for subsequent GUI automation code generation.
Экспортируйте проект и код в IDE (например, Cursor) для доработки и интеграции. См. раздел «Интеграция с IDE». Prepared data and template code can be exported to your IDE (Trae/VS Code) for viewing, debugging and refinement.
