Capture, Selector и проекты
Визуальные источники, шкала времени, разметка, связи, описания, история изменений и сохранение проекта.
Статус продукта
Что подтверждено в текущем состоянии разработки
В текущих исходниках General и GUI Automation поддерживают основные рабочие процессы. Industrial и UAV присутствуют как экспериментальные режимы, но ещё не образуют законченные производственные процессы. Состав возможностей конкретного опубликованного установщика текущими метаданными файла не подтверждается.
Режимы программы
Готовность режимов
| Режим | Статус | В исходниках | Основной процесс готов | Текущая граница |
|---|---|---|---|---|
| General | Реализовано | Да | Да | Разметка, общие методы компьютерного зрения и сохранение проекта. |
| GUI Automation | Реализовано | Да | Да | Подготовка данных интерфейса и отдельное исполнение проверенного сценария. |
| Industrial | Экспериментально | Да | Нет | Доступны предметные типы данных, запуск методов, проверка и подтверждённое изменение разметки. Законченного производственного процесса нет. |
| UAV | Экспериментально | Да | Нет | Доступны работа с кадрами, запуск методов и проверка результата. Управление миссиями, GIS и автопилот не входят в режим. |
Возможности
Готовность основных частей продукта
Методы компьютерного зрения
Классические методы, методы с моделями, последовательности и графы методов, предварительный просмотр и сохранение результатов. Часть методов требует отдельных моделей и зависимостей.
Automation Runtime
Загрузка проекта, поиск визуальных и текстовых состояний, ожидание условий и действия через выбранный способ ввода. Запуск сценария всегда выполняется отдельно.
Screph Code
Встроенная среда для работы с кодом получает выбранный контекст задачи. Агент может изменять файлы рабочей папки, поэтому изменения нужно проверять и хранить в системе контроля версий или отдельной копии.
Агент
Встроенный помощник выключен по умолчанию. Предлагаемые изменения показываются до применения, а действия с повышенным риском требуют подтверждения.
Возможности и ограничения →Action CV
Методы компьютерного зрения помогают определить цель записанного действия. Предложенный результат сохраняется отдельно и требует проверки человеком.
Речь и подключения LLM
Поддерживаются локальные варианты и подключения к внешним службам с собственными учётными данными. Доступность зависит от выбранного провайдера, сети и модели.
Voice2Text
Диктовка, привязки к окнам, проверка текста и необязательная обработка снимка с помощью языковой модели реализованы. Доступность загрузки и сведения о файле указаны на странице Voice2Text.
Описание Voice2Text →Аккаунт и поддержка
Аккаунт используется для профиля, подключения настольной программы, поддержки и доступных сетевых операций. Для локальной работы вход не требуется.
Покупка пакетов
Оплата на сайте отключена. Пополнить отображаемый в профиле баланс через сайт сейчас нельзя.
Зависимости
Что может потребоваться дополнительно
Модели и вычисления
YOLO, SAM, OmniParser и другие методы с моделями требуют подходящих файлов моделей. Для Tesseract OCR нужна локальная установка Tesseract. Отдельная видеокарта не обязательна для основных функций.
Сетевые службы
Облачное распознавание речи и LLM требуют сети и доступа к выбранной службе. Локальные подключения доступны при установленных моделях.
Ввод для автоматизации
Для действий в интерфейсе требуется настроенный Arduino HID или FakerInput Virtual HID. Установка системного драйвера FakerInput выполняется отдельно с подтверждением Windows.
Ограничения
Границы текущего состояния разработки
- Поддерживаемая платформа — Windows 10/11 x64. Сборки для Linux и macOS не выпускаются.
- Alpha-версию нельзя использовать для ненаблюдаемой автоматизации без тестирования, проверки результатов и возможности отката.
- Проекты хранятся локально. Аудио, изображения или контекст передаются внешней службе только в выбранных пользователем сетевых операциях.
- Доступность загрузки Voice2Text и сведения о файле указаны на отдельной странице программы.
- Пополнить отображаемый в профиле баланс через сайт сейчас нельзя.