Захват источников и действий

Вкладка Захват собирает экранные области, окна, мониторы, камеры, URL-потоки и локальные медиа в одну временную шкалу. Здесь можно записать равномерную серию кадров или последовательность пользовательских действий, проверить материал и только затем передать его в разметку и CV.

1. Четыре группы источников

  • Экран — область виртуального рабочего стола, физический монитор или конкретное окно.
  • Камера — live-источник с выбранным индексом устройства и backend OpenCV.
  • Файлы / папки — единый менеджер одного или нескольких изображений, видео и каталогов, а не два отдельных режима «видеофайл» и «папка кадров».
  • Поток / URL — RTSP, HTTP и другие адреса, которые может открыть выбранный backend OpenCV.

Граница: запись доступна для экрана, камеры и потока. Локальные файлы и папки подключаются для навигации и playback; Screph не записывает их повторно.

Сеть и credentials. Для Поток / URL выбранный OpenCV/FFmpeg/GStreamer backend соединяется с endpoint напрямую; это не upload в Screph Cloud. URL сохраняется в общих settings Capture. Не встраивайте долгоживущий пароль/token в URL без необходимости и считайте файл настроек чувствительным, если endpoint содержит credentials.

2. Что именно захватывать на экране

Для источника Экран выберите область захвата до начала записи:

  • Выбранная область — прямоугольник в координатах виртуального рабочего стола; область может пересекать несколько мониторов.
  • Выбранный монитор — конкретный физический output из списка.
  • Активный монитор — монитор активного окна на момент захвата.
  • Выбранное окно — окно, привязанное к HWND, процессу и классу; для него можно включить или скрыть курсор.
  • Следовать за активным окном — переключать цель вслед за активным окном, исключая само приложение Screph.

Области и мониторы захватываются через DXcam/DXGI, окна — через Windows Graphics Capture. Закрытое или свернутое окно, исчезнувший монитор и ошибка backend показываются явно: программа не подменяет выбранную цель другим источником.

3. Менеджер файлов и папок

  1. Выберите Файлы / папки и нажмите Выбрать….
  2. Добавьте несколько файлов и каталогов либо перетащите их из Explorer.
  3. Для каталогов при необходимости включите поиск во вложенных папках.
  4. Дождитесь асинхронной проверки каждой строки и примените только корректные источники.

Изображения поддерживаются в PNG, JPG/JPEG и BMP. Для видео используются MKV, AVI, MP4, MOV/M4V, WEBM, MPEG/MPG. История выбора хранится в контексте проекта и позволяет повторно загрузить прежний набор.

Offline-видео читается по точным PTS/time-base через PyAV. Отдельный OpenCV path допускает только явно проверенный CFR-материал; неподтверждённый VFR не маскируется приблизительным FPS.

4. Две стратегии записи

timed — по времени

Screph получает кадры с заданным FPS. Используйте этот режим для динамики экрана, видеоанализа и равномерной временной серии.

action_sequence — последовательность действий

Screph регистрирует мышь и клавиатуру и связывает действие с кадрами состояния до, во время и после него. Этот режим подходит для воспроизводимых GUI-сценариев: timeline хранит не только картинки, но и Action Trace.

Пауза и остановка завершают или приостанавливают активную стратегию. Настройки action sequence управляют задержками, кадрами вокруг действия, группировкой повторов клавиш и включением кадров перемещения мыши.

5. Timeline, навигация и редактирование

  • Scrubber, покадровые переходы, playback, скорость и loop работают для записанного и импортированного материала.
  • Диапазон на timeline можно выделить и удалить; связанные записи действий переназначаются к оставшимся кадрам, а не остаются с устаревшими индексами.
  • Для сохранённых связей используются устойчивые ссылки source/frame и timeline placement. Один глобальный номер кадра не считается достаточной идентичностью.
  • Недоступная позиция возвращается как диагностируемый gap; temporal reader не перескакивает её молча.

Кнопка Превью открывает отдельное Qt/PySide-окно. Информация о кадрах, длительности, памяти и текущем пути остаётся на основной вкладке.

6. Разметка действий через CV и VLM

Action CV доступен только для источника Экран и стратегии action_sequence. Сначала выберите provider событий ввода: default disabled блокирует старт записи. Для автоматической обработки после остановки нужны оба флажка — Делегировать разметку VLM и Запускать после остановки записи. Кнопка Разметить VLM запускает полный повтор вручную независимо от этих флажков.

Безопасные defaults ничего не отправляют и не создают CV-кандидата. Политика block_unredacted формирует blocking diagnostic до вызова provider. После осознанного выбора roi_only передаётся полноразмерный кадр с закрашенной областью вне ROI; allow_unredacted разрешает исходный кадр. Default-контракт object_descriptor возвращает описание и рекомендацию будущего поиска, но не исполняет CV. Для кандидатов выберите CV-план или hybrid-контракт и отдельно включите Выполнять CV-планы VLM.

Что получает выбранная CV-модель

  • Используется явное назначение LLM-роли cv; скрытого fallback на другой profile/model нет. Profile может указывать локальный runtime или внешний provider.
  • Prompt содержит нормализованное действие — type, time, source, key/button и координаты, когда они есть, — target point/ROI hint, metadata подготовленных кадров, их hashes, выбранный response contract и разрешённый каталог CV-методов.
  • По умолчанию выбираются максимум три кадра в порядке action, after, before. Blocking privacy diagnostic останавливает запрос до client call.
  • Успешные общие LLM-вызовы оставляют usage metadata, а Action CV по умолчанию дополнительно сохраняет requests, raw response payloads и response cache внутри каталога записи.

Review, exports и проект

  1. Timeline и review panel показывают status, overlay/action/before/after/mask, trace, confidence и diagnostics. Ошибочные действия можно повторить отдельно или группой; cancel является cooperative request.
  2. Кандидат можно принять, отклонить, выбрать из альтернатив или исправить bbox. Решение записывается в review JSONL.
  3. Принять сразу пересобирает derived screen-elements/targets/project patch и, если рядом уже есть automation context, обогащает его шаги. Это ещё не меняет canonical Canvas.
  4. В проект — отдельная mutation-команда: она импортирует текущий patch в Canvas через undo/history gateway и повторно обновляет элементы по candidate ID. После этого сохраните canonical project.

Проверяйте export/import status. Текущий review panel не показывает ошибку пересборки derived exports; при проблеме диска старый patch может остаться на месте. Полный ручной повтор удаляет каталог action_cv вместе с прежними requests, responses, decisions и exports, но не откатывает уже записанное обогащение соседнего automation_context. Перед повтором сохраните нужные материалы, а после него заново проверьте accepted targets и импорт.

Настроить LLM-подключение и правила передачи данных →

7. Хранение, настройки и экспорт

  • ram_images — кадры в памяти с ограничениями буфера.
  • disk_images — кадры на диске проекта для более длинных сессий.
  • Экспорт PNG выполняется фоновым worker; доступно авто-сохранение по интервалу кадров.
  • FPS, стратегия записи, scope, buffer, playback, export и source settings сохраняются в общих настройках Screph. Тот же контракт редактируется в Настройки → Настройки CV → Настройки захвата.

8. Если источник не работает

  • Окно пустое или остановилось: проверьте, не свернуто и не закрыто ли оно, затем обновите список целей и выберите окно заново.
  • Камера или URL не открывается: проверьте индекс/адрес и попробуйте другой явный backend: Auto, MSMF, DirectShow, FFmpeg или GStreamer.
  • Файл помечен ошибкой: не применяйте строку до завершения проверки; для видео проверьте контейнер, codec и временную шкалу.
  • Высокое потребление памяти: уменьшите FPS/длину сессии или переключитесь с ram_images на disk_images.
  • VLM-разметка заблокирована: проверьте роль CV в настройках LLM, доступность модели и privacy-диагностику; скрытого переключения на другой provider нет.
Далее: разметка и проект CV GUI и pipeline