Компьютерное зрение в Screph
В Screph можно настроить обработку на примерах изображений: разметить объекты, выбрать операции и параметры, проверить результаты. Подготовленные материалы можно использовать при работе с кодом программы.
Доступные операции, типы разметки и цели сохранения зависят от режима программы. Статусы и ограничения приведены в разделе «Режимы программы».
От разметки примера к работе программы
В Selector на холсте Canvas вы выделяете объекты, добавляете отличительные признаки, описания и связи между ними. Основная панель «Компьютерное зрение» получает изображение выбранной области из активного представления холста. На этом примере вы настраиваете, как находить или анализировать нужные объекты. При необходимости входом служит всё изображение.
Визуальный конструктор последовательностей методов компьютерного зрения позволяет выбрать классический алгоритм или доступную операцию с моделью, изменить параметры и собрать цепочку или граф. Настраивать обработку можно самостоятельно или с подключённым агентом. Собственную логику можно включить в операции с Python-кодом. Обучение модели на датасете выполняется в разделе «Обучение».
Сохранённые объекты, описания и выбранные материалы передаются в Screph Code. Там пользователь или кодовый агент связывает подготовленное компьютерное зрение с логикой программы: получением новых кадров, вызовом сохранённой схемы и использованием её выходов. В редакторе можно работать с кодом выбранных операций и дополнять решение собственной логикой.
- Откройте пример изображения, разметьте интересующие объекты и выберите область для настройки.
- Выберите одну операцию, цепочку или граф обработки.
- Настройте параметры и запустите предварительный просмотр.
- Сравните исходный материал, результат, маску, контуры и метрики.
- Прикрепите нужный результат к проекту или подтвердите поддерживаемое изменение разметки.
- Проверьте схему на других кадрах, сохраните проект и используйте подготовленные материалы в Screph Code.
Разметка показывает, что вы ищете; настроенная схема определяет, как это находить. Проверка на новых изображениях помогает уточнить решение перед использованием в программе.
Источник и область интереса
Операция получает активное изображение или выбранную область. Проверьте, что область относится к нужному кадру, а масштаб и координаты совпадают с отображением на холсте.
Результат можно показывать рядом с исходником, поверх него или как отдельную маску. Выбор представления не изменяет сохранённую разметку.
Категории операций
| Категория | Примеры |
|---|---|
| Подготовка изображения | Яркость, контраст, размытие, изменение размера, обрезка, поворот и выравнивание. |
| Границы и области | Пороговая обработка, границы, контуры, компоненты, морфология и сегментация. |
| Сопоставление и движение | Поиск шаблона, сравнение, выравнивание, оптический поток и отслеживание. |
| OCR | Распознавание текста с локальной установкой Tesseract. |
| Операции с моделями | YOLO, SAM, OmniParser |
Фактическая доступность операции зависит от установленных компонентов, файлов моделей и выбранного режима программы.
Одна операция
Подходит для одного преобразования или анализа. После изменения параметра обновите предварительный просмотр и сравните результат с исходником. Сохранённые параметры относятся к выбранной операции и материалу.
Цепочка обработки
Линейная последовательность передаёт результат каждого шага следующему. Она подходит для предсказуемой обработки без ветвлений: например, обрезка, улучшение контраста, пороговая обработка и извлечение контуров.
Проверяйте промежуточные шаги: ошибка в ранней обработке влияет на все последующие результаты.
Граф обработки
Граф позволяет разветвлять обработку, объединять совместимые результаты и выбирать отдельные выходы для просмотра. Связь создаётся только между совместимыми типами данных.
- Дайте шагам понятные названия и проверяйте каждый выход отдельно.
- Для сложного графа начинайте с небольшой рабочей части и добавляйте ветви постепенно.
- Экспериментальный граф может отличаться по доступным операциям от линейной последовательности.
Предварительный просмотр, сохранение и применение
| Действие | Результат |
|---|---|
| Предварительный просмотр | Показывает результат текущих параметров без изменения основной разметки. |
| Прикрепить результат | Сохраняет выбранную маску, изображение или другой результат рядом с проектом и связывает его с объектом. |
| Применить изменение | После проверки добавляет или изменяет поддерживаемый объект основной разметки. |
Проверка предлагаемого изменения
Предложение операции можно принять, изменить, отклонить или пересчитать. До применения проверьте исходный кадр, границу объекта, тип разметки и отсутствие дубликата.
Industrial и UAV поддерживают ограниченный набор предметных изменений, но остаются экспериментальными и не предоставляют готовый производственный процесс проверки и экспорта.
Видео и временные результаты
Для видео и серий кадров операции могут создавать наблюдения и траектории по времени. Проверяйте такие результаты на всём выбранном диапазоне.
Скрытие результата из интерфейса не обязательно удаляет его файлы. Перед переносом проекта проверьте связанные материалы последовательностей и сохраните нужные результаты вместе с проектом.
Модели и зависимости
YOLO, SAM и OmniParser требуют подходящих файлов моделей и подготовленных зависимостей. Установленная модель не выбирается автоматически для всех операций.
Типичные проблемы
- Пустой результат: проверьте источник, область интереса и диапазон параметров.
- Неверные координаты: проверьте масштаб, обрезку и выбранное представление.
- Операция недоступна: проверьте зависимости и файлы моделей.
- Проект стал большим: удалите ненужные временные результаты и прикрепляйте только необходимые материалы.
Выбор операции и актуальность результата
Каталог подбирается по задаче, входам и режиму программы. Карточка операции показывает нужные параметры, модель и причину недоступности. Выбор алгоритма, настройка шага и запуск выполняются отдельно; установленная модель не запускает обработку сама.
Изменение источника, области или параметров требует нового запуска перед применением результата. «Остановить» отменяет текущую работу; поздний ответ прежнего запуска не должен менять текущую разметку. Сохранённый результат можно изучать отдельно, но его просмотр не подтверждает пригодность для нового кадра.
Для сравнения вариантов задайте исходный материал, операцию и изменяемые параметры. Сравните результаты на одинаковом входе, затем проверьте выбранный вариант обычным запуском. Оцените его и на независимых данных: одной рекомендации или удачного изображения для этого недостаточно.
Последовательности кадров: запуск и результаты
- В Capture выбираются источник и диапазон, затем открываются «Последовательности кадров». Устанавливаются направление и шаг кадров. Положение курсора времени не заменяет начало выбранного входа.
- Выбор операции раскрывает её параметры внутри рабочей области. Для трекера задаётся начальная рамка, для визуальной одометрии выбирается совместимая калибровка. Кнопка запуска становится доступной после устранения указанных блокеров.
- Запуск фиксирует вход и настройки. Во время выполнения показываются прогресс и «Остановить». Смена проекта отменяет текущую работу; результат прежнего источника не переносится на новый выбор.
Обработка работает с закреплённым диапазоном кадров. Прямой запуск на живом потоке, автоматический повтор и синхронная обработка нескольких потоков в этом рабочем процессе недоступны. Источник сначала открывается или записывается в Capture.
Результаты могут содержать таблицы, графики, маски, траектории и преобразования. Выбор кадра, пары или окна связывает просмотр с таймлайном. Координаты изображения и пространственная поза различаются; монокулярная визуальная одометрия без масштаба не выдаёт расстояние в метрах.
История последовательностей и сравнение A/B
Завершённый актуальный запуск можно выбрать как A, выполнить вариант B и сравнить их на том же закреплённом входе. Поля, единицы, координаты и время результатов должны совпадать. Недоступное сравнение показывает причину; несопоставимые выходы не превращаются в числовую разницу.
«Сохранить эксперимент» связывает два запуска и выбранный кадр, пару или окно. После сохранения проекта он доступен в истории вместе с проверенными материалами. Просмотр старого опыта не запускает обработку и не меняет параметры редактора автоматически.
При изменении параметров исторические данные сохраняются для чтения, но перестают быть текущим результатом. Даже возврат к прежним значениям не активирует их автоматически. Для применения нужны явное восстановление совместимого контекста и новая подготовка; повреждённые или отсутствующие материалы блокируют чтение.