ROI-разметка интерфейса Windows, preview распознавания и подготовка проекта в Screph
Windows 10/11 • Open Source • AGPL-3.0 Windows 10/11 • Open Source • AGPL-3.0

Распознавайте изображения и интерфейсы без опыта в computer vision Recognize images and interfaces without deep computer vision experience

Визуально размечайте скриншоты, интерфейсы и кадры видео, подключайте CV/AI-пайплайн и получайте структурированные данные или редактируемый код для Python, IDE и агентных workflow. Visually annotate screenshots, interfaces and video frames, connect a CV/AI pipeline, then export structured data or editable code for Python, IDEs and agentic workflows.

  • OCR, контуры, маски и object detection OCR, contours, masks and object detection
  • ROI-разметка UI Windows и обычных изображений ROI annotation for Windows UI and regular images
  • Export в JSON, codegen и IDE JSON export, codegen and IDE handoff
Проблема The problem

Визуальная задача слишком быстро превращается в OpenCV и ручную рутину Visual tasks turn into OpenCV setup and manual glue work too quickly

Когда нужно распознать объект, текст, состояние кнопки или часть интерфейса, человек часто застревает между разметкой, датасетами, CV-скриптами и передачей результата в IDE. When you need to detect an object, text, button state or UI region, the work often gets stuck between annotation, datasets, CV scripts and handoff into an IDE.

Новичку трудно начать Beginners struggle to start

Сначала приходится понять ROI, preprocessing, OCR, модели и форматы данных, хотя исходная задача звучит проще: отметить область и проверить, что в ней происходит. You have to understand ROI, preprocessing, OCR, models and data formats before solving the simple task: mark a region and inspect what happens there.

Разметка отделена от результата Annotation is detached from output

Даже хорошая визуальная разметка часто остается картинкой или таблицей, а не проектом, который можно повторить, проверить и доработать кодом. Even good visual labeling often stays as an image or table, not a repeatable project that can be checked and refined with code.

LLM получает слишком сырой контекст LLMs receive raw visual context

Скриншот без ROI, аннотаций, состояний и связей плохо переносится в ChatGPT-подобные модели, IDE и агентные инструменты. A screenshot without ROI, annotations, states and relationships does not travel well into ChatGPT-like models, IDEs and agentic tools.

Решение The solution

Screph объединяет разметку, распознавание и генерацию кода в одном интерфейсе Screph brings annotation, recognition and code generation into one interface

Начните с реального скриншота или кадра. Выделите область, добавьте смысл, проверьте preview и заберите переносимый результат: проектные данные, признаки или код. Start with a real screenshot or frame. Select a region, add meaning, verify the preview and take a portable result: project data, features or code.

Визуальная ROI-разметка Visual ROI annotation

Выделяйте прямоугольники, полигоны и контуры на интерфейсах Windows, скриншотах и кадрах видео. Screph сохраняет геометрию, контекст и связи элементов. Select rectangles, polygons and contours on Windows interfaces, screenshots and video frames. Screph keeps geometry, context and element relationships.

CV/AI-пайплайн без сборки с нуля CV/AI pipeline without starting from scratch

Используйте OCR, поиск контуров, маски, сегментацию и detection-подходы там, где они реально нужны, а не как набор терминов на первом экране. Use OCR, contour search, masks, segmentation and detection where they matter, without turning the first step into a wall of implementation terms.

Аннотации и логика действий Annotations and action logic

Добавляйте текстовые или голосовые пояснения, связывайте элементы в граф и описывайте состояния так, чтобы задача стала понятной человеку, IDE и агенту. Add text or voice notes, connect elements into a graph and describe states so the task is clear to a person, an IDE and an agent.

Данные и код на выходе Data and code as output

Экспортируйте project.json, признаки и редактируемый код для Python, автотестов, IDE и своих agentic workflow. Export project.json, features and editable code for Python, automated tests, IDE work and your own agentic workflows.

Процесс Process

От скриншота к коду в понятном процессе From screenshot to code in a clear process

Стартовый путь не требует собирать весь CV-стек заранее. Screph ведет от первого кадра к проверяемому результату. The starting path does not require assembling a full CV stack upfront. Screph takes you from the first frame to a verifiable result.

Выделение области интерфейса в Screph
01

Захватите экран или откройте изображение Capture the screen or open an image

Работайте со скриншотом, кадром видео, папкой кадров или реальным экраном Windows. Work with a screenshot, video frame, frame folder or a live Windows screen.

Аннотирование элемента голосом или текстом
02

Выделите ROI и опишите смысл Select ROI and describe meaning

Пометьте область, объект, текст или состояние. Добавьте пояснение текстом или голосом. Mark a region, object, text or state. Add context with text or voice.

Граф связей и логики взаимодействия
03

Настройте распознавание и связи Configure recognition and relationships

Подключите нужные CV/AI-шаги, проверьте preview и задайте логику переходов между элементами. Connect the required CV/AI steps, check the preview and define transition logic between elements.

Экспорт проекта и генерация кода
04

Экспортируйте проект, данные или код Export the project, data or code

Получите project.json, признаки, артефакты распознавания или редактируемый код, который можно дорабатывать в IDE. Get project.json, features, recognition artifacts or editable code you can refine in an IDE.

Demo Demo

Посмотрите, как выглядит рабочий сценарий See what a real workflow looks like

Демо показывает связку из визуального выбора, аннотаций, CV-настроек и результата, который можно передать дальше в кодовый workflow. The demo shows visual selection, annotation, CV setup and an output that can move into a code workflow.

Результат Output

На выходе вы получаете не только разметку The output is more than labels

Screph полезен там, где визуальная задача должна стать повторяемым, объяснимым и переносимым workflow. Screph helps when a visual task has to become a repeatable, explainable and portable workflow.

Экспорт результата Screph в автоматизацию и код

Структурированный проект Structured project

ROI, аннотации, связи, настройки обработки и контекст окна сохраняются как переносимые данные проекта. ROI, annotations, relationships, processing settings and window context are saved as portable project data.

Артефакты распознавания Recognition artifacts

Маски, контуры, OCR, detections и признаки можно использовать для QA, анализа изображений, обучения и интеграций. Masks, contours, OCR, detections and features can be used for QA, image analysis, training and integrations.

Редактируемый код Editable code

Codegen и export помогают перейти от визуальной постановки к Python, Playwright, Selenium, pyautogui или собственному IDE-процессу. Codegen and export help move from a visual brief into Python, Playwright, Selenium, pyautogui or your own IDE process.

Сценарии применения Use Cases

Screph объединяет компьютерное зрение, удобный голосовой интерфейс и бесшовную передачу размеченных данных в популярные агентные инструменты. Screph combines computer vision, a voice-first workflow, and seamless handoff of annotated data to popular agentic tools.

Legacy Systems

Legacy-системы без APILegacy Systems Without API

Разметка экранов старых терминалов, SCADA, банковских АБС. По данным разметки можно быстро получить сценарии управления и мониторинга.Annotate screens of old terminals, SCADA, banking ABS. Based on your annotations, you can generate management and monitoring scripts.

Промышленность • Госсектор • ФинансыIndustry • Government • Finance
Expert Knowledge

Оцифровка экспертных навыковDigitizing Expert Knowledge

Записывайте, как эксперт работает с UI. По разметке можно получить сценарии обучения и автоматизации.Record how an expert works with the UI. Use annotations to generate training and automation scripts.

Обучение • HRTraining • HR
Compliance

Визуальный комплаенсVisual Compliance

Размечаете формы с правилами проверки. По разметке можно получить скрипты контроля и протоколирования.Annotate forms with validation rules. Generate control and logging scripts based on your annotations.

Финансы • АудитFinance • Audit
Integration

Интеграция без APIIntegration Without API

Размечаете UI двух систем (CAD ↔ ERP, LIMS ↔ Excel). По разметке можно сформировать пайплайн переноса данных через визуальное взаимодействие.Annotate the UI of two systems (CAD ↔ ERP, LIMS ↔ Excel). Generate a data transfer pipeline via visual interaction.

Enterprise • Консалтинг • ИнтеграторыEnterprise • Consulting • Integrators
ETL from Video

ETL из видеоETL from Video

Разметка кадров скринкастов → по разметке можно получить скрипт и документацию.Annotate screencast frames → generate scripts and documentation from your annotations.

SOP • Best practicesSOP • Best practices
Surveillance

Оператор видеонаблюденияVideo Surveillance Operator

Разметка интерфейса VMS + план объекта. По разметке можно получить сценарии миссий и отчётов.Annotate VMS interface + facility map. Generate mission and report scripts from your annotations.

Безопасность • РитейлSecurity • Retail
Laboratory

Лабораторные протоколыLaboratory Protocols

Разметка интерфейсов приборов → по разметке можно получить скрипты серийных измерений и выгрузки в LIMS.Annotate instrument interfaces → generate serial measurement and LIMS export scripts from your annotations.

Фарма • БиотехPharma • Biotech
Creative Pipelines

Креативные пайплайныCreative Pipelines

Разметка Adobe/DaVinci/Blender. По разметке можно получить сценарии пакетных операций и рендера.Annotate Adobe/DaVinci/Blender. Generate batch processing and rendering scripts from your annotations.

Студии • КонтентStudios • Content
Accessibility

Агенты доступностиAccessibility Agents

Разметка UI с учётом ограничений. По разметке можно получить сценарии адаптации любого приложения.Annotate UI with accessibility constraints. Generate adaptation scripts for any application from your annotations.

Инклюзия • B2CInclusion • B2C
Sports Analytics

Спортивная аналитикаSports Analytics

Разметка элементов трансляции. По разметке можно получить скрипты извлечения событий и статистики.Annotate broadcast elements. Generate event extraction and statistics scripts from your annotations.

Медиа • КиберспортMedia • Esports
UX Annotation

UX-аннотированиеUX Annotation

Разметка намерений элементов. По разметке можно получить чеклисты, метрики и A/B-гипотезы.Annotate element intents. Generate checklists, metrics, and A/B hypotheses from your annotations.

Продукт • ДизайнProduct • Design
Trading

Трейдинг-операцииTrading Operations

Разметка терминалов. По разметке можно получить скрипты снятия позиций и compliance-отчётов.Annotate terminals. Generate position closing and compliance report scripts from your annotations.

Бэк-офис • РискBack-office • Risk
Digital Twin

Цифровые двойники процессовDigital Process Twins

Разметка экранов бизнес-процесса с временной логикой. По разметке можно получить BPMN-модель и исполняемый сценарий.Annotate business process screens with temporal logic. Generate a BPMN model and executable script from your annotations.

Консалтинг • Оптимизация • EnterpriseConsulting • Optimization • Enterprise
EdTech

EdTech-проверкиEdTech Assessments

Разметка учебных сред. По разметке можно получить проверяющие сценарии и персональные подсказки.Annotate learning environments. Generate assessment scripts and personalized hints from your annotations.

ОбучениеEducation
Healthcare

Legacy-медсистемыLegacy Healthcare Systems

Разметка UI закрытых систем. По разметке можно получить автоматизацию «поверх» без модификации.Annotate closed system UIs. Generate "overlay" automation without modification from your annotations.

Медицина • ГоспорталыHealthcare • Government Portals
QA Testing

Визуальное регресс-тестированиеVisual Regression Testing

Разметка эталонных состояний UI. По разметке можно получить скрипты сравнения и отчёты для QA.Annotate reference UI states. Generate comparison scripts and QA reports from your annotations.

QA • CI/CDQA • CI/CD
FAQ FAQ

Ответы на вопросы перед стартом Questions before you start

Что можно делать в Screph без опыта в computer vision? What can I do in Screph without computer vision experience?

Вы можете открыть скриншот или кадр, выделить нужную область, добавить аннотацию, проверить распознавание и сохранить проект без ручной сборки CV-стека. You can open a screenshot or frame, select a region, add an annotation, verify recognition and save a project without manually assembling a CV stack.

Нужно ли знать Python, чтобы начать? Do I need Python to start?

Для стартового визуального workflow Python не обязателен. Он становится полезен, когда нужно встроить результат в продукт, автотесты или доработать экспортированный код. Python is not required for the starting visual workflow. It becomes useful when you want to integrate the result into a product, tests or refine exported code.

Это только для автоматизации Windows UI? Is this only for Windows UI automation?

Нет. Screph силен в Windows UI, но workflow также применим к обычным изображениям, кадрам видео, OCR, frame-by-frame анализу и визуальной разметке признаков. No. Screph is strong for Windows UI, but the workflow also applies to regular images, video frames, OCR, frame-by-frame analysis and visual feature labeling.

Как Screph помогает ChatGPT-подобным моделям и IDE? How does Screph help ChatGPT-like models and IDEs?

Он превращает сырую картинку в более структурированный контекст: ROI, аннотации, связи, project.json и кодовый handoff, который проще читать и дорабатывать. It turns a raw image into structured context: ROI, annotations, relationships, project.json and code handoff that is easier to read and refine.

Что получается на выходе после разметки? What do I get after annotation?

Вы получаете сохраненный проект, экспортируемые данные, артефакты распознавания и редактируемый код или основу для генерации кода в IDE. You get a saved project, exportable data, recognition artifacts and editable code or a base for code generation in an IDE.

Старт Start

Проверьте Screph на своем скриншоте Try Screph on your own screenshot

Самый короткий путь: скачать Windows-версию, открыть кадр или экран, выделить первую область и посмотреть, какой проект и код получаются на выходе. The shortest path: download the Windows build, open a frame or screen, select the first region and see what project data and code you get as output.