CV GUI 和管道指南

本指南介绍了 Screph CV/AI 面板，特别是高级管道编辑器。它是为 GUI 用户编写的：实用、面向任务，并且重点关注如何使用界面而不是内部实现细节。

主 CV 面板及其共享方法目录是完整产品的一部分，而选定的程序模式添加了域语义和专用工作区。 General 针对中性图像分析； GUI Automation 添加屏幕-元素类型、标注参考、审核并确认标注应用； Industrial 视觉和自主无人驾驶车辆添加实验域任务候选结果和证据。在 Selector 标题中或常规设置→开发平台下选择模式；有关模式边界，请参阅 专用指南。

1. CV GUI 的用途

CV GUI 可帮助您检测图像中的区域、构建蒙版和轮廓、读取文本、组合多个处理步骤，并将结果转换为规范项目标注。所选的程序模式决定了可用的任务和候选结果类型。

  • 简单模式：选择一种方法并调整一小组参数。
  • 线性管道：构建直线的步骤序列。
  • 高级管道：使用方法、分支、合并和运行时检查构建图形。

2. 基本工作流

  1. 打开图像或在画布上选择元素/ROI。
  2. 打开 CV/AI 面板并选择处理模式。
  3. 启用实时预览进行快速迭代，或保留手动应用以实现较重的方法。
  4. 检查预览和画布上的覆盖层。
  5. 选择所需的边界：存档技术运行、将掩码/结果附加到元素的图像序列，或显式创建规范元素。

实用提示： 如果您不确定从哪里开始，请首先缩小感兴趣区域 (ROI)，然后运行颜色或分割处理。它速度更快，通常产生的噪音也更少。

一个项目的多个演示

菜单栏工具栏中的布局控件可以显示一个 A 窗格、A/B 并排或堆叠、三个窗格（A 位于左侧、B/C 位于右侧）或 2×2 A/B/C/D 网格。这些不是项目副本：规范的标注、选择和项目撤消/重做是共享的，而视觉材料和窗格本地显示设置可能有所不同。

  • 每个窗格的设置都允许您更改其标签并选择源、工作 CV 结果、掩码或诊断产物、其显示模式和裁剪源。
  • Activate 控件选择画布工具使用的窗格，默认情况下选择 ROI 像素源。拒绝激活陈旧的、未映射的或只读的演示文稿；如果当前活动窗格变得不兼容，所有权将返回到 A。
  • 链接窗格同步缩放、视口中心和画布空间光标。 A 始终属于链接组； B/C/D 可以取消链接。只读窗格可以在不拥有项目交互的情况下驱动导航。
  • Crop source 字段明确选择当前实例或原始源。
  • 掩码、差异/复合、仅显示转换或陈旧/未映射结果不是有效的 ROI 输入。该操作被阻止，而不是默默地回退到源。
  • 无法关闭窗格 A。 B/C/D 显式关闭，但不删除演示文稿；较小的布局永远不会默默地删除它们。全局重置将源分配给 A，激活它，关闭其他窗格并返回到单一布局。

Result、Grayscale、Invert 和Pseudocolor 选项仅更改显示，而不更改材料或配方。将源代码保留在相邻的链接窗格中以进行比较。

全图像预处理

  1. 目标窗格中的开源或现有工作演示文稿。
  2. 按配置 CV；对于源，创建了一个工作 processed_raster 演示文稿。
  3. 在图像分析→演示处理下，选择一种方法或线性管道，然后按更新演示。

每个工作演示都有自己的参数。其目录始终在 上运行完整映像；需要 ROI、点击、时间线、参考图像或项目端突变的方法被排除在外。

3. 面板主要部分

  • 处理模式: 选择方法或管道模式。
  • 方法参数: 带有所选方法设置的动态表单。
  • 预览: 显示方法或管道生成的内容。
  • 叠加: 在画布上叠加遮罩和轮廓，以便您可以将它们与原始图像进行比较。
  • 预设: 保存有用的参数组合。
  • 结果保存: 对运行时存档、选定的元素的图像序列和规范的标注进行单独的操作。
  • Live preview / Auto / AI: 实时绘图参数更改后重新计算； 🔮 Auto 从图像中调整参数； AI 选择让 LLM 提出一种算法。对于大帧和模型支持的方法，更喜欢手动 刷新预览。
  • 会话和操作: Apply 运行分析，并在主面板中通常附加或替换所选元素图像系列中的 cv_result 条目； Save 将技术运行写入指定的 CV 会话； 添加为元素 创建规范元素，将掩码添加到结果 附加单独的掩码条目。
  • HSV 吸管: 对预览颜色进行采样，并使用 dH/dS/dV 容差填充 H/S/V 范围。

Text / OCR 使用 ocr.runtime 提供的本地 Tesseract。 YOLO、三个 SAM 后端和 OmniParser 分别需要准备好的 ml.runtime 和合适的本地模型资源。列表中出现的方法意味着其 UI 可用，而不是运行时或权重已经准备好。请参阅 模型和体重管理。

Apply 不接受 CV 候选结果作为几何或语义标注。然而，主面板中的显式 Apply 默认将视觉结果存储在所选元素的图像序列中，并记录项目历史突变；自动实时-预览重新计算不会。 添加为元素 仅创建规范的 ScreenElement 对象。规范的特征或标注组仅出现在明确支持它的特定模式审核/apply 路径中。

LLM 设置按钮可打开 CV 角色配置文件。模型支持的方法和 OCR 方法需要其匹配的运行时组件。 LLM 连接 · 依赖项

4. CV 结果生命周期

操作它创造了什么项目突变
Live preview工作预览/overlay 和最后结果状态。参数驱动重新计算期间不会自动保存。
Применить / Apply新的分析；在主面板中，通常是经过验证的产物捆绑包并附加 cv_result。所选的元素的图像序列可能会改变；规范几何/语义则不然。
Сохранить / Save名为 CV 会话中的当前运行包和旧版/调试投影。不创建标注，并且本身不会将运行附加到项目元素。
Добавить маску в результаты带有产物元数据的单独 cv_mask 条目。是：元素图像序列和项目历史记录。
Добавить как элементы来自最新轮廓的矩形或多边形元素。是：明确的规范标注突变。
模式审核/apply接受的决定，应用预览/plan 和该模式允许的目标。是的，仅在验证后； apply 是事务性的，并在失败时尝试回滚。

CV 候选结果，规范标注和 FeatureMatch

CV 方法首先发出 result/evidence：预览、检测、轮廓、掩模和指标。这还不是 Selector 对象。审核将候选结果绑定到 markup_candidate_id 并创建接受的决策；打补丁并应用预览。只有在目标、修订和重复检查之后显式应用，才会改变规范项目。

表面它可以创造什么准备边界
General / GUI Automation当前促销 UI 仅接受规范的 element；通用合约更广泛，但此 UI 不会创建特征/group。已接受审核 → 补丁 → 预览 → 事务应用。
Industrialelement 或区域 feature (DEFECT, MEASURMENT_ZONE、TOLERANCE_REGION)。候选结果决策和确认应用存在，但 workflow_ready=False；这不是生产审核/出口/控制权限。
UAVelement，区域 feature (AOI/TILE/CHANGE_REGION) 或键入TRACK_GROUP。交易应用基础存在，但 workflow_ready=False；这不是任务控制/GIS/数据集/导出工作流。
FeatureMatch引用现有特征并存储 bbox、得分、目标点和源的单独事件记录。由显式特征-inspector 操作创建。实时预览和 Feature Match CV 方法都不会自动创建域 FeatureMatch；该方法返回检测结果。

候选结果审核/apply 和 FeatureMatch 创建是不同的操作：第一个将证据提升为规范标注，而第二个记录具体的发生现有的特征。它们是单独的项目-JSON 记录和单独的撤消/重做突变。

经过验证的捆绑包存储可用的源快照、执行配方、配置快照、指标、标准和额外输出、SHA-256/大小元数据、协调合同和写入报告。仅在所需引用通过写入和读回后才发布其清单。

名为 CV 的会话是 ScrephData/screen_selector/cv/results 下的运行时存档，而不是第二种项目格式。最近的会话列表最多保留十个 ID，但这不是文件保留：此处不会自动删除旧的会话目录。保存规范项目时，Selector 仅导入附加到元素图像序列的 CV 条目，将其产物复制到<name>_artifacts，并写入项目本地结果清单。软件包中不包含独立的技术档案。

CV 产物如何进入项目包→

5. 视频 CV 和时间跟踪

视频 CV 工作区分析具有持久源和时间线标识的 Capture 帧序列。它可以处理选定的范围、当前剪辑、完整的时间线、播放头周围的 11 帧窗口或实时流；方向单独选择。预卷和后卷扩展离线边界，帧步幅对输入进行二次采样，100/75/50/25% 处理比例可减少负载，同时将结果标准化回源坐标。

  • 分析 ROI 和排除区域绑定到选择上下文。如果选择发生变化，则执行将被阻止，直到刷新上下文为止；过时的 ROI 不会默默地重用。
  • 实时读取器有一个四帧队列和明确的拒绝、删除最旧的或删除最新的背压策略。停止/取消关闭阅读器；诊断离线间隙并重置时间处理器。
  • 叠加层包括运动、轨迹、接受的标注、检测、光流、事件和候选结果。运行历史记录可以恢复参数、重新运行分析并导航到问题。

临时提供程序

内置注册表包括 UAV 稀疏相机稳定、OpenCV MOG2 运动、MIL/CSRT/KCF 跟踪器、Farneback 光流、活动事件、原生场景差异和条件 PySceneDetect 内容。不可用的提供程序被禁用，并有原因和修复操作：CSRT/KCF 需要合适的 opencv-contrib 版本，而 PySceneDetect 需要其依赖项。 SAM 2.1 提示掩码传播目前是未来隔离工作人员不可用的内部目标，而不是正常的工作后端。

运行、跟踪应用和编辑

  1. 运行提供程序并等待完成、部分、取消或失败状态。输入快照、配置、来源、覆盖范围、问题和观察结果存储在临时运行存储中。
  2. 对于跟踪器运行，选择一条赛道并准备应用预览。该计划报告观察结果、关键帧、丢失状态和预期修订，同时保留现有轨道的手动或受保护的观察结果。
  3. 确认应用。该项目必须已保存或打开，因为该操作写入 Selector 拥有的 <project>.temporal-标注.json 伴随文件带有修订保护和项目撤消/重做。

应用后，您可以从当前 ROI 添加手动关键帧、删除关键帧、修剪或终止、分割、标记遮挡/外部、撤消/重做、安全合并而不会出现模糊重叠、重新分配轨道 ID 以及从手动关键帧重新跟踪。这是时间标注的明确准备/应用边界，而不是自动接受每个观察结果。

导出活动运行

  • Neutral JSON 包含来自持久配方的运行/提供者/状态、哈希值、覆盖范围、出处、配置、观察结果和可选的 codegen IR。它是数据，而不是可执行脚本。
  • 带注释的预览 使用当前开始/结束字段和时间轴映射、绘制轨迹和运动边界框创建 MJPG AVI。它需要一个正的 Capture FPS、每个请求的帧和一个工作的 OpenCV VideoWriter。

这两个导出都是所选运行的产物，而不是数据集导出或项目保存。 时态数据文件和边界 →

6. 实际方法目录

主面板注册28 个面向用户的单一方法。这些是实际可选择的条目，而不是独特数学算法的数量：例如，MobileSAM、FastSAM 和 EfficientSAM 是一个即时分段系列中的三个后端。

  • 滤镜和颜色： Edges (Canny), Color (HSV), Color Mask (K-Means).
  • 分段和掩码： GrabCut, Watershed, SLIC Superpixels, YOLO segmentation, MobileSAM, FastSAM, EfficientSAM.
  • 文本和结构： Text / OCR, OmniParser, Hough Lines, Hough Circles, MSER, Connected Components, Contours, Adaptive Threshold.
  • GUI、参考和时间： Template Match, Point Region Grow, Shape Analyze, Line/Rect Layout, Feature Match, Before/After Diff, Align To Reference, Target Track (KLT), UI Layout (Local), Visual ReID.

线性管道和方法流程图另外注册 14 个实用程序节点：灰度、亮度/对比度、伽玛、高斯模糊、中值模糊、CLAHE、调整大小、裁剪/填充、旋转、倾斜校正、对图像应用蒙版、反转掩模、形态和提取轮廓。它们的存在是为了构建数据流，因此在单一方法列表中不会重复。

工作演示目录较窄。 全图像演示仅包含具有安全精确图像/精确掩模契约的方法。模板匹配、点区域增长、特征匹配记录、差异之前/之后、与参考对齐、目标轨道 (KLT) 和视觉 ReID 需要参考、单击、时间线或其他上下文，因此不会显示在此处。

程序模式有何变化

  • General: 28 个共享方法和 14 个管道节点构成中性图像分析目录。
  • GUI Automation: 使用共享的 CV 功能并添加 GUI 类型、标注参考、审核草案和升级补丁。这是一个语义/创作层，而不是另外 42 个单独的方法。
  • Industrial / UAV: 具有特定于模式的管道操作，但其目录混合了 CV、预处理、编排、决策和导出节点。这些工作区是实验性的，因此注册的步骤计数不得被视为生产就绪算法的计数。

7. 线性管道

当您需要无分支的可预测流程时，线性管道是最佳选择：例如，检测边缘、清理掩模，然后提取轮廓。它更容易学习，也更容易跨项目重用。

  • 每个步骤从上到下运行。
  • 您一次编辑一个步骤。
  • 步骤预览可帮助您查看噪声出现的位置或对象丢失的位置。
  • 如果链条保持线性，则很容易维护并随后进入高级模式。

8. 高级管道：详细指南

高级管道专为简单的线性链不再足够的场景而设计。它可以让您构建完整的处理图：拆分为分支、合并结果、保留专用的预览输出，并逐步检查运行时跟踪。

何时切换到高级模式

  • 您需要比较同一图像的两个不同分支。
  • 您需要有条件地在变体之间进行选择。
  • 您想要分别控制最终结果和预览。
  • 您需要运行时检查器来查看每个节点和连接的负载。

重要提示： 高级模式仍处于实验阶段。它保持自己的草稿状态，而线性管道仍然是主要格式，直到您明确应用可导出的图形。

高级管道屏幕布局

  • 顶部操作栏: 快速操作，例如快速添加、片段、自动布局、修复图表、应用于线性。
  • 图画布: 主编辑区域，包含节点、连接、注释和组。
  • 右侧检查器: 有关所选项目、负载、固定检查器和选择预览的信息。
  • 运行时调试区域: 执行历史记录、步骤洗涤器、差异、固定运行时步骤和预览历史记录。
  • 验证/搜索/建议: 跳转到问题、搜索图表并按照建议的修复进行操作。

节点类型

  • 来源: 输入图像、点提示、常量
  • 方法: 实际的 CV 方法：边缘检测、分割、OCR、轮廓提取等。
  • 控制: 用于选择或组合分支的条件节点和合并节点。
  • 实用程序: 帮助节点，例如重新路由节点，以保持图形可读。
  • 接收器: 结果和预览的最终输出目标。

典型的图表始终至少包含 Input Image 和 Result Output。它们定义流程的开始和明确的结束。如果您的图有多个分支并且没有显式结果输出，则运行时可能会将其视为不明确。

如何在实践中构建图表

  1. 打开线性编辑器旁边的 Advanced 选项卡。
  2. 通过 Quick Add 或 Add Node 按钮添加节点。
  3. 通过从输出拖动到兼容输入来连接端口。
  4. 如果图表变大，请使用重新路由节点和注释/组框架。
  5. 对于分支逻辑，插入 If 和 Merge 节点。
  6. 编辑完成后，查看右侧的验证面板和摘要。

推荐的入门模式： `Input Image -> one or two method nodes -> Result Output`。首先确保该骨架正常工作，然后添加分支、合并节点和单独的预览接收器。

编辑和导航

  • Delete 删除选定的节点、连接或组。
  • F2 重命名所选节点。
  • Ctrl+D 复制当前选择。
  • Tab 或 Space 打开快速添加。
  • A 运行自动布局。
  • Ctrl+0 使图表适合视图。

运行时 Inspector：如何读取图形执行

执行后，高级管道会存储运行时快照。它不仅显示最终图像，还显示每个节点中发生的情况：哪些输入可用、节点返回什么、选择了哪个分支以及出现警告或错误的位置。

  • 运行时洗涤器: 在完整视图和单个运行时步骤之间切换。
  • 当前/固定步骤: 用于比较两个状态或两个执行分支。
  • 选择预览: 显示所选节点或边的预览。
  • 有效负载检查器: 帮助您了解流经连接的负载类型：图像、掩模、轮廓、检测或文本。

运行时快捷方式： `Alt+Home` 跳转到轨迹的开头，`Alt+Left/Right` 向后/向前移动，`Alt+End` 返回完整视图。

草稿、同步并应用回线性

高级模式有自己的可编辑草稿状态。只要图表包含分支、实用程序/控制节点或其他非线性结构，它就可能仍然是仅限高级的草稿。如果配置保持线性可导出，您可以按 Apply to Linear 并将其转换回常规线性管道。

  • 从 Linear 重新同步从当前线性管道重建图形。
  • 应用到 Linear 在可能的情况下将图形写回线性格式。
  • Repair Graph 在结构不完整或损坏时建议安全修复。

9. 性能提示

  • 对于大量图表，请关闭实时预览并手动运行应用。
  • 如果不需要全屏，请在运行繁重处理之前限制 ROI。
  • 使用重新路由节点和注释框以避免将图形变成不可读的意大利面条。
  • 重大更改后，运行自动布局并检查验证摘要。

10。常见问题和解决办法

  • 预览为空: 确保图表以结果输出或预览接收器结束，并且节点接收兼容的输入。
  • 图形无法应用回线性: 通常的原因是分支、合并节点、实用程序/控制节点或其他非线性片段。
  • 噪音太大: 减少 ROI、添加掩码清理或将任务拆分为多个步骤，而不是使用一种通用方法。
  • 跨帧结果不稳定: 锁定区域，减少分支数量，逐步检查运行时迹线，而不是只查看最终的预览。

← 返回文档索引