捕获来源和操作

Capture 选项卡将屏幕区域、窗口、监视器、摄像头、URL 流和本地媒体整合到一条时间线中。您可以记录一系列定时帧或一系列用户操作、审核材料，然后将其交给标注和 CV。

1. 四个源组

  • 屏幕 — 虚拟桌面区域、物理显示器或特定窗口。
  • 相机 — 具有选定设备索引和 OpenCV 后端的实时源。
  • 文件/文件夹 — 一个或多个图像、视频和目录的管理器，而不是单独的“视频文件”和“帧文件夹”模式。
  • 流/URL — 所选 OpenCV 后端支持的 RTSP、HTTP 和其他地址。

边界： 录制可用于屏幕、摄像头和流媒体源。附加本地文件和文件夹以供导航和播放； Screph 不再记录它们。

网络和凭据。 对于 Stream / URL，所选的 OpenCV/FFmpeg/GStreamer 后端直接连接到终点；这不是上传到 Screph 云。 URL 存储在共享 Capture 设置中。避免在 URL 中嵌入长期密码/令牌，并在端点包含凭据时将设置文件视为敏感文件。

2. 在屏幕上捕捉什么

对于 Screen 源，在录制前选择捕获范围：

  • 所选区域 — 虚拟桌面坐标中的矩形；它可以跨越多个显示器。
  • 选定的监视器 — 列表中的特定物理输出。
  • 活动监视器 — 捕获时包含活动窗口的监视器。
  • 选定的窗口 — 绑定到其 HWND、进程和类的窗口；可以启用或禁用光标捕获。
  • 跟随活动窗口 — 跟随活动窗口，同时排除 Screph 应用程序本身。

区域和监视器使用 DXcam/DXGI； Windows 使用 Windows 图形 Capture。明确报告关闭或最小化的窗口、缺少监视器或后端错误：应用程序不会默默地用另一个源替换所选目标。

3. 文件和文件夹管理器

  1. 选择 文件/文件夹 并按 选择…。
  2. 添加多个文件和目录或从资源管理器中将它们拖入。
  3. 需要时启用递归文件夹扫描。
  4. 等待每行的异步验证并仅应用有效的源。

支持 PNG、JPG/JPEG 和 BMP 格式的图像。视频格式包括 MKV、AVI、MP4、MOV/M4V、WEBM 和 MPEG/MPG。选择历史记录是项目范围的，可以重新加载以前的设置。

离线视频是通过 PyAV 使用精确的 PTS/时基读取的。单独的 OpenCV 路径仅接受明确验证的 CFR 材料；未经验证的 VFR 不会隐藏在近似 FPS 值后面。

4. 两种记录策略

timed — 定时捕获

Screph 以配置的 FPS 获取帧。将其用于屏幕运动、视频分析和均匀采样的时间序列。

action_sequence — 操作序列

Screph 记录鼠标和键盘活动，并将每个操作与其之前、期间和之后的状态帧关联起来。此模式适用于可重现的 GUI 工作流：时间线存储操作跟踪以及图像。

暂停和停止会影响活动策略。动作序列设置控制延迟、动作周围的帧、按键重复分组以及是否包含鼠标移动帧。

5. 时间轴、导航和编辑

  • 滑块、帧步进、播放、速度和循环控制适用于录制和导入的媒体。
  • 可以选择和删除时间线范围；相关的动作记录被重新映射到剩余的帧，而不是保留过时的索引。
  • 持久链接使用持久的源/帧引用和时间线位置。单独的全局帧号并不能被视为足够的身份。
  • 不可用的位置将作为可诊断的间隙返回；时间阅读器不会默默地跳过它。

Preview 按钮打开一个单独的 Qt/PySide 窗口。帧、持续时间、内存和当前路径信息保留在主选项卡上。

6. 使用 CV 和 VLM 进行操作标记

Action CV 仅适用于 Screen 数据源和 action_sequence 策略。请先选择输入事件提供商：默认的 disabled 会阻止录制开始。录制停止后自动处理需要同时启用 Delegate labeling to VLM 和 Run after recording stops。无论这些开关如何设置，Label with VLM 按钮都会手动启动一次完整的重新运行。

安全默认既不发送数据也不创建 CV 候选结果. block_unredacted 策略在任何提供程序调用之前生成阻止诊断。显式选择 roi_only 后，Screph 发送一个全尺寸帧，其中 ROI 之外的所有内容都被涂掉； allow_unredacted 允许原始帧。默认的 object_descriptor 合约返回描述和未来搜索建议，但不执行 CV。要获取候选结果，请选择CV 计划或混合合约，并单独启用执行 VLM CV 计划。

所选 CV 模型收到的内容

  • 使用显式 cv LLM 角色分配；没有隐藏的回退到其他配置文件或模型。该配置文件可能针对本地运行时或外部提供商。
  • 提示包含规范化操作（类型、时间、源、键或按钮以及坐标（如果存在））以及目标点和 ROI 提示、准备好的帧元数据和哈希值、选定的响应合约以及允许的 CV 方法目录。
  • 默认情况下，在操作中、顺序之后、顺序之前最多选择三个帧。阻塞隐私诊断会在客户端调用之前停止请求。
  • 成功的共享 LLM 调用会留下使用元数据，而 Action CV 还会默认在记录目录中存储请求、原始响应负载和响应缓存。

审核，导出和项目

  1. 时间线和审核面板显示状态、叠加/操作/之前/之后/遮罩视图、跟踪、置信度和诊断。失败的操作可以单独或作为一组重试；取消是一个合作请求。
  2. 您可以接受或拒绝候选结果、选择替代方案或更正其边界框。该决定附加到审核 JSONL。
  3. Accept 立即重建派生屏幕元素、目标和项目补丁产物并丰富现有的自动化上下文步骤（如果存在）。它仍然不会改变规范的画布。
  4. Into project 是一个单独的突变命令：它通过撤消/历史网关将当前补丁导入到画布中，并通过以下方式更新现有的元素候选结果 ID。之后保存规范项目。

验证导出和导入状态。 当前的审核面板不会显示派生导出重建失败，因此在出现磁盘问题后可能会保留较旧的补丁。完全手动重新运行将删除 action_cv 目录，包括之前的请求、响应、决策和导出，但不会回滚已写入相邻 automation_context 的丰富内容。在重新运行之前保留您需要的任何内容，然后重新检查接受的目标和项目导入。

配置 LLM 连接和数据传输规则 →

7. 存储、设置和导出

  • ram_images — 内存中带有缓冲区控件的帧。
  • disk_images — 项目存储上的帧可用于较长的会话。
  • PNG 导出在后台工作程序中运行；可以使用基于时间间隔的自动保存。
  • FPS、录制策略、范围、缓冲区、播放、导出和源设置存储在 Screph 设置中。相同的合同可以在 Settings → CV 设置 → Capture 设置 下编辑。

8. 如果源不起作用

  • 窗口为空或停止： 检查它是否已最小化或关闭，然后刷新目标并再次选择窗口。
  • 相机或 URL 打不开： 验证索引/地址并尝试另一个显式后端：Auto、MSMF、DirectShow、FFmpeg 或 GStreamer。
  • 文件被标记为无效： 在验证完成之前不要应用该行；对于视频，请检查容器、编解码器和时基。
  • 内存使用率高： 减少 FPS/会话长度或从 ram_images 切换到 disk_images。
  • VLM 标签被阻止： 检查 LLM 设置中的 CV 角色、模型可用性和隐私诊断；没有隐藏的提供程序回退。
下一个：标注和项目 CV GUI 和管道