计算机视觉模型
YOLO、SAM 和 OmniParser 操作需要准备好的依赖项、兼容的模型文件，以及在操作参数中选定的模型。训练自己的模型位于“数据集与训练”选项卡，使用独立目录。
基本步骤
- 检查依赖项页面上的机器学习组件。
- 打开所选模型系列的设置。
- 下载支持的模型或提供受信任的本地文件。
- 选择当前使用的模型，并检查能否加载。
- 使用单张图像测试操作，检查模型加载情况和结果格式。请用自己的数据评估质量。
模型系列
| 系列 | 目的 | 特点 |
|---|---|---|
| YOLO | 检测、分割或姿态估计，取决于所选模型。 | 模型任务必须与操作一致。 |
| SAM | 通过点、边界框或其他提示进行分割。 | 不同的选项需要不同的文件和资源。 |
| OmniParser | 界面元素的搜索和描述。 | 一个完整的过程可能需要多个一致的模型。 |
下载和隐私
模型下载仅在用户操作后启动。模型服务器会接收常规 HTTPS 请求技术数据，但 Screph 不会发送项目、标注或原始图像。下载后，处理在本地执行。
对于封闭网络，可以使用预先准备好的本地文件。仅从可信来源加载模型：模型文件可能包含打开时由软件库处理的数据。
文件验证
如果模型的校验和已发布，Screph 可以将其与本地文件进行比较。匹配可以确认文件的完整性，但不能保证模型的质量或特定任务的适用性。
不可用的典型原因
- 机器学习依赖项尚未准备好。
- 文件丢失、损坏或与所选系列不匹配。
- 未在设置中选择活动模型。
- 内存或可用空间不足。
“依赖项和更新” 部分描述了准备组件。
可训练模型与训练环境
Learning 支持单图分类、边界框检测及使用二值掩码的实例分割。目录包含支持的 TorchVision 和 Ultralytics 架构：YOLO11 Detect、YOLO11 Seg 和 RT-DETR-L。数据集任务必须与模型任务一致；训练目录不接受任意 .pt/.pth 文件或 YAML 导入。
“可训练模型”提供分组、建议和帮助。“扩展目录…”用于搜索当前任务和模式的模型，“添加模型…”将支持的架构加入主要选择列表。预训练权重通过独立操作下载并检查完整性；权重缺失或损坏会阻止相应运行。
环境未准备好时，点击“开始训练”会打开非模态的“模型训练环境”窗口。可选择支持的本地 ZIP 包或文件夹，也可使用提供的下载与安装操作。这里只检查训练组件；其他组件的诊断需单独打开。程序不会用系统 Python 替代所选 ML 环境。
输入尺寸和处理方式取决于架构：SSDLite320 使用 320×320，RT-DETR-L 至少需要 128×128。YOLO11 Seg 将数据集的精确掩码转换成内部训练格式；原始掩码保留用于独立评估。选择 CUDA 需要可用设备，不会静默切换到 CPU。
候选模型、主要模型与最终程序
训练成功后会生成带有指标和已验证文件的候选模型。发布会保存独立模型及评估证据。如果模型已发布但未成为主要模型，只需重新执行设为主要模型的操作，无需重新训练。
在 Automation Runtime 中检查候选模型或已发布模型时，需要明确选择来源和 ML 环境。这只是预测预览，不会创建最终评估，也不会将模型纳入最终程序。
模型应用配置将模型描述和用途与权重分开保存。必须明确启用模型在最终程序中的使用，并指定输入来源及结果用途。智能体仅接收获准使用的主模型的已验证文件。手动导出模型和向智能体交付是独立操作。
请用实际任务的数据（包括新场景）单独评估准确率，不要仅依赖教学运行和预览。Ray 分布式训练处于实验阶段，仅支持分类；界面尚不支持通过一系列训练运行进行经验性自动调优。