核心概念
Screph 用户概念:来源、标注、处理、项目、训练、代码和连接。界面中的简称由所属模块上下文明确。
数据源与捕获
- 数据源
- 图像、视频、屏幕、窗口、摄像头、流或其他可视数据来源。在捕获设置中称为“捕获源”。
- 帧
- 与来源及其在序列中的位置关联的单个图像。
- 帧序列
- 来源中按时间排序的帧。帧范围定义序列的所选部分。
- 捕获区域
- 捕获获取像素的屏幕或其他来源的一部分。
- 捕获录制
- 保存帧及模式所定义的事件。按定时器和按输入事件录制的帧获取方式不同;内存或磁盘存储另行设置。
- 操作跟踪
- 用户操作及关联帧的序列。分析它时建议的视觉目标与原始录制分开检查。
- 源图像
- 工作所依据的源图像。处理时可选择该图像的其他呈现内容。
标注与关系
- 标注元素
- 保存的任务对象,例如按钮、字段或零件。在工具中简称“元素”。
- 元素特征
- 属于元素的特性或几何,例如用于查找它的区域或视觉样本。在元素面板中简称“特征”。
- 标注
- 标注对象、其用途或使用方式的描述。语音标注将语音转换为所选对象的文本描述。
- 元素关系
- 标注对象之间的领域关系。在处理图中,数据传递称为连线。
- 容器区域
- 具有明确对象成员的结构性标注区域。位于其边界内和成为其成员分别考虑。
- 已选对象
- 某项操作的当前选择。可包含多个对象,并可在不改变容器区域成员的情况下变更。
- 当前对象
- 当前显示其属性或操作的对象。选中多个对象时,当前对象决定具体操作的上下文。
- 标注建议
- 接受前可检查的建议对象或更改。仅查看建议不会更改主标注。
- 交互配置
- 选定的画布交互规则:点击、拖动、临时快捷键及初始工具的行为。
特征区域与元素分开选择。示例提供其几何和属性。
计算机视觉与结果
- 处理操作
- 具有明确输入、输出及参数的可用操作,例如边缘检测或文字识别。算法或模型决定执行方式。
- 处理步骤
- 流程中已配置的操作实例。一个操作可用于多个步骤,各步骤具有不同参数。
- 处理流程
- 步骤、连线和所选输出的配置。流程可由单个操作、处理链或图构成。
- 处理链
- 线性流程:步骤按顺序执行并将数据传递给后续步骤。
- 处理图
- 具有显式输入和输出连线的流程。可描述分支及数据合并。
- 图节点
- 处理图中的对象。操作节点表示步骤;其他节点可定义来源或结果输出。
- 输入与输出
- 接收和输出特定类型数据的具名端口。例如,操作可接收图像并输出掩码。
- 连接
- 将数据从处理图中的具体输出传递到具体输入。
- 步骤参数
- 决定具体步骤行为的值,例如阈值或滤波器大小。
- 输入数据
- 运行时传递给流程或步骤的实际图像、文本或其他值。
- 处理区域
- 构成处理输入的几何区域:整个图像或选定部分。它与捕获区域及容器区域分别设置。
- 处理运行
- 针对固定输入及设置的一次流程执行。再次执行会创建新的运行。
- 处理结果
- 产生的数据:图像、掩码、轮廓、检测、文本或指标。将找到的对象传递到主标注需要单独确认。
- 步骤结果
- 单个步骤的中间数据。查看它并不表示它已被选为流程的最终输出。
- 预览
- 显示数据,供进一步操作前评估。除非命令明确合并运行和保存,否则结果需另行保存。
- 叠加层
- 叠加在图像上供查看的掩码、轮廓或其他数据。
- 保存的结果
- 某次运行的固定数据。更改输入或流程后,它可能不再适用于当前工作。
- 结果材料
- 与所得结果相关的图像、文件和其他资源。
- 操作参数预设
- 可重复使用的单个操作的已保存参数值。
- 已保存操作
- 包含代码或指令、输入和输出的具名用户操作。
- 流程模板
- 可重复使用的已保存步骤和连线组合。加载模板会准备流程。
- 流程草稿
- 在选定保存或运行操作之前,当前可编辑的处理配置。
- 流程变体
- 用于比较的替代配置:采用不同的参数、步骤或连线。
- 变体对比记录
- 在验证输入上保存的处理变体比较及其结果。
- 基准变体
- 选定的变体比较基准。比较执行时使用基准运行。
- 流程片段
- 可重复使用的处理流程部分。
- Python 代码
- 包含已保存 Python 代码、连接的输入及声明输出的用户操作。代码生成与执行是不同操作。
- AI 请求
- 将允许的输入数据及指令传递给所选模型,并依据预期输出检查回答的操作。
处理链连接图像滤波和边缘检测。参数属于所选步骤。
项目与界面
- 主项目
- Screph 任务的可编辑数据:来源、标注、设置及关联材料。移动已保存项目通常需要其目录。
- 项目文件夹
- 项目及附属文件在磁盘上的位置。
- 准备好的项目材料
- 由项目数据生成的文档、索引和资源,供代码工作及其他使用方使用。
- 项目快照
- 用于特定用途的固定项目状态,例如传递给代码工作。
- 项目导出
- 为移动或外部工具准备的选定数据表示。内容取决于所选格式。
- 工作区
- 用于特定工作的工具集合,例如标注、训练或代码工作。
- 画布
- 用于图像、标注对象和呈现内容的视觉工作表面。
- 视口
- 画布上显示内容的位置。一个工作区可包含多个视口。
- 视图
- 视口内容:源图像、处理后的图像、掩码或比较。
- 呈现方式
- 用于查看的变换,例如灰度、反色或伪彩色。处理的计算输入另行选择。
- 面板布局
- 界面各部分的几何和可见性。布局保存属于界面状态。
- 程序模式
- 领域工作模式,例如 General 或 GUI Automation。它决定工具和任务的上下文。
- 简化模式
- 减少现有工具之间中间操作及阶段交接的交互方式。
数据集和训练
- 数据集
- 用于所选训练任务的受管数据及标注集合。
- 数据集样本
- 具有自身来源的数据记录,其中保存样本图像。
- 数据集标注
- 为所选任务接受的样本标注。导入或保存本身不能证明已由人工检查。
- 标注类别
- 数据集中的对象类别,例如零件类型。
- 数据集草稿
- 图像、类别和标注的可编辑状态。更正在草稿中进行。
- 数据集版本
- 用于训练或评估的固定数据及标注状态。草稿的更改记录在新版本中。
- 训练配置
- 一致的训练描述:数据、模型及执行参数。
- 训练参数预设
- 局部配置设置,例如“快速”“平衡”或“彻底”。数据及模型选择仍是独立操作。
- 实验
- 组织训练配置和运行以进行比较的工作。
- 训练运行
- 一次训练执行,具有固定输入与配置、历史和结果。
模型及其数据
- 语言模型
- 为处理文本以及受支持的图像或其他数据选择的模型。它根据提供的输入生成回答。
- 模型架构
- 可训练模型的家族和结构。
- 模型权重
- 已训练模型的参数。预训练权重用作受支持训练或处理的初始数据。
- 模型候选项
- 在具体训练运行中生成、用于检查的模型。
- 已发布模型
- 具有固定权重及来源信息的已注册模型。其检查结果另行记录。
- 主模型
- 为具体数据集任务选择的已发布模型。在最终程序中使用需要单独启用。
- 模型应用配置
- 已完成模型的描述及其在具体任务或最终程序中的用途。
- 标定配置
- 经过计算及检查的相机参数。使用实际单位测量还需要适当的空间映射。
代码和 IDE
- Screph Code
- 用于代码文件、项目上下文、智能体对话和程序检查的内置智能体 IDE。
- 代码工作目录
- Screph Code 或外部编辑器使用的文件目录。对该目录的访问界定代码工作的范围。
- 脚本
- 具体的程序可执行文件。
- 编码智能体任务
- 包含请求及项目上下文并交给执行器的任务。交付、接受和完成表示不同阶段。
- 传递给 Code
- 为受支持的代码工具准备已保存的项目修订版本和任务。智能体开始工作由单独设置或显式发送决定。
工作目录包含准备好的材料和程序文件。教学示例展示其选择和查看。
智能体与对话
- 智能体
- 在 Screph 上下文中交互执行请求的参与者。可以制定计划,使用可用工具执行允许的操作。
- 智能体引擎
- 执行智能体任务并提供工具的组件。模型和执行环境分别配置。
- 对话
- 所选上下文中与智能体交流的持久化历史。
- 用户请求
- 包含文本及附件的请求。执行它可能需要智能体多次调用模型。
- 模型提示词
- 为模型准备的输入:指令、上下文和数据。可包含用户请求和其他消息。
- 计划步骤
- 智能体计划中的一个项目。
- 智能体操作
- 具有明确用途的读取、运行或更改。更改可能先作为建议显示,供检查。
- 智能体技能
- 执行特定工作的指令及相关材料。技能描述操作顺序;可用工具及权限另行定义。
运行与运行环境
- 场景
- 行为或操作序列的描述,例如自动化或检查场景。
- 运行配置
- 为具体执行准备的输入和设置。
- 启动
- 一次任务执行:运行计算机视觉流程、训练模型或执行脚本。
- 运行环境
- 包含所选执行类型依赖项的已安装环境。
- 运行环境组件
- “组件与环境”模块中的受管安装单元。操作就绪还取决于其其他要求。
- 依赖包
- 运行环境组件中的库或依赖包。
- 运行和检查
- 用于运行、观察执行和查看结果的 Runtime Workbench 工作区。可用操作取决于所选执行器。
- 结果
- 具体工作的数据:处理、训练、识别或程序运行结果。
- 证据
- 用于评估结果的验证帧、指标、日志及其他观察。
设置
- 设置
- 具有明确作用范围和应用时机的用户值。
- 配置
- 具体对象的一组一致值:运行、连接或环境。
- 设置配置
- 具有明确用途的具名设置集。连接配置和模型应用配置描述不同对象。
连接与语音识别
- 模型提供方
- 模型服务或访问实现。
- 连接配置
- 保存的访问及模型选择设置。在已配置连接列表中简称“连接”。
- 模型用途
- 为具体工作选择模型:处理、智能体或代码生成。单个对话的模型可能与默认模型不同。
- 帐户
- 特定服务上的身份及授权。Screph 账户和外部模型提供方账户分别管理。
- 语音识别
- 使用所选识别器将音频转换为文本。
- 识别文本
- 语音识别的文本结果,可用于标注或请求。
- 识别会话
- 从开始到结束的一次音频录制与语音识别会话。
- 识别日志
- 可供查看或导出的识别事件及结果序列。