Screph 入门
安装 Screph,选择图像,创建标注,检查处理结果并保存项目。这些数据可用于代码开发、数据集准备或单独的执行场景。
第一个项目只需一张含有两个可辨识对象的图像,例如带有按钮和输入框的界面截图,或带有明显细节的物体照片。您将保存数据源、区域及其说明,然后重新打开项目并检查数据。
安装与首次启动
- 在下载页面选择可用的已发布文件,并按安装程序提示安装。具体构建的内容可能与所描述的功能不同。更新前备份重要项目及设置。
- 启动 Screph 并打开工作窗口。若应用程序位于系统托盘中,使用其中打开 Screph 的命令。打开工作窗口和屏幕快照是不同操作:下一阶段才选择来源。
- 在“通用设置”中检查语言、主题和程序模式。保留便于操作的工具配置,并启用提示。其他参数的位置见设置索引。
根据所选任务准备附加组件:依赖项与更新用于处理和训练,LLM 与语音连接用于模型请求和语音描述。手动标注的初始路径无需请求外部模型。
选择相应输入方式时,FakerInput 系统驱动和 Arduino 固件分别安装。准备步骤见“Windows 与权限”。
模式与工作任务
- General: 图像标注和通用计算机视觉操作。对于照片或单帧区域分析,可从这里开始。
- GUI Automation: 为独立的自动化场景准备界面数据。第一步只需目标窗口的图像;鼠标和键盘控制另行配置。
- Industrial 和 UAV 是实验性的专业流程,尚不具备可用于生产的控制功能。
模式决定可用的标注类型和操作。切换前保存项目;状态及限制见“程序模式”。对于视频,先熟悉单帧,再使用范围和序列。
工作窗口与新建项目
Selector 画布显示图像和标注。工具栏用于选择操作,信息面板显示所选对象的属性,底部选项卡可打开“采集”、“计算机视觉”等工作区域。如果面板被隐藏,可通过“视图”菜单恢复。
- 对于独立任务,点击工具栏上的“新建项目”。若当前项目有数据,选择保存、不保存继续或取消。新建项目会清除原有标注和帧状态,因此不能用它来添加下一个对象。
- 检查所选工具并阅读画布下方提示。提示有助于区分对象选择、区域创建、移动和调整大小。使用“视图 → 适配图像”可方便查看。
来源与所需帧
- 打开“捕获”,在“来源”分组中选择文件作为首个图像。添加自己的文件并等待加载完成:图像应出现在画布上。进行实际录制时,选择屏幕、窗口、显示器、相机或流,并在启动前检查来源参数。
- 对于视频或帧文件夹,在时间轴上选择所需帧。播放有助于查找时间点;标注前停止播放并检查帧编号和图像。录制、播放和单次快照执行不同操作。
- 确认对象完整可见、图像清晰且材料与任务相关。若需其他来源,在创建标注前替换。序列范围单独设置;选择一个帧并不表示选择全部帧。
录制、存储设置和帧导出见Capture 手册。更改来源和处理视频需要检查对象与图像及帧的关联。
第一个区域与对象属性
- 在工具栏上选择创建普通区域及矩形形状。框选图像中的第一个对象。画布上会出现边框,所选区域的属性可在信息面板中查看。
- 设置清晰的名称和描述:区域中是什么,以及它在任务中的作用。例如“确认按钮”和“确认已填写的表单”。检查对象类型;名称、形状和描述具有不同作用。
- 切换到选择与编辑。沿对象边界调整位置及大小,然后创建第二个区域。每次操作后,在属性面板中检查所选对象。错误更改可通过“编辑 → 撤销”取消。
文本描述可手动填写。语音标注需要已配置的语音识别;录制后在保存前检查文本。首个项目只需手动描述。
特征与处理区域
元素表示任务对象;特征描述其视觉特性或片段。细节重要时,选择所属元素并为它创建适当类型的特征。例如文字区域或物体的特征片段。在属性中检查特征的所属元素、来源和边界。
处理区域决定输入素材。首次计算只需在当前图像上创建普通区域。一个标注框位于另一个内部,不会自动构成层级:关系需要明确设置。
对象之间的关系
- 若两个对象在含义上有关联,使用关系工具并选择参与对象。对于领域关系,添加描述;对于层级,检查父元素和子元素。
- 选择创建的关系,检查类型及两个对象。打开信息面板中的图以查看结构。首个项目只需一条检查过的关系;几何上的接近不会自动创建关系。
形状、特征、分组、关系及描述见标注手册。这些详细操作可在保存首个项目后学习。
一个操作与结果检查
任务需要掩码、边缘、文字或匹配时才添加处理。手动标注不要求处理。初次了解时,在所选区域上使用一个可用的本地操作,例如边缘检测。
- 选择区域并打开“处理”。检查源图像和输入边界,选择操作并查看其参数。若组件不可用,先准备所标明的依赖项。
- 启动预览并比较原始图像和结果。更改一个参数并重新计算,以了解其影响。检查所选输出:图像、掩码和表格可能传递不同信息。
- 按需保存结果并附加到项目。若操作建议更改标注,单独检查几何、对象类型及是否重复,然后确认受支持的应用操作。查看和保存结果本身并不表示接受建议。
在“简化模式”中,普通区域已配置的处理会自动计算并保存。导航器显示计算进度、错误、过期结果和保存完成状态。请检查结果;修改标注的建议需要单独接受。
更改来源、帧或参数后重新计算。处理链、图和序列处理是计算机视觉手册的下一阶段;先在一份材料上检查一个操作。
保存与重新打开
- 检查来源、边框、名称、描述、关系参与对象及所需处理结果。打开“文件 → 保存设置…”以检查项目位置及所选配置。首个项目若暂不需要代码工作,选择不会自动启动智能体的配置。
- 通过“文件 → 保存项目”或 Ctrl+S 保存项目。等待写入完成并阅读结果消息。主项目保存及所选配置的后续操作有各自结果:传递给 IDE 的错误不能证明已保存数据丢失。
- 打开“文件 → 加载项目”或按 Ctrl+O。在管理器中选择已保存项目,检查其位置及信息,然后加载到 Selector。确认图像、标注、关系和附加材料重新可用。
- 备份时保存整个项目目录,包括图像、掩码和关联文件。移动后从新位置打开副本并检查内容;仅有主文件不能替代关联材料。
管理器还显示自动保存和读取问题。在执行“恢复自动保存”前,备份当前项目并检查所选记录。自动保存有助于恢复,但移动和备份需要经过检查的项目目录。
后续任务路径
- 代码工作。Screph Code 是内置的智能体 IDE。保存项目后,选择独立的工作目录,准备模型连接并检查请求中传递的材料。说明程序的预期操作和限制,然后检查回答及文件更改。手册介绍编辑器、聊天、执行器及访问模式。保存项目、传递上下文、请求智能体和运行生成的代码是不同阶段。
- 数据集。在“数据集与训练”选项卡中创建包含任务和类别的数据集,添加文件、Canvas 材料或选定的 Capture 帧。检查样本并分配标注。导入需要显式操作:更改主项目中的边框不会自动更新已保存的数据集样本。
- 训练。检查数据后,选择模型、参数及已准备的环境。“开始训练”首先准备真实样本的预览;检查后确认启动。随后查看指标和错误。模型文件、发布及允许交付给最终程序需要单独配置。
- 执行与输入。对于 GUI Automation,另行准备 Automation Runtime 场景、目标窗口和输入方式。运行前检查程序将执行的操作及所选执行器的权限。Windows 与权限介绍系统集成。智能体回答、标注或计算机视觉结果并不能证明最终程序可正常工作。
数据集、训练和 Screph Code 的详细路径见用户手册。Screph 项目、数据集、代码工作目录和执行结果作为不同材料保存;结束工作前检查每项所需结果。
教学演示
- 在“常规设置”中找到“教学演示”分组,选择主题或全部可用演示并开始播放。适合首先了解来源与 Capture、画布工具、关系及一个处理操作。
- 检查语言及现有旁白是否可用。声音、提示、角色和教学对白参数位于演示控制台。若需准备录音,等待准备结果或取消。
- 使用演示的暂停、继续和停止功能。教学路径结束后,在自己的项目中重复所需操作并检查保存结果。角色伴随演示;配置它不会在所有窗口中添加常驻助手。
多数演示打开独立的教学窗口。预先准备的智能体回答会标明其为准备内容:播放不是新的模型请求。本页的内嵌示例同样使用教学数据;其中的操作不会保存程序的主项目。
离线帮助
“文档”选项卡中的交互式帮助打开带有教学示例的网站页面,需要联网。“已保存帮助”模式可离线使用,包含目录以及入门、模式、Capture、标注和处理指南。网站不可用时,程序会切换到已保存帮助。帮助语言与应用程序语言一致。更新会下载相互一致的页面和插图;发生错误时保留原有内容。已保存帮助中的界面以图像呈现。