画布 + 内置 IDE
在图像上定义对象、特征和关系。Screph Code 提供带代码智能体的编辑器、终端和程序运行控件。
从图像帧到程序
在同一环境中使用标注、处理和代码工具。各阶段均可由智能体参与，操作和结果可在界面中检查。
| 阶段 | 程序内操作 | 结果 |
|---|---|---|
| 1. 画布 | 选择帧、标注对象，并手动或通过智能体创建特征和关系。 | 图像以及需要查找、读取或比较内容的描述。 |
| 2. 计算机视觉 | 无需编写代码即可用现成模块组装处理流程，设置参数、预览步骤并在其他帧上验证。 | 处理流程及其结果：掩码、轮廓、文本或检测到的对象。 |
| 3. Screph Code | 开发者或代码智能体添加程序逻辑、编辑文件并检查运行情况。 | 用于重复处理、使用处理结果和执行操作的代码。 |
排查错误需要多种样本，包括不含目标对象的帧。单张图像上的成功结果不能保证在其他图像上同样准确。
Screph 已有的工具
帧捕获、标注、处理和代码编辑器通过同一项目关联，每个阶段都有对应的工作面板。
| 任务 | 在 Screph 中的处理方式 |
|---|---|
| 获取验证用图像帧 | 从文件加载图像和视频，或捕获屏幕、窗口和摄像头画面。使用时间轴选择帧。 |
| 描述对象和搜索区域 | 直接在画布上标注几何形状、特征、描述和关系。智能体可以创建和编辑这些内容。 |
| 无需编写代码即可组装处理流程 | 使用现成的处理操作模块，设置参数并预览各步骤结果。智能体可协助组装和修改流程。 |
| 将识别结果接入程序逻辑 | Screph Code 使用项目材料。编辑器、对话、终端和运行输出位于同一工作区。 |
| 为自己的任务添加工具 | 通过插件添加自定义面板和命令，通过 Python 操作实现自定义算法。 |
查找零件：标注、处理与代码
围绕同一张图像的演示：描述对象、比较计算机视觉操作和编写查找程序。
对象、搜索区域与参照物
在图像上指定搜索区域、选取零件样本并标注独立的视觉参照。调整标注框，检查移动后的撤销效果，并将样本与参照关联。描述保留各标注区域的用途。
正在加载...
比较两个处理流程
先使用单独的 Canny 操作提取边缘，结果中同时可见零件和点状噪声。然后运行 Median Blur → Canny 处理链并比较掩码。预先平滑可以去除多余边缘，同时保留零件轮廓。
正在加载...
代码与验证样本
在 Screph Code 中打开包含标注、指令和处理材料的预置项目，然后查看智能体任务和三种情况的验证结果：零件位于原处、发生移动或不存在。网页演示中的智能体回复和运行结果已预先准备好。
正在加载...
功能与工作路径
单独打开地图
Screph 工具之间的关联
此图展示采集、Canvas 标注、计算机视觉和程序开发与智能体、模型训练及其他任务之间的联系。
正在加载图形…
模块之间的关系
每个图标代表一项操作。高亮连线连接采集、Canvas、计算机视觉和 Code，相关工作区位于旁边。将鼠标悬停在图标上可查看说明。
悬停查看说明 · 拖动平移 · 滚轮缩放 · 空格暂停
在 Screph 中使用自定义工具
插件可向程序工作区添加自定义面板和命令。可借助内置智能体创建插件，并从个人文件夹加载。自定义图像处理可使用 Python 操作。
从任务描述到扩展
“扩展 → 与智能体创建”命令会准备包含开发套件的文件夹和任务草稿。请求提交后，智能体会创建扩展；连接扩展是单独的操作。
示例中，智能体创建一个面板，按边框较长边的像素长度筛选零件。双滑块设置尺寸范围，将六个零件先筛选为三个，再筛选为两个。插件设置在独立窗口中打开。
界面演示
浏览器中的 Screph 工作窗口
演示展示在 Canvas 上标注零件、配置计算机视觉、智能体分析帧以及将项目交给 Screph Code 的过程。这是浏览器中的教学界面，使用预置数据说明操作步骤，不会运行您的文件、模型或设备。
工具与项目数据
工作面板用于获取帧、描述对象、配置处理和开发程序。现成操作通过可视化界面设置，自定义逻辑通过代码添加。
- 捕获与时间轴
- 图像、视频和实时来源
导入文件和帧序列，捕获屏幕、窗口或摄像头画面。选择帧进行标注和处理验证。
- Canvas 画布
- 对象、特征与关系
矩形、椭圆和多边形；搜索区域、模板和颜色特征。描述和关系保留标注的含义。
- 计算机视觉
- 处理操作模块与预览
颜色处理、滤波、轮廓、OCR，以及检测和分割模型。现成模块无需编写代码即可连接成处理流程；预览显示中间结果和最终结果。
- Screph Code
- 带有代码智能体的内置 IDE
文件、编辑器、对话和终端。编写代码时可使用项目材料，程序可以运行并查看输出。
在界面中查看智能体的操作
智能体使用 Screph 内置工具，创建与用户手动操作相同的对象：标注、特征、关系和处理流程。这些对象可以在程序中打开、检查和编辑。
标注与关系
根据图像提出标注框建议，创建和编辑元素、搜索区域及特征。移动、对齐、重命名和关联对象。
处理流程
智能体使用处理操作模块组装处理链和处理图。计算机视觉面板中可查看流程、参数和各步骤结果。如需自定义处理，智能体可以为单个步骤编写 Python 代码。
项目与程序
保存项目、操作已打开的文档并将任务交给 Screph Code。在 IDE 中，代码智能体结合选定的材料编写和编辑程序。
需要配置模型连接并具备所需工具的访问权限。图像传输和操作确认受访问设置控制；分析帧需要支持图像的模型。
单帧或一组样本
对象、文本或状态
查找图标、读取数值、按颜色分离零件或比较图像帧。选定的处理流程可在其他样本上重复运行，并结合图像和各步骤结果分析错误。
使用自己的样本训练模型
标注图像、类别和掩码，准备数据集并启动训练。支持分类、检测和分割任务；需要兼容的模型和训练环境。
Screph 正在开发中。状态页面说明各项工具的就绪情况和当前限制。
程序功能
界面和工具
画布、捕获、计算机视觉、智能体、Code 和设置。可打开开发中版本的完整截图。
工具栏
对象类型和标注框形状分别选择：元素、特征或区域；矩形、椭圆、多边形或套索。
选择多个标注框
选择工具可以将多个标注框加入临时选择集合。Ctrl 单击可将对象加入选择集合或从中移除。
信息面板
“图”和“树”选项卡显示对象及其关系。图有助于查看标注结构。
计算机视觉配置
“流程构建”区域用于选择处理操作或处理链。例如，Median Blur 在 Canny 检测边缘之前去除点状噪声。
重新计算和保存
“运行并保存”使用当前参数计算结果。保存的处理结果与标注分别保留。
图像直方图
图像检查器显示各通道的像素值分布。直方图帮助您在配置计算机视觉之前评估图像。
采集面板
“来源”区域用于选择帧来源、录制方式和采集区域。这些设置决定进入工作流程的图像。
对象特征
表格显示图像片段、掩码、特征预览及其状态。可以在此打开文件或重新保存。
智能体对话
通过请求字段和“附加 Canvas 帧”按钮向智能体提问。获得回复需要先配置模型连接。
数据集准备
“下一步”区域提供创建或选择数据集以及打开高级设置的入口。训练前需要先准备样本。
画布缩略导航图
缩略导航图显示完整图像和可见区域的位置，帮助您在放大画布时定位。
播放控制
导航、播放和停止按钮控制帧浏览。旁边可以设置播放速度和循环播放。
时间轴缩放
“−”和“+”按钮用于调整缩放比例。“适应窗口”和“适应帧”帮助选择合适的时间轴视图。
图筛选器
“归属”和“关系”复选框控制对象图中两类关系的显示。
数据集操作
附近提供创建数据集、添加数据和打开教学示例的操作。可用操作取决于选定的数据集。
项目资源管理器
文件夹和文件树帮助查找项目材料。搜索文件时，筛选字段可以缩小列表范围。
运行代码
“运行”、“停止”和“重复”按钮位于同一区域，用于控制已准备代码的执行。
输出和终端
编辑器下方的选项卡用于切换输出、终端和计划。工作面板位于已打开文件旁边。
FAQ
开始第一个任务之前
需要预先掌握编程和计算机视觉吗？
标注和现成操作的配置可通过界面完成。智能体可协助选择处理方式和编写代码。自定义逻辑和集成可能需要编程；结果需用任务样本验证。
使用智能体需要连接什么？
在设置中选择语言模型连接。分析图像需要支持图像的模型以及发送当前帧的权限。部分计算机视觉操作需要相应的模型和计算组件；具体要求见文档。
Screph 如何使用代码？
Screph Code 包含编辑器、项目文件、代码智能体聊天和终端，可在其中启动和停止程序。选定的图像、标注和计算机视觉结果为代码智能体提供上下文。
需要连接互联网吗？
标注、项目保存和经典处理操作可以在本地完成。连接云端智能体、使用语音服务、下载模型及部分集成功能需要互联网。
项目是否上传到云端？
项目和图像存储在本地。请求材料仅在配置的访问范围内传给云端模型。图像和文件的传输由独立权限控制。
是否需要安装额外组件？
OCR 需要识别引擎和语言包。基于模型的操作需要权重文件及兼容的计算环境。所需组件取决于选定的操作。