Skip to content

轻度评估

适用于注册社区和付费计划

注册社区用户和所有付费计划均可获得简单评估。

什么是轻度评估?

在构建工作流时,您通常希望用一些示例进行测试,以了解其性能并进行改进。在工作流开发的这个阶段,查看每个示例的工作流输出通常就足够了。设置更正式的评分或指标所带来的好处还不足以证明这样做的合理性。

轻量级评估允许您通过工作流程逐个运行测试数据集中的示例,并将输出写回数据集。然后,您可以逐个检查这些输出,并直观地将它们与预期输出(如果有)进行比较。

工作原理

需要 Google 表格

评估使用 Google 表格存储测试数据集。要使用评估,您必须配置Google 表格凭据

轻度评估在工作流程的“编辑器”选项卡中进行,但您可以在“评估”选项卡中找到有关如何进行设置的说明。

步骤:

  1. 创建数据集
  2. 将数据集连接到工作流
  3. 将工作流输出写回数据集
  4. 运行评估

以下说明将使用为传入的支持票分配类别和优先级的示例工作流程。

AI 工作流程示例

1. 创建数据集

创建一个 Google Sheet,其中包含一些工作流程示例。您的 Sheet 应包含以下列:

  • 工作流输入
  • (可选)预期或正确的工作流程输出
  • 实际输出

将实际输出列留空,因为您将在评估期间填充它们。

支持票证分类工作流的示例数据集
支持票证分类工作流程的示例数据集

2. 将数据集连接到你的工作流程

插入评估触发器来提取数据集

每次运行评估触发器时,它都会输出代表数据集一行的单个项目。

点击评估触发器左侧的“全部评估”按钮,将按顺序多次运行您的工作流程,数据集中的每一行都会运行一次。这是评估触发器的一种特殊行为。

在连接触发器时,您通常只想运行一次。您可以通过以下方式实现:

  • 将触发器的“要处理的最大行数”设置为 1
  • 单击触发器上的“执行节点”按钮(而不是“全部评估”按钮)

将触发器连接到您的工作流程

现在,您可以将评估触发器连接到工作流的其余部分,并引用其输出的数据。至少,您需要在工作流的后续部分使用数据集的输入列。

如果您的工作流程中有多个触发器,则需要将它们的分支合并在一起

连接评估触发器
添加并连接了评估触发器的支持票分类工作流程。

3. 将工作流输出写回数据集

在评估运行时填充数据集的输出列:

  • 插入评估节点的“设置输出”操作
  • 在生成您正在评估的输出后,将其连接到您的工作流程
  • 在节点的参数中,将工作流输出映射到正确的数据集列
连接设置输出节点
添加并连接了“设置输出”节点的支持票分类工作流程。

4. 运行评估

点击评估触发器左侧的“执行工作流”按钮。该工作流将执行多次,数据集的每一行执行一次:

执行工作流按钮

查看 Google Sheet 中每次执行的输出,并根据需要使用工作流的“执行”选项卡检查执行详细信息。

一旦你的数据集包含足够多的样本,请考虑基于指标的评估,以获得性能的数值视图。另请参阅技巧和常见问题