使用内置算子建一个简单的数据处理任务

本文为您介绍了如何在自动驾驶数据管理中使用内置算子构建一个简单的自动驾驶云上数据预处理流程。

本文内容的视频教程

以上视频介绍建立一个简单数据处理任务的流程。

创建任务数据源(云资源管理)

  1. 首先在右上角单击“云资源管理”。

  2. 在创建云计算资源表单中,填写需要使用的云资源信息后进行确认,关键参数说明如下:

  • 自定义云计算资源标识及名称;

  • 选择授权产品、资源存储类型为OSS,在OSS账户中查看自己的Endpoint、Bucket等对应参数信息后填写至表单。

  • 什么是OSS的endpoint/bucket以及如何获取AccessKey,您可参考OSS的帮助文档

image.png

图1 配置OSS数据源示例

创建数据处理任务

在创建好云计算资源后,可创建数据处理任务,数据处理任务中数据源来自于刚刚所创建的云资源,具体步骤如下:

  1. 在任务流列表中点击“添加任务”按钮添加数据处理任务。

  2. 在画布区域从系统节点中拖入对应计算节点,该节点将弹出右侧弹框,配置对应信息。各节点属性介绍可参考任务配置

  3. 重复操作2,直到您所需的计算节点都在画布中,通过连线将不同的节点串联起来。

  4. 点击画布顶端区域的部署,任务将会按照您配置的调度周期运行。

  5. 如您是手工调度的任务,或需要临时执行一次任务,直接点击画布顶端区域运行按钮。

lQLPJxbC0SYZxMDNAjDNAkmwfsCoOYE87LcDQEEj5cAdAA_585_560.png

图2 画布中的任务连线示例

查看任务日志

任务创建成功后,您可以在任务运维模块查看任务的运行日志。

  1. 在列表中找到您的任务名称

  2. 点击任务日志按钮

  3. 在弹出的任务日志页面中,查看运行日志

image.png

检索数据

任务创建成功后,您可以在数据检索中查找任务产生的数据集。

  1. 在左侧的数据集目录中,找到您刚才创建的任务

  2. 点开任务名称,列表将以执行时间的方式区分展示任务不同次执行的结果

  3. 在执行时间的下级目录下,即任务不同节点产出的数据集目录。点击该目录,即可在右侧主面板中查看该数据集的所有数据文件。

image.png

备注:详细检索步骤可见数据检索