通过SQL加工创建离线数据集

前提条件

创建离线数据集前需先创建数据集所归属的标签项目。更多信息，请参见创建标签项目。

操作步骤

1. 在Dataphin首页，单击顶部菜单栏的标签 > 标签工作台。

2. 在顶部菜单栏中，选择项目。

3. 在左侧导航栏中选择数据准备 > 离线数据集。

4. 在离线数据集页面，单击新增数据集。在新增离线数据集对话框中，选择SQL加工。

5. 在新建SQL加工配置页面，配置数据集的基本信息、加工逻辑和运维配置。

   • 基本信息

     参数	描述
     数据集名称	填写数据集的名称信息。支持中文、英文、数字、下划线（_），64个字符以内。
     数据集code	离线数据集的唯一标识。在存在相同离线数据集名称时，可帮助您定位具体离线数据集。必须以字母开头，允许小写英文字母、数字、下划线（_），64个字符以内。
     数据集更新方式	支持周期更新与手动更新方式。 周期更新：在一定时间间隔内自动更新数据集。 手动更新：通过手动操作方式更新数据集。
     负责人	请选择该离线数据集的负责人。
     描述	填写离线数据集的简单描述，1000个字符以内。

   • 加工逻辑

     参数	描述
     加工逻辑（SQL）	请输入对数据源进行加工的SQL代码。SQL代码说明如下： 通过SQL加工的方式构造主体与指标间的映射关系。 SELECT查询至少存在两个字段。 系统通常会把第一个字段解析为主体，例如，SQL中的subjectId；后续的若干字段解析为指标，例如，indicatorA和indicatorB。若解析主体标识不准确，您可以通过下方指标定义处进行调整。 支持跨项目表加工，可使用物理表和逻辑表。物理表名格式为项目英文名.项目下物理表名；逻辑表名格式为数据板块英文名.逻辑表名。 SELECT subjectId, indicatorA, indicatorB FROM project_en_name.source_table WHERE ds = ${bizdate};
     指标配置	填写完加工逻辑后，您需要单击指标解析，解析SQL的指标配置列表。 实体ID-值类型：选择实体ID的字段以及值类型，将用于标签加工时实体ID的自动映射。仅支持长整型和字符串。 指标搜索：支持输入指标名称或描述搜索指标。 配置码表：支持整型、Decimal(M,0)、布尔型及字符串类型字段配置码表。 单击进入配置码表对话框。 在配置码表对话框中，配置相关参数。 配置码表：默认为不配置，可以选择码表为指标配置对应码表。 码表来源：目前仅支持手动配置。 码表名称：请输入码表名称。支持中文、英文、数字及特殊字符，128个字符以内。 码表描述：请输入码表的简单描述，1000个字符以内。 代码信息：支持单个输入和批量输入，最多支持500组。 单个输入：单击添加代码值，输入代码值和代码名称，均不得为空且必须唯一，此外，代码值的类型需要符合指标的值类型。可单击删除当前行。 批量输入：单击批量输入，可以在批量输入代码信息对话框中，批量输入代码值及代码名称，每组按行分割，代码值和代码名称中间用半角冒号（:）分隔。单击点击识别后，系统将自动解析批量输入框的代码信息并填入代码信息列表。 一键清除：单击一键清除，系统将自动清除信息列表。 单击确定，完成代码值配置。 说明 批量输入代码信息时，若存在重复的代码值或代码名称，单击确定后，系统将自动定位至第一个错误行。 操作：单击可删除当前指标。

   • 运维配置

     说明

     若数据集更新方式为手动更新，无需进行配置。

     1. 调度周期

        • 计划更新时间：支持按天的某一时刻进行调度。即任务每天自动运行一次，您可以根据需要指定运行的时间点。

        • 调度运行计划：单击预览，调度运行计划中按照所配置的调度周期和条件调度，展示当前调度任务某个月每一天的所有调度实例及其调度类型，预览日期类型可选择按照业务日期或运行日期（调度日期）。

          若一天内所有实例有多个调度类型状态，则按颜色展示所包含的所有调度类型状态，并展示每个调度类型状态名称及其对应的实例个数。例如，下图中展示为某月4日，当前调度任务有44个正常调度实例、2个暂停实例和12个空跑实例。

          鼠标悬浮在某天的调度类型模块上，可查看当前调度任务当日的详细调度实例列表，包含调度类型、调度条件和条件名称。

        • 条件调度：可设置多组调度条件，系统按照从上往下的顺序评估条件，命中条件后即执行相应调度，并终止后续所有调度条件的评估。未命中任何条件时，则执行默认调度配置。更多信息，请参见条件调度规则说明。

          重要

          条件调度仅在调度类型为正常调度时生效。

     2. 调度依赖

        调度依赖即节点间的上下游依赖关系，在Dataphin中，上游任务节点运行完成且运行成功，下游任务节点才会开始运行。

        • 自动解析

          系统将根据任务血缘自动解析上游依赖节点并做关联，数据更新将依赖上游数据产出。

          说明

          • 若自动解析的结果不符合预期。您可以单击关闭生效按钮，关闭后表示不选择依赖该节点。

          • 默认本周期依赖。

        • 添加依赖

          若自动解析无法解析出调度依赖关系或自动解析生成的上游依赖配置与实际应用不符时，您可以手动添加节点的上游依赖。

          单击添加依赖，选择添加物理节点或逻辑表节点，在弹出的对话框中选择一个或多个目标物理节或逻辑表节点后，单击确定。

          说明

          • 若未购买智能研发版，则仅支持添加物理节点依赖。

          • 手动添加依赖后，再次单击自动解析，此时若生成的解析节点与手动添加的依赖节点一致，系统将自动进行覆盖操作。

        • 编辑依赖

          在调度依赖列表中，单击目标上游依赖表操作列的图标，在弹出的对话框中可修改依赖周期、依赖策略和依赖字段（仅逻辑表节点支持修改）。依赖配置及说明，详情请参见配置离线任务调度依赖、调度依赖场景规则与示例。

          单击目标上游依赖表操作列的图标，可删除对应依赖节点。

6. 单击保存并发布，完成离线数据集的创建。

   说明

   保存成功后，您可以单击数据预览。系统将根据配置的加工逻辑展示对应数据信息，以帮助您验证加工逻辑是否正确。

后续步骤

完成离线数据集的创建和配置后，您可以为离线数据集创建对应的离线标签。更多信息，请参见离线标签。