创建汇总表后,您需要为汇总表添加字段并配置取数逻辑,当使用ETL(萃取(Extract)、转置(Transform)及加载(Load))流程写入数据时,可以通过指定的取数逻辑获取对应字段的数据。

配置汇总表字段

汇总表的字段用于承载汇总表后续需要统计的数据信息,您可以通过如下步骤为汇总表添加字段。

  1. 新增字段。
    在目标汇总表的编辑页面,单击字段管理区域的新增1个字段新增5个字段,添加一个或多个字段。
  2. 配置字段信息。
    字段信息
    参数 描述
    字段编码 字段编码为汇总表显示的字段名称。
    字段名称 字段名称为对应字段的注释信息。后续配置汇总表的分区信息时,可以作为分区的名称。
    字段数据类型 字段数据的类型。取值如下:
    • BIGINT
    • DOUBLE
    • DECIMAL
    • STRING
    • DATATIME
    • BOOLEAN
    字段类型 汇总表中字段的类型,取值如下:
    • 关联指标:标识该字段用于存储指标数据。基础模式的汇总表,一个字段仅可以关联一个派生指标。高级模式的汇总表,一个字段可以关联多个派生指标,建议您一个字段只关联相同原子指标的派生指标。
    • 统计维度:标识该字段是用于关联到维度信息的。您需要为汇总表关联的所有维度配置一个对应的统计维度类型字段。用于后续使用维度取数逻辑消费数据时,可以根据配置的维度字段获取相应数据。
      说明 汇总表关联维度字段,详情请参见创建汇总表选择关联的周期及维度小节内容。
    • 统计时间:用于确定业务时间的时间精度。例如,yyyymmdd表示年月日的格式,业务时间会精确到某一天。后续在数据开发生成取数SQL语句时使用。
    • 属性:通常汇总表中会存在一些辅助您查看目标数据的冗余字段,您可以将该类字段配置为属性类型。例如,汇总表中的统计维度使用shop_code(商家编码),但为了方便查看数据,您可以将商家名称也冗余在汇总表里,此时,商家名称则可以配置为属性类型。
    约束 取值如下:
    • 主键:目标字段是否作为汇总表的主键。
    • 非空:目标字段的取值是否可以为空。
    状态 取值如下:
    • new:表示该字段为新建字段。
    • modify:表示正在编辑该字段。
    • error:表示该字段内容有误,您需要查看具体报错进行处理。
    说明 如果您不需要目标字段,则可以选择单击编辑列的删除,删除该字段。
    示例创建的汇总表字段如下。其中,区域1关联的维度字段course_code(课程号)需要绑定至区域2的统计维度字段class汇总表字段
  3. 可选:配置字段分区。
    建议您将创建的汇总表字段配置为不同的分区,方便您通过不同分区查看数据,分区字段名称为汇总表字段的字段名称
    1. 在目标汇总表的编辑页面,单击分区管理页签中的新增,选择分区字段名为已创建的汇总表字段名称。
      新增分区字段
  4. 单击保存,完成字段分区的配置。

配置取数逻辑

汇总表使用维度组合的形式来统计数据时,您必须为汇总表配置取数逻辑,使每一个指标可以有一个确定的SQL执行语句。当汇总表中通过ETL流程写入数据后,您可以通过配置的取数逻辑获取指定字段的数据。
说明
  • DataWorks为您提供了维度取数逻辑、时间周期取数逻辑、修饰词取数逻辑。当创建的汇总表为基础模式时,仅支持配置维度取数逻辑。当创建的汇总表为高级模式时,除了需要配置维度取数逻辑外,您还可以根据业务需求,额外配置时间周期取数逻辑及修饰词取数逻辑。查看汇总表的模式,详情请参见管理汇总表
  • 配置维度取数逻辑之前,您需要将汇总表所有关联的维度字段(即周期及维度区域配置的维度字段)都绑定至汇总表的字段中,即在字段管理区域创建类型为统计维度的字段,该字段的内容配置为周期及维度区域所关联的维度字段。汇总表关联维度字段,详情请参见创建汇总表选择关联的周期及维度小节内容。
  1. 在目标汇总表的编辑页面,单击右侧导航栏的取数逻辑
  2. 配置取数逻辑。
    • 基础模式
      基础模式的汇总表仅支持配置维度取数逻辑,您可以选择合适的组合模式及相关联的维度(图中的序号1)进行取数。维度逻辑
      组合模式 描述
      单一组合 选择该模式后,汇总表将按照关联的维度字段进行单一维度取数。该模式不支持通过维度字段之间排列组合生成组合维度。
      说明 汇总表关联维度字段,详情请参见创建汇总表选择关联的周期及维度小节内容。
      例如,汇总表关联了如下两个维度字段:
      • dim_stdnt_mgt_course(课程维度表)维度表的course_code(课程号)字段。
      • dim_stdnt_mgt_student(学生维度表)维度表的student_no(学号)字段。
      则使用单一组合模式取数时,仅支持通过course_code(课程号)字段,及student_no(学号)字段两个维度进行取数。
      自定义组合(grouping sets) 选择该模式后,汇总表可以按照关联的维度字段,进行自定义组合取数。同时,您还可以配置相关维度的过滤条件及空维度的默认值。
      每个汇总表关联一个维度字段,会产生2种维度粒度,关联n个维度字段,则产生的维度粒度为2的n次方。例如,汇总表关联了如下两个维度字段:
      • dim_stdnt_mgt_course(课程维度表)维度表的course_code(课程号)字段。
      • dim_stdnt_mgt_student(学生维度表)维度表的student_no(学号)字段。
      则使用自定义组合(grouping sets)模式时,您可以从如下四种维度组合中,选择一个或多个进行取数:
      • 无维度
      • course_code(课程号)字段
      • student_no(学号)字段
      • course_code(课程号)student_no(学号)字段
      全部组合(cube) 选择该模式后,汇总表将按照关联维度字段的所有维度组合进行取数。同时,您还可以配置空维度的默认值。
      每个汇总表关联一个维度字段,会产生2种维度粒度,关联n个维度字段,则产生的维度粒度为2的n次方。例如,汇总表关联了如下两个维度字段:
      • dim_stdnt_mgt_course(课程维度表)维度表的course_code(课程号)字段。
      • dim_stdnt_mgt_student(学生维度表)维度表的student_no(学号)字段。
      则使用全部组合(cube)模式时,将会使用如下四种维度组合进行取数:
      • 无维度
      • course_code(课程号)字段
      • student_no(学号)字段
      • course_code(课程号)student_no(学号)字段
    • 高级模式
      高级模式的汇总表可以通过关联维度(图中的序号1)、时间周期(图中的序号2)、修饰词(图中的序号3)等类别配置获取目标数据的取数逻辑。高级模式取数逻辑
      • 维度取数逻辑。

        您可以选择合适的组合模式及相关的维度进行取数。

        组合模式 描述
        自定义组合(grouping sets) 选择该模式后,汇总表可以按照关联的维度字段,进行自定义组合取数。同时,您还可以配置相关维度的过滤条件及空维度的默认值。
        每个汇总表关联一个维度字段,会产生2种维度粒度,关联n个维度字段,则产生的维度粒度为2的n次方。例如,汇总表关联了如下两个维度字段:
        • dim_stdnt_mgt_course(课程维度表)维度表的course_code(课程号)字段。
        • dim_stdnt_mgt_student(学生维度表)维度表的student_no(学号)字段。
        则使用自定义组合(grouping sets)模式时,您可以从如下四种维度组合中,选择一个或多个进行取数:
        • 无维度
        • course_code(课程号)字段
        • student_no(学号)字段
        • course_code(课程号)student_no(学号)字段
        全部组合(cube) 选择该模式后,汇总表将按照关联维度字段的所有维度组合进行取数。同时,您还可以配置空维度的默认值。
        每个汇总表关联一个维度字段,会产生2种维度粒度,关联n个维度字段,则产生的维度粒度为2的n次方。例如,汇总表关联了如下两个维度字段:
        • dim_stdnt_mgt_course(课程维度表)维度表的course_code(课程号)字段。
        • dim_stdnt_mgt_student(学生维度表)维度表的student_no(学号)字段。
        则使用全部组合(cube)模式时,将会使用如下四种维度组合进行取数:
        • 无维度
        • course_code(课程号)字段
        • student_no(学号)字段
        • course_code(课程号)student_no(学号)字段
      • 时间周期取数逻辑。
        说明高级模式的汇总表支持配置时间周期取数逻辑。
        当一个汇总表关联了多个时间周期时,则您需要为相应的时间周期配置过滤条件。例如,汇总表中配置了time_period字段,该字段的取值包含dayweekmonth等,该表关联了1d(近一天), 1w(近一周), 1m(近一月)三个时间周期,则您需要对相应的时间周期配置取数条件:
        • 1d(近一天):time_period='day'
        • 1w(近一周):time_period='week'
        • 1m(近一月):time_period='month'
        说明 当汇总表涉及的多个时间周期,仅仅是因为关联的派生指标包含的时间周期不同,则无需为时间周期配置过滤条件。
      • 修饰词取数逻辑。
        说明高级模式的汇总表支持配置修饰词取数逻辑。

        派生指标由原子指标+修饰词+时间周期组成,当您的汇总表关联了派生指标时,可能会包含多个修饰词,因此您需要为汇总表配置修饰词取数逻辑。例如,汇总表配置了性别(sex)字段,其关联的派生指标中包含女生修饰词,则您需要配置该修饰词的过滤条件为sex='girl'

  3. 单击保存,完成取数逻辑的配置。
    配置完取数逻辑后,您可以在目标汇总表的编辑页面,单击右侧导航栏的SQL预览,选择需要查询的派生指标维度组合,单击SQL预览,即可显示所选条件的SQL查询语句。您可以复制该语句进行开发使用。SQL预览

后续步骤

汇总表的字段信息及取数逻辑配置完成后,您需要将该表发布至目标引擎进行数据开发。发布汇总表,详情请参见发布汇总表