创建并管理数据集

数据集作为数据源和可视化展示的中间环节,承接数据源的输入,并为可视化展示输出数据表。通常IT人员、数据研发人员或数据分析师等需要数据加工处理时使用。Quick BI中数据集是可视化分析的基础,您可以将需要分析的数据表创建为数据集,Quick BI支持可视化配置或自定义SQL方式创建数据集。

在数据集管理中,您可以对数据集(数据源中的表或通过SQL创建的数据集)关联、二次数据处理分析、编辑或重命名等操作。

流程

前提条件

您已获取数据,请参见连接数据源

功能入口

  1. 在Quick BI产品首页,通过以下入口,进入创建数据集页面。

    入口一:在空间外资源入口创建数据集。

    image.png

    入口二:在空间内资源列表上快速创建数据集。

    image.png

    入口三:在数据集列表页新建数据集。image.png入口四:在数据源列表页,单击目标数据表右边的image图标创建数据集。image.png入口五:在数据源列表页,单击SQL创建数据集image.png

  2. 进入数据集创建页面。image

构建模型

在数据分析时,当需要分析的数据存储在不同的表,您可以通过数据关联,把多个表连接起来,形成模型进行数据分析。

说明

API数据源仅支持同源关联;仅支持以抽取连接方式的API数据源互相关联。

Untitled

构建模型并关联数据的更多操作,请参见构建模型

配置字段

构建好模型后,Quick BI会自动预览数据,并解析出维度和度量字段,用于后续的数据分析。

您可以编辑字段名称、字段类型、数值或日期默认展示格式等。

配置入口

  • 在字段列表区,鼠标悬浮至目标字段,单击①并配置字段。

  • 在数据预览区,鼠标悬浮至目标字段,单击②并配置字段。

image

功能说明

操作

说明

编辑

修改维度/度量显示名以及备注信息。

  • 各个日期粒度字段支持配置默认日期展示格式

    • 日粒度

      • YYYY-MM-DD(例:2020-01-06)

      • YYYYMMDD(例:20200106)

      • YYYY/MM/DD(例:2020/01/06)

      • YYYY年M月D日(例:2020年1月6日)

      • 中文YYYY年M月D日(例:二〇二〇年一月六日)

      • MMDD(例:0106)

      • MM-DD(例:01-06)

      • MM/DD(例:01/06)

      • M月D日(例:1月6日)

      • DDMMYY(例:06012020)

      • MM/DD/YY(例:01/06/2020)

    • 周粒度

      • YYYY-W周(例:2020-02周)

      • YYYYMMDD~YYYYMMDD(例:20200106~20200112)

      • YYYY/MM/DD~YYYY/MM/DD(例:2020/01/06~2020/01/12)

      • YYYY-W周(MMDD~MMDD)(例:2020-02周(0106~0112))

      • 中文YYYY年第W周(例:二〇二〇年第二周)

      • MM/DD~MM/DD(例:01/06~01/12)

      • MMDD~MMDD(例:0106~0112)

    • 月粒度

      • YYYY-MM(例:2020-01)

      • YYYYMM(例:202001)

      • YYYY/MM(例:2020/01)

      • YYYY年M月(例:2020年1月)

      • 中文YYYY年M月(例:二〇二〇年一月)

      • M月(例:1月)

    • 季粒度

      • YYYY-Q季度(例:2020-01季度)

      • YYYYQ(例:2020Q1)

      • YYYY年第Q季度(例:2020年第1季度)

      • 中文YYYY年第Q季度(例:二〇二〇年第一季度)

      • FYYYYY-Q(例:FY2020-Q1)

      • YYYY财年Q(例:2020财年Q1)

      • YYYY财年第Q季度(例:2020财年第一季度)

    • 年粒度

      • YYYY(例:2020)

      • YYYY年(例:2020)

      • 中文YYYY年(例:二〇二〇年)

      • FYYYYY(例:FY2020)

      • YYYY财年(例:2020财年)

  • 度量字段支持配置默认值显示格式、单位换算方式。

隐藏

隐藏字段后,仪表板、电子表格等分析功能使用这个数据集时,不会出现这个字段。

维度/度量类型切换

设置字段类型。支持日期(源数据格式)、地理信息、文本、数字、图片。

  • 日期字段则可以配置源数据格式。

    例如您的源数据格式为20210101,则选择YYYYMMDD。该格式会用于后续分析中查询控件传入的日期格式。

    当目标字段为日期字段,且您需要更改仪表板中日期显示格式,请选择目标字段并在字段编辑页面设置日期显示格式。

  • 当目标字段为省份、城市等地理字段,且该字段用于制作地图图表时,请选择目标字段对应的地理粒度并设置为地理信息。

  • 图片

    • 图片URL链接

      当目标字段为图片字段(图片字段的存储方式为图片链接URL),且该字段用于制作交叉表、排行榜或翻牌器时表板中展示为图片,请设置该字段为图片类型。

      说明

      图片URL链接必须是HTTPS开头的链接,不支持HTTP。

    • 图片文件上传

      当目标字段为图片字段(图片字段的存储方式为图片文件上传,例如:数据填报上传的图片),该方式会自动将图片文件转化成可在数据集以及后续报表中展示和使用的类型。

      请参见图片上传

日期属性

支持公立自然年财年

当选择财年时,可以选择财年开始于几月。

  • 财年开始于

    您可以根据实际需求,选择财年开始于几月。

    image

    说明
    • 例如设置财年开始于4月,则2023年4月1日~2024年3月31日为FY24,此时年环比、季环比和季同比的计算逻辑不同于公历自然年,具体请参见同环比

    • 财年年份与结束日期所在的公历年保持一致。

      • 若财年开始于1月:2024年1月~2024年12月为2024财年,FY24

      • 若财年开始于2月:2024年2月~2025年1月为2025财年,FY25

  • 周开始于

    说明

    支持自定义周(周开始时间)的数据源请参见数据源功能项列表

    您可以根据实际需求,选择周开始于周几。

    image单击注册函数可实现日期函数的自动注册。image

    • 若没有该数据库“写”权限,将无法使用自动注册函数功能,您可以尝试手动下载函数脚本并在对应数据源上运行。

    • MaxCompute、Presto、Hive、Apache Doris等数据源不支持自动注册,需要手动下载函数脚本并在对应数据源上运行。

同步日期粒度

仅支持同步日期字段。

当您误删除部分日期粒度字段时,您可以单击同步日期粒度,系统自动将源数据的全量日期粒度的字段同步至数据集。

说明

v3.7.3版本或者v3.7.3版本之前创建的数据集没有ymdhms字段,可通过同步日期粒度添加。

复制

快速复制一个字段,生成的维度将会自动带上副本以做提示。

转换为度量/维度

将当前维度字段转换为度量字段,度量字段转换为维度字段。

默认聚合方式

仅支持配置度量字段的默认聚合方式。

仪表板分析时,默认以数据集中配置的聚合方式为准。

默认展示格式

仅支持配置度量字段的数值展示方式(整数/百分比等)。

仪表板分析时,默认以数据集中配置的展示格式为准。

空值展示样式

  • 维度字段支持设置空值或空字符串的展示样式。

    • 空值

    • 字符串

  • 度量字段支持设置空值的展示样式。

说明

自定义展示空值只能由中英文、数字及下划线、斜线、反斜线、竖线、小括号、中括号组成,不超过150个字符。

新建层级结构

仅维度字段支持基于当前维度创建层级结构。

层级结构:例如省、市、区,可以将这三个字段设置为一个层级结构,在仪表板中配置下钻时,可自动基于层级结构进行下钻。关于下钻的操作更多详情请参见钻取、联动和跳转

移动到

快速将维度移动到已有层级结构或者文件夹中。

排序

设置默认排序方式。

仪表板分析时,默认以数据集中配置的排序为准。

删除

删除字段。

删除字段后,当您需要找回该字段时,可以单击画布中的表,在右侧面板中选择并添加该字段即可。

选中字段拖动调整顺序

支持拖动单个或多个字段调整顺序或移动到其他文件夹内。

Untitled

说明
  • 多选时不支持选中层级结构,包括日期层级结构。

  • 多选时不支持选中日期层级结构中的字段(不支持单独拖动)。

注意事项

当该字段被用于计算字段、分组维度、过滤条件中,不支持修改字段类型、维度或度量转换、删除。

批量配置字段

当需要编辑的字段较多时,您可以批量配置字段。

  1. 在字段列表区,单击批量配置

  2. 您可以同时选择多个字段,并在页面底部修改字段配置。image

    配置项

    说明

    空值展示样式

    支持匹配设置空值展示样式。

    转换为度量/转换为维度

    当多选的字段全部为维度字段时,支持批量转换为度量。

    当多选的字段全部为度量字段时,支持批量转换为维度。

    隐藏和取消隐藏

    支持批量隐藏或取消隐藏字段。

    删除

    支持批量删除字段。

    使用描述为字段名称

    支持批量使用描述为字段名称。

分组维度

当数据表中字段需要加工后才能用于数据分析,您可以使用分组维度和计算字段功能。

分组维度用于将维度值分组的场景,例如对省份字段分组,划分出几个大区;客户年龄分组,划分出0~18岁、19~40岁、40岁以上等。

  1. 在数据预览页面,单击新建分组维度

  2. 新建分组字段页面,按照以下步骤配置后,单击确定

    image.png

    保存配置后,数据集中增加1个维度字段,按照配置将分组名称填入该列中。image.png关于分组维度更多操作请参见分组维度

新建计算字段

说明

API直连数据源不支持新建计算字段。

当您分析的数据并不能直接从数据表中获取,而需要基于原始数据进行一定的加工时,可以新建计算字段。

Quick BI支持丰富的字段计算,帮助您灵活的处理数据:

  • 聚合:例如通过客户名称统计客户数为COUNT(DISTINCT [客户名称])

  • 四则运算:例如计算客单价为[成交金额] / [客户量]

  • 字符的分割与合并:例如将省份和城市拼接在一起为CONCAT([省份], [城市])

  • 复杂分组:例如客户等级,满足一定条件则定义为VIP客户为CASE WHEN [成交金额]>1000 AND [成交笔数]>5 THEN 'VIP' ELSE '普通' END

关于计算字段更多信息请参见新建计算字段

  1. 在数据预览页面,单击新建计算字段

  2. 新建计算字段页面,配置参数后,单击确定

    1. 输入字段名称。

    2. 点击引用函数点击引用字段,编辑字段表达式。

      在编辑表达式时,您需要关注以下几点:

      • 您也可以在表达式编辑框输入[唤出列表来插入度量字段名称。

      • 表达式中输入的括号均为半角括号。即,在英文输入法中输入的括号。

      • 函数请使用各个数据源支持的函数。

        数据源支持的函数可查看配置面板右侧函数列表,或查询该数据源类型支持的函数。

    3. 选择数据类型字段类型后,单击确定

      image

新建文件夹

您可以按照图示步骤在维度和度量上新建文件夹。

image

过滤数据

当您在数据分析时并需要部分数据时,您可以添加数据过滤,过滤需要的数据。

配置多个字段过滤,满足所有条件的数据会过滤留下用于后续分析。image

在数据集中设置过滤条件。数据集过滤条件设置

自定义SQL

说明

API数据源不支持自定义SQL。

您可以通过以下3种自定义SQL的方式创建数据集。

  1. 通过以下任一入口创建数据集。

    • 入口一:在数据源页面,单击右上角的SQL创建数据集image.png

    • 入口二:数据集新建页面,在左侧面板选择数据源,画布中没有任何数据表时,单击画布中的使用SQL代码创建第一张表image

    • 入口三:数据集编辑页面,选择SQL代码创建表。

      image

  2. 在弹框中输入SQL代码,单击运行

    image

  3. 试跑新建SQL代码,确认无误后,单击确认编辑

    如需编辑代码,您可以将鼠标悬浮至画布的表上,单击编辑代码。或者单击画布上的目标表,在右侧的面板中,单击编辑代码

    image

    Quick BI SQL代码支持占位符,更多场景和帮助请查看自定义SQL

占位符管理

您可以单击数据集编辑页上方菜单栏中image.png图标,进行占位符管理。

说明

API直连数据源不支持占位符。

image

配置项

说明

变量名

占位符的名称,可自定义修改。

类型

占位符的类型,分为表达式占位符和值占位符,类型不支持修改。

变量类型

支持文本、数值、日期-年、日期-年季、日期-年月、日期-年周、日期-年月日、日期-年月日时分秒。

查询默认值

默认值生效范围支持仅数据集全局生效两种模式:

  • 仅数据集:只在数据集编辑页生效。

  • 全局生效:在仪表板、电子表格等下游也生效。

输入框输入最多150个字符。

说明

表达式占位符的默认值需填写完整的表达式,比如:area = "东北"。

操作

支持删除占位符。

新建占位符

支持新建占位符。

image

具体操作及使用场景请参见占位符

HINT语句

您可以单击数据集编辑页上方菜单栏中image图标,按照图示步骤设置HINT语句

image

请参见数据源功能项列表,查看支持设置HINT语句的数据源。

说明
  • 数据表跨源关联时不支持设置HINT语句。

  • 最多支持设置20条HINT语句。

  • sql创建数据集时,若修改HINT语句,需重新运行sql代码获取数据。

  • 输入内容长度限制在50个字符以内,只允许输入英文、数字、下划线、点。

问数配置

当您需要进行智能问数时,需要进行数据集的问数配置。

重要

智能问数属于增值模块,当前在邀请测试阶段,如需试用,请您联系商务运营同学。

image

具体操作请参见与智能助手对话

切换数据源

如果做了数据库迁移,您可以使用切换数据源功能,将数据集对应的数据表从一个数据源切换至另一个。

例如把数据从MaxCompute同步到了ADB,但之前已经基于MaxCompute的数据表制作了数据集及仪表板,您可以单击切换数据源,Quick BI会自动改为新的数据源的同名表,请确保该数据源中有相应的同名表。

因不同数据源的语法支持差异,变更后请检查计算字段是否正确。image