创建文件数据源

Quick BI支持将本地的Excel文件和CSV文件上传至数据库中,作为文件数据源,满足您不断变化和增长的业务分析需求。本文介绍上传文件的入口、如何创建并修改文件数据源。

使用限制

文件类型

限制说明

Excel

  • 系统默认将上传文件的首行识别为表头行,第二行开始识别为要上传的数据。您也可以根据实际情况,在预览数据页面调整标题行。

  • 最多支持5个Sheet的解析和上传,如果您需要上传超过5个Sheet的内容,请拆分为多个Excel文件上传。

  • 单个Sheet列数不能超过100列。

  • 文件大小建议不超过50 MB。例如:某文件为98列100万行,大小为80 MB,则需要拆成多个文件,以追加行的形式上传。

CSV

  • 单个文件列数不超过100列。

  • 文件大小建议不超过50 MB。例如:某文件为98列100万行,大小为80 MB,则需要拆成多个文件,以追加行的形式上传。

注意事项

上传文件时,需要注意以下几点:

  • 上传CSV文件时,建议您将CSV文件的格式转换为UTF-8格式

    UTF-8格式的CSV文件可以准确识别编码,GBK、GB2312格式的CSV文件的编码可能不能被智能识别出来,从而导致上传的文件为乱码。

  • 上传文件时,建议您使用Chrome浏览器。

  • 上传的文件中,列的类型根据前100行确定:

    • 如果前100行均为数字,则系统会识别此列为数值型。

    • 如果有1行为字符串,则系统会识别此列为字符串型。

    数值型字段不兼容字符串类型数据,字符串类型可以兼容数值型数据。

功能入口

请登录Quick BI控制台,并按照以下任意一种方式,进入上传本地数据。

  • 在数据源中上传本地文件

    您需要拥有目标数据源的读写权限,并使用支持文件上传功能的数据源。请参见数据源功能项列表查看具备文件上传功能的数据源。image

  • 在数据集编辑页面上传本地文件image

上传文件

上传文件界面中,上传并配置需作为数据源使用的本地文件,支持上传的文件类型包括Excel文件和CSV文件。本例以上传销售样例数据Excel文件为例,进行说明。

说明
  • 上传Excel文件时,最多支持上传5个Sheet的内容。如果您需要上传超过5个Sheet的内容,请拆分为多个Excel文件上传。

  • 上传CSV文件时,CSV文件的格式推荐为UTF-8格式

  1. 文件上传页面,点击或将文件拖拽至上传区域,完成后将自动跳转至预览数据页面。112

  2. 预览数据页面中,您可以预览以下信息,并进行相关调整操作。image

    展示内容

    配置内容

    配置操作

    区域 ①

    上传文件的Sheet数量及标题

    切换Sheet

    单击页签切换Sheet以预览不同Sheet中的数据内容,数据内容(即区域)会随着页签的切换而相应调整。

    重命名Sheet

    双击Sheet名称以根据实际业务意义重命名当前Sheet,默认读取本地文件中的Sheet名称。

    说明

    Sheet名称不允许使用特殊字符,且前后不能包含空格。

    修改Sheet选中状态

    点击Sheet名称前的image图标,调整该Sheet的选中状态。默认为选中,取消勾选后,该Sheet将不会被上传。

    说明

    至少需要选中一个Sheet,否则将无法完成文件上传操作。

    Sheet快捷操作

    点击页签栏右侧image图标,在下拉列表中可以选择需要对Sheet进行的快捷操作。image

    • 仅选择当前Sheet:仅当前Sheet为选中状态,即文件上传后,仅有当前Sheet的数据内容。

    • 选择全部Sheet:选中页签栏中展示的所有Sheet,即文件上传后,包含全部Sheet的数据内容。

    • 排除当前Sheet:取消当前Sheet的选中状态,即文件上传后,将不包含当前Sheet的数据内容。

    区域 ②

    上传文件在不同系统中的名称

    展示名称

    上传文件在Quick BI系统中的展示名称。当上传文件时,系统会自动识别文件名称,并作为该文件在Quick BI系统中的展示名称,您可以根据实际需求自定义修改。

    说明

    展示名称不允许使用特殊字符,且前后不能包含空格。

    物理表名称

    文件上传至数据库后,在数据库中自动创建的表的名称,您可以根据实际需求自定义物理表名称。image

    说明
    • 物理表名只能由英文、数字和下划线(_)组成,长度不超过150个字符。

    • 当将文件上传至探索空间时,不需要配置该字段。

    区域 ③

    上传文件的标题行

    标题行

    您可以在此修改当前Sheet的标题行,点击刷新按钮即可生效。

    说明
    • 输入的数字需为大于0的整数。

    • 请确保标题行中没有空字段,否则将触发报错。

    区域 ④

    上传文件的数据内容

    数据预览

    在数据预览页签下预览数据内容,并进行以下操作。

    • 修改字段名称:单击字段名称输入框,修改字段名。

    • 修改字段类型:点击字段类型图标,在下拉列表中选择合适的字段类型。支持的类型包括文本、数值、日期。image

    字段详情

    在字段详情页签下配置文件字段名数据库字段名称字段类型

    文件上传至数据库后,会以数据库表的形式存储,数据库字段名称和字段类型为生成数据库表的字段名和类型,而文件列名为上传文件的表头名,会变成数据库表的字段备注。

    image

  3. 单击页面底部确认并上传按钮,在提示弹窗中可查看每个Sheet页的上传进度。image

  4. 完成文件上传后即可点击返回数据源列表,查看已上传的文件数据源。image

修改上传文件

在完成第一次的业务数据文件上传后,如果由于业务变化,产生了新的业务数据文件,您可以追加、替换新文件,或删除不再需要使用的旧文件,实现对业务数据连贯的、长期的跟踪分析需求。

单击目标文件右侧的image图标,进入修改文件上传界面,您可以在此进行以下操作。image

配置内容

配置操作

展示名称

当前文件在Quick BI系统中的展示名称,支持自定义修改。

说明

展示名称不允许使用特殊字符,且前后不能包含空格。

数据预览

展示数据

追加历史面板中切换需要查看的文件

修改字段

  • 修改字段名称:单击字段名称输入框,修改字段名。

  • 修改字段类型:点击字段类型图标,在下拉列表中选择合适的字段类型。支持的类型包括文本、数值、日期。image

    说明

    只有当查看的文件为整体数据时,才支持修改字段。

字段详情

修改字段

  • 修改字段名称:单击文件列名输入框,修改字段名。

  • 修改字段类型:点击字段类型下拉选择框,在下拉列表中选择合适的字段类型。支持的类型包括文本、数值、日期。

  • 删除字段:点击目标字段操作列image图标,删除该字段。

    说明

    只有当查看的文件为整体数据时,才支持修改字段。

添加字段

单击表格右上方添加字段按钮,在添加字段弹窗中维护新增字段的信息,点击确定完成添加。

说明

只有当查看的文件为整体数据时,才支持添加字段。

image

  • 字段展示名称:待添加字段在Quick BI平台上的展示名称。

  • 物理字段名:待添加字段在数据库物理表中的名称。

  • 字段类型:支持文本、数值、日期。

追加历史

查看追加历史

追加历史面板中以列表形式展示了追加文件,您可以通过点击文件卡片查看对应的追加内容。

追加文件

由于业务增长,产生了新的业务数据文件,您可以将新文件追加到已有的文件数据源所对应的表中。具体操作请参见追加文件

替换文件

由于业务变更,新的业务数据需要取代旧的业务,您可以更换旧文件。具体操作请参见替换文件

删除文件

如果某个业务数据文件存在脏数据,您可以在表对应的上传文件列表中删除有脏数据的文件。具体操作请参见删除文件

追加文件

当在原有文件内容的基础上产生了新的业务数据,您可以继续追加文件内容,以确保业务数据的实时性与完整性。具体操作说明如下。

  1. 登录工作台 > 数据源页面,在上传文件列表中找到目标文件,点击文件名称(③)或操作栏image图标(④)。image

  2. 在跳转的修改文件上传页面中,点击右侧追加按钮。image

  3. 追加文件面板中,点击或将追加文件拖拽至红框区域上传。image

    说明
    • 仅支持单Sheet追加文件,如果您上传的文件有多Sheet,请在预览页选择对应的Sheet并上传。

    • 新追加的本地文件类型可以与历史上传的文件类型不相同,但需保证字段名、字段数据类型和字段顺序一致。例如:已有CSV文件,如果需要追加Excel文件中的某个Sheet下的数据时,只要保持新数据文件的字段名、字段数据类型和顺序与历史上传数据文件一致即可。

    • 请确保新追加文件的字段列与原始文件中的字段完全一致。如果有需要新增的字段,请先在整体数据中添加字段后再上传。image

  4. 数据预览页面中预览数据内容,切换至需要追加到原文件中的Sheet页签,点击确认并上传image

  5. 成功后即可在追加历史面板中查看到追加的文件。image

  6. (可选)如果您需要替换已追加的文件,在追加历史面板中点击待替换文件右侧的image图标,即可进入替换文件界面进行相关操作。image

替换文件

当原有文件需要更换部分数据,其他数据仍然有效时,您可以将新数据替换到现有数据源中,以保持数据的准确性。具体操作说明如下。

  1. 修改文件上传页面的追加历史面板中,选中待替换文件,点击卡片中的image图标,或点击数据表格右上方替换数据按钮。image

  1. 替换文件页面中,点击或拖拽新文件至红框区域进行上传。image

    说明
    • 仅支持单Sheet替换文件,如果您上传的文件有多Sheet,请在预览页选择对应的Sheet并上传。

    • 新文件的类型可以与历史上传文件的类型不相同,但需保证字段名、字段数据类型和字段顺序一致。例如:已有CSV文件,如果需要替换为Excel文件中的某个Sheet下的数据,只要保持新数据文件的字段名、字段数据类型和顺序与历史上传数据文件一致即可。

    • 请确保新文件的字段列与原始文件中的字段完全一致。如果有需要新增的字段,请先在整体数据中添加字段后再上传。image

  2. 数据预览页面中预览数据内容,切换至需要替换原文件的Sheet页签,点击确认并上传image

  3. 点击确认并上传,成功后即可在追加历史面板中查看到替换的文件。image

删除文件

当您不再需要使用某个业务数据文件,或该文件存在脏数据时,您可以在修改文件上传追加历史面板中,选中并删除对应的文件。image

本地文件数据源学习示例

销售数据的结构如下表所示。

字段名称

字段类型

字段描述

order_id

varchar

订单编号

report_date

datetime

订单日期

customer_name

varchar

客户名称

order_level

varchar

订单等级

order_number

double

订单数量

order_amt

double

订单金额

back_point

double

折扣点

shipping_type

varchar

运输方式

profit_amt

double

利润金额

price

double

单价

shipping_cost

double

运输成本

area

varchar

区域

province

varchar

省份

city

varchar

城市

product_type

varchar

产品类型

product_sub_type

varchar

产品小类

product_name

varchar

产品名称

product_box

varchar

产品包箱

shipping_date

datetime

运输日期

常见问题

1. 上传后的CSV文件字段内容为乱码,该如何操作?

目前UTF-8格式的CSV文件可以准确识别编码。GBK、GB2312格式的CSV文件的编码一般也能智能识别出来,但是某些特殊情形下,可能不能被智能识别出来,需要转换编码格式为UTF-8。

  1. 记事本工具打开一个CSV文件。

  2. 选择另存为

  3. 单击编码的下拉箭头。

  4. 编码列表中,选择UTF-8

    转换格式