文档

创建文件数据源

更新时间:

Quick BI支持将本地的Excel文件和CSV文件上传至数据库中,作为文件数据源,满足您不断变化和增长的业务分析需求。本文介绍上传文件的入口、如何创建并修改文件数据源。

使用限制

限制说明

适用文件类型

单个文件表头必须放第一行,Sheet1不能有合并单元格。

Excel

单个文件列数不超过100列。

Excel和CSV

文件大小建议不超过50 MB。

若某文件为98列100万行,大小为80 MB,则需要拆成多个文件,以追加行的形式上传。

Excel和CSV

注意事项

上传文件时,需要注意以下几点:

  • 上传CSV文件时,建议您将CSV文件的格式转换为UTF-8格式

    UTF-8格式的CSV文件可以准确识别编码,GBK、GB2312格式的CSV文件的编码可能不能被智能识别出来,从而导致上传的文件为乱码。

  • 上传文件时,建议您使用Chrome浏览器。

  • 上传的文件中,列的类型根据前100行确定:

    • 如果前100行均为数字,则系统会识别此列为数值型。

    • 如果有1行为字符串,则系统会识别此列为字符串型。

    数值型字段不兼容字符串类型数据,字符串类型可以兼容数值型数据。

功能入口

请登录Quick BI控制台,并按照图示的任意一种方式,进入上传本地数据。

  • 在空间外资源入口快速创建

    image.png

  • 在数据源中上传本地文件

    • 当连接数据源为MySQL、MaxCompute(ODPS)、AnalyticDB for MySQL 3.0、SQL Server、PostgreSQL、Hologres、ClickHouse、AnalyticDB for PostgreSQL、PolarDB for MySQL、Oracle、Alibaba PolarDB分布式版(DRDS、Alibaba PolarDB-X)、PolarDB for PostgreSQL、PolarDB for Oracle(原PPAS)、Apache Doris、和StarRocks,且您拥有该数据源的读写权限时,可以上传本地文件至数据库中。image.png

    • 当没有可用的数据源时,您可以上传本地文件至探索空间,练习并体验Quick BI功能。image.png

      Quick BI各版本为用户免费提供的探索空间大小如下:

      • 高级版2GB

      • 专业版10GB

      • 个人版50M

        说明

        个人版可能出现空间不足的情况:

        • 空间本身上传超限,需要您自己清理该空间的数据。

        • 其他空间占用内存:比如当个人版用户试用高级版或专业版结束后,多个工作空间都上传了数据,最终购买了个人版时,只存在一个空间,但原先已经上传过的数据仍保留着,可能会出现空间不足的情况,此时,您可以根据提示确认清理其他探索空间数据。image

  • 数据集编辑页面上传本地文件image.png

  • 仪表板编辑页面上传本地文件image.png

    说明

    个人版不支持在仪表板编辑页面上传文件。

上传文件

支持上传本地Excel文件和CSV文件。

说明
  • 上传Excel文件时,仅支持上传第一个Sheet的内容。

  • 上传CSV文件时,CSV文件的格式推荐为UTF-8格式

  • 上传文件到探索空间会把数据存储在Quick BI服务上,上传文件到客户数据库会把数据存储在对应库中。

  1. 上传文件对话框,配置以下参数。image

    配置项

    说明

    请选择文件

    从本地上传CSV、XLSX或XLS格式文件。

    自定义文件名称

    上传文件后,系统会自动识别文件名作为自定义文件的名称,您可以修改文件名称。

    文件名称只能由中英文、数字及下划线(_)、斜线(/)、反斜线(\)、竖线(|)、小括号(())、中括号([])组成,不超过50个字符。

    物理表名

    文件上传至数据库后,在数据库中自动创建的表名称。您可以修改物理表名。

    物理表名只能由英文、数字和下划线(_)组成,长度不超过150个字符。

    说明

    当您上传文件至探索空间时,无需配置此参数。

    数据字段

    文件上传至数据库后,会以数据库表的形式存储,数据库字段名称字段类型为生成数据库表的字段名和类型,而文件字段名为上传文件的表头名,会变成数据库表的字段备注。您可以在文件上传时,修改文件字段名数据库字段名称字段类型image

  2. 单击保存,完成文件上传。

    当出现导入成功字样时,您可以在上传文件页签,看到上传的文件。image.png

    说明

    上传至探索空间时,需勾选数据来源承诺函并单击确定后才可成功上传。

更改上传文件

在完成第一次的业务数据文件上传后,如果由于业务变化,产生了新的业务数据文件,您可以将新文件写入到已有的文件数据源所对应的物理表中,实现对业务数据连贯的、长期的跟踪分析需求。image

操作项

应用场景

实现原理

说明

追加文件

由于业务增长,产生了新的业务数据文件,您可以将新文件追加到已有的文件数据源所对应的表中。

追加文件是在物理表中写入行。

  • 新追加或替换的本地文件类型可以与历史上传的文件类型不相同。

  • 已有CSV文件,如果需要追加或替换Excel文件中的某个Sheet下的数据时,只要保持新数据文件的字段名和字段数据类型与历史上传数据文件的字段名和字段数据类型一致即可。

  • 在完成第一次的业务数据文件上传后,新追加或替换的文件字段顺序及数据类型需跟原来保持一致。

替换文件

由于业务变更,新的业务数据需要取代旧的业务,您可以更换旧文件。

更换文件是在物理表中更换行和列。

删除文件

如果追加的某个业务数据文件存在脏数据,您可以在表对应的上传文件列表中删除有脏数据的文件。则该业务数据文件的内容会自动同步至下游仪表板,从而确保业务数据分析结果的精确性。

删除文件是在物理表中删除行。

添加字段

由于分析需求的维度不同,您需要在物理表中增加新的字段。

添加字段是在物理表中写入列。

删除字段

由于分析需求的维度变化,您需要在物理表中删除字段。

删除字段是在物理表中删除列。

上传后的CSV文件字段内容为乱码,该如何操作?

目前UTF-8格式的CSV文件可以准确识别编码。GBK、GB2312格式的CSV文件的编码一般也能智能识别出来,但是某些特殊情形下,可能不能被智能识别出来,需要转换编码格式为UTF-8。

  1. 记事本工具打开一个CSV文件。

  2. 选择另存为

  3. 单击编码的下拉箭头。

  4. 编码列表中,选择UTF-8

    转换格式

本地文件数据源学习示例

销售数据的结构如下表所示。

字段名称

字段类型

字段描述

order_id

varchar

订单编号

report_date

datetime

订单日期

customer_name

varchar

客户名称

order_level

varchar

订单等级

order_number

double

订单数量

order_amt

double

订单金额

back_point

double

折扣点

shipping_type

varchar

运输方式

profit_amt

double

利润金额

price

double

单价

shipping_cost

double

运输成本

area

varchar

区域

province

varchar

省份

city

varchar

城市

product_type

varchar

产品类型

product_sub_type

varchar

产品小类

product_name

varchar

产品名称

product_box

varchar

产品包箱

shipping_date

datetime

运输日期

  • 本页导读 (0)
文档反馈