如何设计时序数据表

时序数据表可以为您提高查询和存储性能,本文介绍如何根据时序数据的来源和场景建立时序数据表。时序数据示例 时序数据建模至关重要,需要仔细分析数据来源的特性和查询的场景,建立合理的数据表,以便达到最佳的存储和查询性能。以下图的...

数据引入层(ODS)

数据引入层表设计 本教程中,在ODS层主要包括的数据有:交易系统订单详情、用户信息详情、商品详情等。这些数据未经处理,是最原始的数据。逻辑上,这些数据都是以二维表的形式存储。虽然严格的说ODS层不属于数仓建模的范畴,但是合理的...

数据引入层(ODS)

数据引入层表设计 本教程中,在ODS层主要包括的数据有:交易系统订单详情、用户信息详情、商品详情等。这些数据未经处理,是最原始的数据。逻辑上,这些数据都是以二维表的形式存储。虽然严格的说ODS层不属于数仓建模的范畴,但是合理的...

基于MaxCompute实现拉链

案例介绍 数据表设计,本案例共设计2张数据表。交易下单源表:ods_order_d,用于存放业务库同步用来的每日增量数据。包含如下两个字段:id:业务主键订单ID。status:追踪变化的订单状态。交易下单事实表(拉链表):dwd_order,用于拉链...

模型设计

说明 关于表设计的更多信息,请参见 表设计。字段名称 类型 描述 vin_id(主键列)String 车辆识别代码,即车架号,用于唯一标识车辆。v_color String 车辆外壳颜色。license_plate_number String 车牌号码。mileage Double 当前里程数。...

代码模式建模

DataWorks目前仅支持通过FML语言将设计数据表物化至MaxCompute、Hologres及Hive引擎。FML语言将SQL中的关键字作为保留字,如果您的数据表数据表的列使用了关键字命名,则需要使用 `` 符号进行转义,否则创建表会产生报错。进入目标表的...

设计阶段

设计数据生命周期。企业应根据自身实际情况来进行设置,也可以参考如下数值:数仓分层 说明 ODS层 非去重数据:默认不保留。ETL临时表:保留14日。镜像全量表:重要数据建议采用极限存储。流水全量表:如果不可再生,则永久保存。DWD层 ...

如何高效地查询时序数据

背景信息 时序数据的模型请参见 如何设计时序数据表,数据是按照时间序列来进行组织的。所以在时序数据表中,所有标记 TAG 的列(标签列)会被建立为索引列,来表示每一条数据具体所属于哪个时间序列,从而显示数据的来源。以时序数据表为...

表设计规范

表设计主要目标 降低存储成本 合理的表设计可以降低数据分层设计上的冗余存储,减少中间表的数据量大小。对表数据的生命周期进行正确的管理,也能够直接降低存储的数据量及存储成本。降低计算成本 规范化的表设计可以帮助您优化数据的读取...

逻辑结构设计

数据管理DMS提供的结构设计功能,可以实现对目标库进行符合研发规范的结构设计。您可按需自定义不同业务线的研发流程,保障多套环境(例如开发环境、测试环境、生产环境)之间结构的一致性。本文介绍逻辑结构设计的方法。背景信息 分...

表设计最佳实践

数据量较大时,需确保同一个业务单元的数据使用分区表设计数据量较小时,需优化采集频率。流式数据写入 对于流式写入的数据,采集的通道通常较多,相关采集通道应该进行有效区分。在单个数据通道写入量较大的情况下,应该按照时间进行...

数据建模

创建时序数据表 创建时序数据表之前,需要先根据业务场景构建数据模型,相关内容,请参见 数据模型 和 如何设计时序数据表。时序引擎会创建倒排索引,在查询数据时,tag用来快速匹配时间线。除此以外,可以使用PRIMARY KEY来标识分片键,...

Tunnel命令常见问题

使用Tunnel Upload命令上传数据时,需要上传很多数据文件到一个中,是否有方法写一个脚本就可以把文件夹下的所有数据文件上传上去?使用Tunnel Upload命令上传数据时,如何实现批量上传一个目录下的多个文件到同一张,并且每个文件放在...

物流快递

的逻辑设计—邮件状态(t_fact_mail_status)要求:单日数据量约一亿记录。有15万机构或快递员,每个机构的邮件量为100到3000不等。存储30天的数据。为满足高QPS,从设计上采用大宽、冗余字段,并且避免关联。字段名 字段类型 说明...

明细数据层(DWD)

粒度(数据行数的最小单位,非统计粒度)的声明是事实表设计中不可忽视的重要一步。粒度用于确定事实表中一行所表示业务的细节层次,决定了维度模型的扩展性。在选择维度和事实之前,必须先声明粒度,且每个维度和事实必须与所定义的粒度...

公开与隐藏数据表资产

将编目的数据表资产公开后,可在发现查看及申请使用,同时,可通过隐藏数据表资产停止对外展示及申请使用。本文介绍如何公开与隐藏数据表资产。前提条件 已在运营模块中为数据表资产编目。背景信息 将数据建模中生成的数据表进行编目及公开...

公开与隐藏数据表资产

将编目的数据表资产公开后,可在发现查看及申请使用,同时,可通过隐藏数据表资产停止对外展示及申请使用。本文介绍如何公开与隐藏数据表资产。前提条件 已在运营模块中为数据表资产编目。背景信息 将数据建模中生成的数据表进行编目及公开...

权限操作审计

Dataphin支持对数据表、数据源的权限变更操作进行查看与审计,以此来判断授权、回收、交还等操作的合理性。本文为您介绍如何对数据表或数据源的权限操作进行查看和审计。使用限制 仅超级管理员、系统管理员和安全管理员支持权限操作审计。...

数据表

本文介绍如何进行我的数据表资产授权管理。前提条件 使用工作组管理员账号登录。已获取数据表资产“dws_ren_kh_demo_di(银行客户信息表)”,具体操作,请参见 数据表。操作步骤 登录 数据资源平台控制台。在顶部菜单栏,单击(我的资产)...

回收站列表

为防止对数据表的误操作,Dataphin支持将您删除后的数据表短期存留在回收站。同时Dataphin支持恢复或清除回收站中的数据表。本文为您介绍如何在回收站中清除表和恢复表。介绍页面 在Dataphin首页,单击顶部菜单栏的 资产。在 资产 页面,...

查看Dataphin数据表校验记录

Dataphin数据表校验记录用于记录质量规则校验Dataphin数据表的结果。本文为您介绍如何查看Dataphin数据表质量规则的校验记录。Dataphin数据表校验记录 在Dataphin首页,单击顶部菜单栏的 资产。按照下图操作指引,进入 Dataphin数据表 校验...

数据表

本文介绍如何查看我的数据表资产。前提条件 使用租户一般用户账号登录。已获取数据表资产“dws_ren_kh_demo_di(银行客户信息表)”,具体操作,请参见 数据表。操作步骤 登录 数据资源平台控制台。在顶部菜单栏,单击(我的资产)。在左侧...

申请数据表

本文介绍如何申请已公开的数据表资产。前提条件 已公开数据表资产“dws_ren_kh_demo_di(银行客户信息)”,具体操作,请参见 表资产。使用租户一般用户登录。操作步骤 登录 数据资源平台控制台。在页面左上角,单击 图标,选择 发现。在...

数据表

本文介绍如何查找已公开的数据表。前提条件 已公开数据表资产“dws_ren_kh_demo_di(银行客户信息)”,具体操作,请参见 表资产。操作步骤 登录 数据资源平台控制台。在页面左上角,单击 图标,选择 发现。在顶部菜单栏,单击 资产目录 在...

功能简介

通过我的资产清晰掌握可使用、可管理、已授权的数据表和数据服务API数据资产相关信息。功能特性 支持以用户的视角展示自有权限或申请授权成功的数据表、数据服务API资产。支持特定角色对数据表、数据服务API等数据资产进行管理。工作组管理...

添加体验空间数据库

查看已上传数据表详情,包括但不限于数据地图、数据量、数据表大小及项目引用情况。删除数据表 登录 DataV-Atlas控制台。在 数据中心 页面下方,单击数据库列表的 体验空间。在 public 文件夹下选择需要删除的数据表,单击当前数据表右侧的...

查看全域数据表校验记录

全域数据表校验记录用于记录质量规则校验全域数据表的结果。本文为您介绍如何查看全域数据表质量规则的校验记录。全域数据表校验记录 在Dataphin首页,单击顶部菜单栏的 资产。按照下图操作指引,进入 全域数据表 校验记录页面。参数 说明 ...

功能简介

通过我的资产清晰掌握可使用、可管理、已授权的数据表、标签和数据服务API数据资产相关信息。功能特性 支持以用户的视角展示自有权限或申请授权成功的数据表、标签、数据服务API资产。支持特定角色对数据表、标签、数据服务API等数据资产...

申请、续期和交还权限

已生效数据表权限 您可以在数据表 已生效 页签查看数据表基本信息及对数据表执行续期及交还操作。区域 描述 ① 筛选及搜索区 支持按照 到期日期、表类型、表环境、数据板块、表所在项目、账号类型 进行筛选。支持按照数据表的名称、表所在...

添加及管理监控对象

使用说明 仅Dataphin数据表和全域数据表支持配置质量分权重。说明 监控对象的质量分权重,用于统计项目、数据源、个人等视角的质量分。从不同视角查看Dataphin数据表质量规则 Dataphin支持从 全局、项目、个人 三个视角查看Dataphin数据表...

我的资产

通过我的资产清晰掌握可使用、可管理、已授权的数据表和数据服务API数据资产相关信息。通过不同的权限来源,用户可获取数据表、API等类型数据资产的使用权限。我的资产以用户的视角展示自有权限或申请授权成功的数据表、数据服务API数据...

审批数据表

本文介绍如何审批已被申请的数据表资产。前提条件 已申请数据表资产“dws_ren_kh_demo_di(银行客户信息)”,具体操作,请参见 数据表。使用工作组管理员账号登录。操作步骤 登录 数据资源平台控制台。在页面右上角,单击 图标,选择 系统...

结构设计

本文介绍如何设计 AnalyticDB MySQL版 的结构(包括选择类型、分布键、分区键、主键和聚集索引键等),从而实现性能的优化。选择类型 AnalyticDB MySQL版 支持复制和普通两种类型。在选择类型时,需要注意如下几点:复制会...

回收站

开启 PolarDB-X 1.0 表回收站功能后,通过 DROP TABLE 指令删除的表将被移动至表回收站中不再可见,数据表移动至回收站2小时后,即被自动清理,无法恢复。您可以在表回收站中查看、恢复、清理已删除的表。限制与说明 PolarDB-X 1.0 实例...

用户组权限管理

管理数据表权限 在数据表权限详情页面,您可以查看数据表基本信息及对数据表执行申请、续期及交还操作。区域 描述 ① 筛选及搜索区 支持快捷筛选 7天内到期 的数据表。您也可以单击 筛选 按钮,按照 表类型、数据板块、所属项目、表环境 ...

编辑数据

进入 查看数据表 面板,您可以修改数据表内的表头字段类型和字段名,具体请参见 选择数据表。编辑修改完数据表后,单击页面右下角的 下一步 即可进入 修改数据集 页面;单击 返回上一步 即可返回到 查看数据源 页面查看该数据表的创建方式...

资产权限审计

Dataphin支持对数据表、数据源的权限进行查看与审计,及时发现不合理的授权用户并处理,确保权限体系健康,防止权限泄露。本文为您介绍如何对数据表或数据源的权限进行查看与审计。使用限制 超级管理员、系统管理员和安全管理员支持导出...

授权与回收权限

数据表权限管理详情 在数据表权限管理页面,单击 管理权限 页签和 操作记录 页签,可查看数据表权限详情和操作记录详情。管理权限详情 您可以在数据表 管理权限 页签查看数据表基本信息及对数据表执行授权及查看权限操作。区域 描述 ① ...

数据表

本文介绍如何在数据表资产管理中,查看已物理化的数据表。前提条件 已将数据模型“dws_ren_kh_demo_di(银行客户信息)”,物理化到“dataq_odps_dev”云计算资源,具体操作,请参见 物理化逻辑表。操作步骤 登录 数据资源平台控制台。在...

查看我可管理的资产

查看可管理的数据表资产 在 我可管理的 资产列表页面,单击 数据表 页签,进入数据表资产页面,可查看当前已物理化的数据表资产。说明 首次使用 我可管理的 时,默认进入数据表资产页面。如果您已经在该菜单下,则可跳过此步骤。(可选操作...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 云数据库 RDS 数据传输服务 云数据库 Redis 版 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用