什么是DataWorks

从2009年起,DataWorks不断沉淀阿里巴巴数据建设方法论,支撑数据中台建设,同时与数万名政务、央国企、金融、零售、互联网、能源、制造、工业等行业的客户携手,不断提升数据应用效率,助力产业数字化升级。产品架构 DataWorks十多年...

添加处理后数据数据管理

数据处理后,需要将处理后的数据添加到数据管理中,以便被用于数仓建设、标签管理等数据中台任务。本文以倾斜数据处理后为例,介绍如何添加处理后数据到数据管理。前提条件 已新建数据处理任务,具体操作,请参见 新建数据处理任务。操作...

产品优势

多场景支持:支持离线数仓搭建、数仓提速、离线数据分析、数据中台搭建、规模数据集成、离线计算、异构数据集成等。低门槛:近乎零代码,简单配置连线后即可满足各项离线数据集成任务,同时任务支持复杂调度。基于资产的虚拟湖:配合数据...

数据服务

背景信息 数据服务提供了数据中台建设过程中的数据服务化能力,面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力;面向数据资产管理者提供服务的统计分析、服务用量统计分析,实现数据中台...

添加入库任务

入库后,方便对空间数据库进行空间检索、数据质检、血缘记录,打通数据计算引擎链路,使得空间数据被用于数仓建设、标签管理等数据中台任务。本文主要介绍如何添加入库任务。前提条件 已添加文件类矢量数据,具体操作,请参见 添加文件类...

功能简介

数据中台建设过程中,搭建核心处理平台,并根据相关标准要求,将源数据或治理后的数据,按照“全面、高效、统筹”的共享原则,“低延时”、“精准化”地传递给用户,方便更多应用消费数据,实现数据价值。协同管控各种组织机构,为智慧化...

空间数据(邀测

数据处理 支持倾斜数据处理能力,可以将OSGD格式数据转化为S3M数据,再将处理后的数据添加到数据管理中,以便被用于数仓建设、标签管理等数据中台任务。支持对数据处理任务进行管理。支持查看数据处理任务详情,包括任务的基本信息、处理的...

功能简介

数据处理 支持倾斜数据处理能力,可以将OSGB格式数据转化为S3M数据,再将处理后的数据添加到数据管理中,以便被用于数仓建设、标签管理等数据中台任务。支持对数据处理任务进行管理。支持查看数据处理任务详情,包括任务的基本信息、处理的...

统一服务

数据中台建设过程中,搭建核心处理平台,并根据相关标准要求,将源数据或治理后的数据,按照“全面、高效、统筹”的共享原则,“低延时”、“精准化”的传递给用户,方便更多应用消费数据,实现数据价值。协同管控各种组织机构,为智慧化...

功能简介

数据中台建设过程中,搭建核心处理平台,并根据相关标准要求,将源数据或治理后的数据,按照“全面、高效、统筹”的共享原则,“低延时”、“精准化”地传递给用户,方便更多应用消费数据,实现数据价值。协同管控各种组织机构,为智慧化...

应用场景

构建数据中台,行业领域模型快速沉淀 场景:快速构建数据仓库,有效治理数据质量,实现政企客户各部门数据的业务协同和共享。痛点:以政务服务为例,政务服务部门众多,业务系统复杂、流程长,数据来源多且更新频率高;数据口径标准、数据...

创建Impala数据

通过创建Impala数据源能够实现Dataphin读取Impala的业务数据或向Impala写入数据。本文为您介绍如何创建Impala数据源。背景信息 Impala是用于处理存储在Hadoop集群大量数据的SQL查询引擎。如果您使用的是Impala,在导出Dataphin数据至...

步骤二:规划数仓

数仓规划是基于Dataphin建设数据中台的第一步,同时也是数据体系的顶层设计中至关重要的一步。在开始数据开发前,需要完成数据仓库的规划,包括定义数据板块、项目、数据源、计算源和统计周期。本文将指导您完成本教程的规划数仓。背景信息...

创建Impala数据

通过创建Impala数据源能够实现Dataphin读取Impala的业务数据或向Impala写入数据。本文为您介绍如何创建Impala数据源。背景信息 Impala是用于处理存储在Hadoop集群大量数据的SQL查询引擎。如果您使用的是Impala,在导出Dataphin数据至...

区域热力层(v1.x版本)

标注 标注字段:区域的标注字段,需要与地理数据中字段名称匹配。颜色:标注的颜色,请参见 颜色选择器说明 进行修改。阴影色:标注的阴影色。字体:标注的字体系列。说明 请选择系统中的字体,如果您的系统中没有所选的字体,标注会使用...

区域热力层

填充颜色:设置数据中最大、最小及为空的 value 值对应区域的填充颜色。边线样式:区域热力层各区域边线的颜色。文本样式:区域热力层各区域文本标注的字体系列、文本粗细、字号、颜色、文本描边粗细和描边颜色,请参见 颜色选择器说明 ...

区域热力层

无值:系统在获取区域热力边界数据时,如果缺少了某个区域的数据(当区域热力图数据中没有对应的地理边界数据中的adcode值时),这个区域的颜色就会展示为无值的颜色。面透明度:区域面的透明度。边线颜色:区域边界线的颜色,请参见 颜色...

数据服务概述

数据服务(OneService)是基于Dataphin建设数据中台的最后一步。数据服务作为统一的数据服务出口,实现了数据的统一市场化管理,有效地降低数据开放门槛的同时,保障了数据开放的安全。前提条件 已购买 数据服务 增值服务,开通Dataphin ...

数据服务概述

数据服务(OneService)是基于Dataphin建设数据中台的最后一步。数据服务作为统一的数据服务出口,实现了数据的统一市场化管理,有效地降低数据开放门槛的同时,保障了数据开放的安全。前提条件 已购买 数据服务 增值服务并且当前租户已...

区域热力层

无值:系统在获取区域热力边界数据时,如果缺少了某个区域的数据(当区域热力图数据中没有对应的地理边界数据中的adcode值时),这个区域的颜色就会展示为无值的颜色,请参见 颜色选择器说明 进行修改。仅在关闭只显示边界开关时展示。面...

将云消息队列 Kafka 版的数据迁移至MaxCompute

在数加(一站式大数据平台),DataWorks控制即为MaxCompute控制。MaxCompute和DataWorks一起向用户提供完善的数据处理和数仓管理能力,以及SQL、MR、Graph等多种经典的分布式计算模型,能够更快速地解决用户海量数据计算问题,有效...

客户案例

打造离线实时一体化数据中台,构建统一、完整的数据应用链路,服务内部几核心业务。全链路数据治理提高数据可用性,让数据在中台进行自由流动,保证数据准确、准时、一致,成本削减1亿元。提高业务迭代效率,数据更新频率由1天变成10...

大数据安全治理的难点

通常,大数据系统的工作流涉及多部门、多责任人且跨系统的数据,如何才能协调好这些业务系统准时、保质保量地产出数据,避免出现因业务系统宕机/脏数据导致数据延时产出、产出脏数据,关乎到企业数据业务的连续性问题甚至高层的信任问题...

功能特性

安全管控 功能集 功能 功能描述 参考文档 实例管理 数据库配置 在DMS创建或删除数据库,调整数据库的Owner、字符集或校验规则。资源分组 支持将多个数据库环境、引擎类型相同的数据库绑定成为一个分组。当使用SQL变更、结构设计时,DMS会...

手动添加数据

您可以通过 数据库备份DBS 的手动添加数据源功能,将不同环境的数据库添加至 数据库备份DBS ,便于后续对数据源进行管理与备份。费用说明 添加数据源操作不会产生费用,只有在添加数据源后开启备份才会产生费用。如何开启备份,请参见 ...

区域热力层

无值 系统在获取区域热力边界数据时,如果缺少了某个区域的数据(当区域热力图数据中没有对应的地理边界数据中的adcode值时),这个区域的颜色就会显示为 无值 的颜色。边线配置 参数 说明 颜色 区域边界线的颜色。宽度 区域边界线的宽度。...

DataWorks数据服务对接DataV最佳实践

在大屏中调用数据服务API 进入DataV控制台中的 我的可视化 页面,单击 新建可视化。选择一个模板,单击 创建,本文以 智能工厂 模板为例。模板中的组件自带了静态数据,下文将以把模板中间的基本折线图改为调用上文创建好的查询成交金额...

清除数据

操作步骤 说明 在 参数设置 中禁用 FLUSHALL 命令不会影响控制台中 清除数据 功能。访问 Tair实例列表,在上方选择地域,然后单击目标实例ID。在 实例信息 页面,单击右上角的 清除数据。在弹出的对话框中,选择待清除的对象:图 1.清除...

清除数据

操作步骤 说明 在 参数设置 中禁用 FLUSHALL 命令不会影响控制台中 清除数据 功能。访问 Redis实例列表,在上方选择地域,然后单击目标实例ID。在 实例信息 页面,单击右上角的 清除数据。在弹出的对话框中,选择待清除的对象:图 1.清除...

路网轨迹层

最大宽度:路网轨迹层线的最大宽度,通过数据中的value字段来控制轨迹线的粗细。轨迹长度:运动轨迹线的长度。速度:轨迹线的运动速度。最大值颜色:数据中value值最大的线的颜色,请参见 颜色选择器说明 进行修改。最小值颜色:数据中...

路网轨迹层

最大宽度:路网轨迹层线的最大宽度,通过数据中的 value 字段来控制轨迹线的粗细。轨迹长度:运动轨迹线的长度。速度:轨迹线的运动速度。最大值颜色:数据中 value 值最大的线的颜色,请参见 颜色选择器说明 进行修改。最小值颜色:数据中...

热力线层

最大宽度:热力线的最大宽度,通过数据中的value值来调整线的宽度。渐变速度:热力线层渐隐渐显的速度,值越则速度越快。最小值颜色:数据中value值最小的线的颜色。最大值颜色:数据中value值最大的线的颜色,请参见 颜色选择器说明 ...

热力线层

最大宽度:热力线的最大宽度,通过数据中的 value 值来调整线的宽度。渐变速度:热力线层渐隐渐显的速度,值越则速度越快。最小值颜色:数据中 value 值最小的线的颜色。最大值颜色:数据中 value 值最大的线的颜色,请参见 颜色选择器...

查看与减少数据备份

本文介绍如何在DBS查看备份数据大小,同时提供减少备份的方法。查看备份大小 备份大小=全量数据备份的大小+增量数据备份的大小 登录 DBS控制。单击左侧导航栏的 备份计划,然后在上方选择目标地域。单击目标备份计划名称,进入 备份...

OSS数据安全防护最佳实践

智能化:运用大数据和机器学习能力,通过智能化的算法,对敏感数据和高风险活动,诸如数据异常访问和潜在的泄漏风险进行有效识别和监控,并提供修复建议。提供定制化的敏感数据识别能力,便于客户自定义识别标准,实现精准识别和高效防护。...

新零售:特步

业务架构 客户价值 基于 PolarDB-X+RDS的分布式数据库解决方案+业务中台提升客户数据链路的时效性以及客户业务系统的吞吐能力,使订单、库存、商品、销售的数据能实时从业务端到业务中台再到报表系统做销售业务决策。基于 PolarDB-X+RDS的...

Github实时数据同步与分析

在弹出的试用 云原生大数据计算服务 MaxCompute 产品的面板配置 开通地域 为 华东2(上海),其他参数保持默认。勾选服务协议,单击 立即试用,并根据页面提示完成试用申请。申请DataWorks独享数据集成资源组免费试用 进入 DataWorks按量...

表设计规范

分区数量和数据量建议 建议单个分区数据量不要太。应尽量避免分区数据倾斜,避免单个表不同分区的数据量差异超过100万。分区设计时应合理规划分区个数,较细粒度的分区在跨分区扫描时会影响SQL的执行性能。单个分区中数据量较的...

什么是Dataphin

Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出,一站式提供数据采、建、管、用全生命周期的数据能力,以助力企业显著提升数据治理水平,构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...

逻辑结构说明

项目 项目是一种物理空间上的划分,便于用户在数据中台建设过程中对物理资源及开发人员进行隔离化管理。业务对象 人们观察事物的角度,是指一种视角,是确定事物的多方位、多角度、多层次的条件和概念。业务活动 业务过程即企业的业务活动...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据传输服务 云数据库 Redis 版 云数据库 RDS 数据库备份 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用