应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
DataWorks on EMR数据安全方案
如何能够快速升级，保障业务正常运转的情况下增加对数据的安全管控成为后续数据安全的重要挑战。下文以一个升级实践，为您示例可采用的升级方案，如LDAP+Ranger，或者LDAP+DLF Auth。下文以LDAP+DLF Auth为例介绍一下升级的过程。在EMR组件...
数据保护机制
数据保护机制是对数据流向的控制，而不是对数据访问权限的控制。只有在用户具备数据访问权限的前提下，控制数据流向才有意义。基于Package跨项目访问资源 机制与数据保护机制是正交的（相互独立），但在功能上是相互制约的。在MaxCompute中...
数仓规划概述
使用DataWorks进行数据建模时，数仓架构师或者模型小组成员可以在数仓规划页面对数据分层、业务分类、数据域、业务过程、数据集市、主题域进行设计。完成设计后，模型设计师在建模过程中可以依赖数仓规划中的数据分层、业务分类、数据域、...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
DMS支持的数据库
关系型数据库 MySQL SQL Server PostgreSQL MariaDB OceanBase MySQL模式 OceanBase Oracle模式 OceanBase ODP Oracle DB2 达梦数据库 OpenGauss 数据仓库 ClickHouse SelectDB NoSQL数据库 Redis MongoDB 大数据 Hive 录入他云/自建数据库...
质量评估
质量评估通过完整性、准确性、一致性、唯一性、时效性、规范性等六个维度构建数据质量指标体系，来实现对数据质量的量化评估。完整性：数据完整性是指一个数据集的特定字段或属性都被赋予了数值。准确性：数据准确性是指数据准确的反映其所...
功能简介
质量评估通过完整性、准确性、一致性、唯一性、时效性、规范性等六个方面构建数据质量指标体系，来实现对数据质量的量化评估。完整性：数据完整性是指一个数据集的特定字段或属性都被赋予了数值。准确性：数据准确性是指数据准确的反映其所...
功能简介
质量评估通过完整性、准确性、一致性、唯一性、时效性、规范性等六个方面构建数据质量指标体系，来实现对数据质量的量化评估。完整性：数据完整性是指一个数据集的特定字段或属性都被赋予了数值。准确性：数据准确性是指数据准确的反映其所...
应用场景
本文为您介绍DataV-Card可视分析创作间的典型使用场景及作品展示。运营长图制作 赋能业务人员自助数据分析，仅需上传Excel文件，...支持行业数据挖掘，所见即所得沉淀数据知识，简单几步实现简报搭建。快速分享作品和卡片，充分交流数据见解。
基于Delta lake的一站式数据湖构建与分析实战
数据湖作为一个集中化的数据存储仓库，支持的数据类型具有多样性，包括结构化、半结构化以及非结构化的数据，数据来源上包含数据库数据、binglog 增量数据、日志数据以及已有数仓上的存量数据等。数据湖能够将这些不同来源、不同格式的数据...
数据集成支持的数据源
离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 MaxCompute 支持 支持 Hologres 支持 支持 IMPALA 支持 支持 TDH Inceptor 支持 支持 StarRocks 支持 不支持 Hudi 支持 支持 Doris 支持 不支持 GreenPlum 支持 支持 TDengine ...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
数据集成支持的数据源
离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 MaxCompute 支持 支持 Hive 支持 支持 Hologres 支持 支持 IMPALA 支持 支持 TDH Inceptor 支持 支持 Kudu 支持 支持 StarRocks 支持 支持 Hudi 支持 支持 Doris 支持 支持 ...
创建Sap Table数据源
数据源描述 对数据源的简单描述。不超过128字符。数据源配置 选择需要配置的数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。配置数据源与...
创建Sap Table数据源
数据源描述 对数据源的简单描述。不超过128字符。数据源配置 选择需要配置的数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。配置数据源与...
创建API数据源
数据源描述 对数据源的简单描述。不超过128字符。数据源配置 选择需要配置的数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据...
创建API数据源
数据源描述 对数据源的简单描述。不超过128字符。数据源配置 选择需要配置的数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据...
创建Redis数据源
数据源描述 对数据源的简单描述。不超过128字符。数据源配置 选择需要配置的数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据...
支持的数据源
类别 数据源 导入方式 文档链接 消息队列 Kafka 数据同步 通过数据同步功能同步Kafka至湖仓版（推荐）日志类数据 日志服务（SLS）数据同步 通过数据同步功能同步SLS至湖仓版（推荐）大数据 Hive 数据迁移 Hive数据导入 相关文档 AnalyticDB...
业务视角管理：数据专辑
说明 修改数据专辑仅对数据专辑的创建者开启权限。修改属性。在目标专辑的详情页面中，单击专辑名称下方的 编辑 按钮。在 修改专辑 的弹窗中，您可进行修改 专辑名称、可见范围、专辑描述。修改管理员。进入目标专辑的详情页面后，在专辑...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大...
数据源白名单配置
产品名称 操作说明 云原生大数据计算服务MaxCompute 设置白名单 实时数仓Hologres IP白名单 云数据库ClickHouse 设置白名单 消息队列Kafka版 配置白名单 云原生分布式数据库PolarDB-X 设置白名单 云原生分布式数据库PolarDB-X（2.0）设置白...
创建Redis数据源
数据源描述 对数据源的简单描述。不超过128字符。数据源配置 选择需要配置的数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据...
创建PostgreSQL数据源
数据源描述 对数据源的简单描述。不得超过128个字符。数据源配置 选择需要配置的数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可...
创建Microsoft SQL Server数据源
数据源描述 对数据源的简单描述。不得超过128个字符。数据源配置 选择需要配置的数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可...
数据模型架构规范
按数据域划分：命名时按照CDM层的数据进行数据域划分，以便有效地对数据进行管理，以及指导数据表的命名。例如，“交易”数据的英文缩写可定义为“trd”。按业务过程划分：当一个数据域由多个业务过程组成时，命名时可以按业务流程划分。...
数据量
在数据库备份场景下，有4个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为：购买时选择的存储...
查看敏感数据识别结果
仅支持在 结构化数据、半结构化数据、非结构化数据 或 大数据 分类下分别选择一个或多个数据类型，不支持跨分类同时选择多个数据类型。如果您未选中任意数据类型，数据安全中心默认展示所有数据类型下的敏感数据识别结果。数据模板：在 ...
数据源中心
EMR Workflow的数据源中心支持配置数据源，以满足不同的数据存储和访问需求。本文为您介绍如何创建、编辑和删除数据源。使用限制 数据源所在的集群和运行工作流时选择的集群需要在同一VPC下。创建数据源 进入数据源中心页面。使用阿里云...
创建PostgreSQL数据源
数据源描述 对数据源的简单描述。不得超过128个字符。数据源配置 选择需要配置的数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可...
创建Microsoft SQL Server数据源
数据源描述 对数据源的简单描述。不得超过128个字符。数据源配置 选择需要配置的数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可...
数据传输与迁移概述
对数据延迟不敏感（只要在调度周期执行完成即可满足需求）。典型场景。类型 典型场景 数据库批量同步 数据集成-离线数据同步。数据上云搬站 MMA。本地文件上传 odps控制台-Tunnel命令上传。其它自定义上传 SDK写入-批量数据通道（Tunnel）...
数据处理
数据导入后，GDB Automl提供数据解析器对数据进行解析，可以自动配置解析数据源，解析器（支持CSV、ARFF、XLS、XLSX、ORC等多种数据格式的解析）。在 数据解析器 页面，选择导入数据对应的 解析器、分离、列标题 和 选项。单击 解析 以生成...
什么是数据安全中心
数据安全中心（Data Security Center，简称DSC），在满足等保2.0“安全审计”及“个人信息保护”的合规要求的基础上，为您提供敏感数据识别、数据...重要 DSC 仅对数据进行敏感数据分级、打标和敏感数据检测，不会对您的数据文件进行保存。
概述
此方法适用于海量数据场景，对数据量不设上限，同时支持行、列和TEXTFILE等各种存储格式以及用户自定义分区配置。DataWorks数据集成 通过DataWorks配置离线同步节点和同步任务将日志数据同步至MaxCompute。详情请参见 通过DataWorks数据...
功能简介
数据查询为用户提供对云计算资源中物理表基本情况的概览能力，帮助用户直观了解物理表基础信息、字段内容分布等情况，建立对数据表的宏观理解，为建立数据标准、定义数据模型、定义数据加工逻辑等工作提供基础依据。数据导入 支持512 MB...
数据标准
字段标准设计 数据元管理：提供对数据元的标准定义和统一管理，通过分析业务流程，抽象关键业务对象、业务对象属性，配置数据元的类型、长度、质量校验函数和引用数据字典，为逻辑表标准化设计及数据治理过程中的质量监控提供规则依据；...
配置MySQL输出组件
比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前步骤写数据执行完成后，对数据库中持续提供服务的表Service_B重命名成Temp_C，然后将表Target_A重命名为Service_B，最后删除Temp...
配置MySQL输出组件
比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前步骤写数据执行完成后，对数据库中持续提供服务的表Service_B重命名成Temp_C，然后将表Target_A重命名为Service_B，最后删除Temp...
- 产品推荐
- 这些文档可能帮助您