将云消息队列 Kafka 版的数据迁移至MaxCompute
背景信息 大数据计算服务MaxCompute（原ODPS）是一种大数据计算服务，能提供快速、完全托管免运维的EB级云数据仓库解决方案。DataWorks基于MaxCompute计算和存储，提供工作流可视化开发、调度运维托管的一站式海量数据离线加工分析平台。在...
配置数据质量监控
背景信息 数据质量 是支持多种异构数据源的质量校验、通知、管理服务的一站式平台。数据质量以数据集（DataSet）为监控对象，目前支持MaxCompute数据表监控。当离线MaxCompute数据发生变化时，数据质量会对数据进行校验，并阻塞生产链路，...
配置数据质量监控
ods_user_info_d 对每日同步的用户信息数据进行表行数非0校验（强规则）和业务主键唯一性校验（弱规则），避免后续无效加工，及时止损。dwd_log_info_di 不单独进行监控。dws_user_info_all_di 不单独进行监控。ads_user_info_1d 对每日...
应用场景
互联网类应用 Cassandra能够支持大并发低延时的访问需求，具备高...在一些需要应用大量数据对用户行为进行分析的场景中，可以通过整合多种数据来源，存储用户行为数据，构建用户画像，实时存储在Cassandra中，提供大数据风控、推荐等服务。
数据表
本文介绍如何查找已公开的数据表。前提条件 已公开数据表资产“dws_ren_kh_demo_di（银行客户信息）”，具体操作，请参见 表资产。操作步骤 登录 数据资源平台控制台。...预期结果 在资产目录页面中，显示搜索结果“银行客户信息”数据表。
概述
背景信息 在大数据生态系统中，Alluxio位于数据驱动框架或应用（例如Apache Spark、Presto、TensorFlow、Apache Flink和Apache Hive等）和各种持久化存储系统（例如HDFS和阿里云OSS）之间，使得上层的计算应用可以通过统一的客户端API和...
场景：跨账号创建数据源
说明 您可根据跨账号添加的数据源在A工作空间的使用场景，提前为RAM角色授权与相关权限，例如，若要在A工作空间查询B工作空间数据源下的表，需确保数据源配置的RAM角色已拥有该表的SELECT权限。账号A：使用账号B的用户信息创建数据源 说明 ...
DataWorks On EMR使用说明
背景信息 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。阿里云...
数据保护规则简介
在使用全密态功能之前，您需要配置数据保护规则，规则包括：指定目标数据列为被保护数据、声明数据保护方法（例如加密、脱敏）、授权指定用户访问数据等。本文介绍数据保护规则格式及说明。规则格式及说明 {"version":20230830,"rules":[{...
应用场景
应用场景 1.实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接...大数据实时化 数仓是大数据的基础，实时化的数仓能够让BI、报表、推荐（用户标签产出）等多种业务收益，大数据系统总体向实时化迈进。
什么是EMR on ACK
阿里云E-MapReduce（简称EMR）on ACK提供了全新构建大数据平台的方式。您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注...
发展历程
2018年 MaxCompute的多个客户案例荣获“2017大数据优秀产品和应用解决方案案例”奖。基于公共云的BigBench在100 TB规模上，MaxCompute的性能指标较2017年10月提升了一倍，达到18176.71 QPM（Queries Per Minute）。此外，在超小型10 TB规模...
DataWorks快速入门指引
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台，为了便于新用户快速了解DataWorks的数据开发治理操作全流程，DataWorks为您提供了...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
查看数据表
本文介绍如何查看已公开的数据表资产详情。前提条件 已公开数据表资产“dws_ren_kh_demo_di（银行客户信息）”，具体操作，请参见 表资产。操作步骤 登录 数据资源平台控制台。...基本信息：扩展信息：字段信息 数据探查 血缘关系 数据质量
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
DataWorks模块使用说明
使用流程概览：参考文档：数据集成概述 数据建模与开发 子模块：数据建模 功能说明：数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行...
概述
业务挑战 大部分阿里云用户会将阿里云关系型数据库RDS、PolarDB for MySQL、MongoDB或者云服务器ECS自建数据库作为业务系统数据库，随着业务数据的增长，业务数据库存储的数据也越来越多。但RDS、PolarDB for MySQL、MongoDB或者ECS自建...
敏感数据掩码
配置敏感数据掩码可以防止审计到的日志信息中包含敏感数据信息，使用掩码可以防止敏感信息在查询审计日志时泄露。本文介绍如何对审计到的客户敏感数据（例如：身份证号、银行卡号等）添加掩码“*”后再呈现。登录云盾数据库审计系统。具体...
受众与核心能力
产品定位 DataWorks致力于为数据开发者、数据分析师、数据资产管理者，打造一个具备开放自主开发与全栈数据研发能力的一站式、标准化、可视化、透明化的智能大数据全生命周期云研发平台。DataWorks赋予用户仅通过单一平台，即可实现数据...
JindoFS介绍和使用
JindoFS提供兼容对象存储的纯客户端模式（SDK）和缓存模式（Cache），以支持与优化Hadoop和Spark生态大数据计算对OSS的访问；提供块存储模式（Block），以充分利用OSS的海量存储能力和优化文件系统元数据的操作。JindoFS纯客户端模式（SDK...
核心能力
数据资源平台提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
新建数据源
背景信息 数据同步支持关系型数据库、文件、消息队列等类型数据源的配置。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。在左侧导航栏，单击 图标，...
新建数据源
背景信息 数据同步支持关系型数据库、文件、消息队列等类型数据源的配置。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。在左侧导航栏，单击 图标，选择 ...
常见问题
1.售前咨询渠道 尊敬的“准”大数据专家服务用户您好：如果您准备购买阿里云大数据专家服务，但是遇到如服务范围、规格、服务选择等售前方面的问题，您可以通过钉钉与我们联系，您将“当面”获得阿里云大数据专家咨询专家的建议。...
步骤二：规划数仓
背景信息 数据板块：数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。本教程以 dataphin_tutorial 为例，作为数据板块的命名空间。计算源：为数据的处理提供计算及存储资源。项目：项目是Dataphin的基本组织单元，是进行...
步骤二：规划数仓
背景信息 数据板块：数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。本教程以 dataphin_tutorial 为例，作为数据板块的命名空间。计算源：为数据的处理提供计算及存储资源。项目：项目是Dataphin的基本组织单元，是进行...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
Transaction Table2.0概述
如上图所示，如果使用单一的MaxCompute离线批量处理链路，有些场景需持续将用户分钟级增量数据和全量数据做合并处理和存储，产生冗余的计算和存储成本，也有场景需要将各种复杂的一些链路和处理逻辑转化成T+1的批次处理，极大增加链路复杂...
宜搭创建大屏实操
本文主要介绍如何使用企业经营管理系统中客户库表及签约表表单数据，来创建并配置企业经营管理大屏。宜搭创建大屏实操视频，请参见：宜搭创建大屏实操视频。创建企业经营管理系统 操作步骤如下：登录宜搭系统，通过空白应用创建名称为 企业...
DataWorks On Hologres使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全治理事项。安全中心概述 ...
OpenAPI列表
QueryHomoAtomicIndexById 获取同源原子指标数据信息，同源指来源于同一个逻辑表的原子指标，一个原子指标可配置三个不同时效的计算逻辑，因此可来源于三个不同时效的逻辑表。逻辑表 GetLogicalModelSubTree 获取逻辑表对象的导航树结构。...
数据服务
背景信息 数据服务提供了数据中台建设过程中的数据服务化能力，面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力；面向数据资产管理者提供服务的统计分析、服务用量统计分析，实现数据中台...
DLF-Auth
背景信息 数据湖构建DLF是一款全托管的快速帮助用户构建云上数据湖的服务，提供了云上数据湖统一的权限管理和元数据管理，详细信息请参见 数据湖构建产品简介。数据权限功能，请参见 数据权限概述。前提条件 已创建E-MapReduce集群，详情请...
数据标准概述
背景信息 数据标准目标是为 业务、技术 和 管理 提供服务和支持。数据标准管理的过程就是对数据以及数据的属性信息的标准化定义和应用的过程。数据标准的定义必须符合公司的业务应用和管理需求，定义过程中需要参考国际标准、国家标准、...
数据标准概述
背景信息 数据标准目标是为 业务、技术 和 管理 提供服务和支持。数据标准管理的过程就是对数据以及数据的属性信息的标准化定义和应用的过程。数据标准的定义必须符合公司的业务应用和管理需求，定义过程中需要参考国际标准、国家标准、...
新建数据元
背景信息 数据元（Data Element）：表示一个数据的最小信息项，包含基本的描述、值域范围和约束规则。一般用来表示具有相同特性数据项的抽象。例如：我们把“教育水平”作为数据元，数据元关联数据字典，字典的值域设置为：“研究生”、...
新建数据元
背景信息 数据元（Data Element）：表示一个数据的最小信息项，包含基本的描述、值域范围和约束规则。一般用来表示具有相同特性数据项的抽象。例如：我们把“教育水平”作为数据元，数据元关联数据字典，字典的值域设置为：“研究生”、...
- 产品推荐
- 这些文档可能帮助您