功能特性
EMR on ECS 功能集 功能 功能描述 参考文档 集群管理 创建集群 您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。创建集群 释放集群 在完成EMR集群任务后及时释放集群，可以释放资源...
关闭资源中心
关闭影响 关闭资源中心后，将无法在资源中心查看资源数据。具体如下：对于单个阿里云账号，关闭资源中心后，将无法查看当前账号中的资源数据。对于资源目录的管理账号和资源中心的委派管理员账号，关闭资源中心会同时关闭跨账号资源搜索...
续费
手动续费 支持通过阿里云用户中心和数据资源平台控制台2种方式进行手动续费，请根据实例的状态，选择合适的续费方式。通过阿里云用户中心续费 若您购买的实例已过期或即将过期，都可通过阿里云用户中心进行续费。进入 阿里云用户中心。在...
任务中心
任务中心对数据资源平台中的数据同步、数据开发、标签加工等任务和实例进行运维管理。数据资源平台各模块发起的任务，如数据同步、数据开发、标签加工等，都会发到对应的任务流，不同的任务来源通过业务类型区分。根据业务流程，任务流中...
基于混合负载的查询优化
Batch模式：采用批计算架构，通过DAG进行任务切分，分批调度，满足有限资源下大数据量计算，支持计算数据落盘，适用于计算量大，吞吐高的复杂分析场景。资源池混合负载隔离 AnalyticDB MySQL版弹性版本支持资源池多租户隔离。通过一个实例...
概述
任务中心对 数据资源平台 中的数据同步、数据开发、标签同步、质量评估等任务和实例进行运维管理。数据资源平台 各模块发起的任务，如数据同步、数据开发、标签加工 等，都会发到对应的任务流，不同的任务来源通过业务类型区分。根据业务...
功能更新动态（2022年之前）
华北2（北京）、华东1（杭州）计费说明 2021年08月24日 华南1（深圳）2021年08月26日 华东2（上海）系统将依据您选择的数据处理单元规格分配不同的默认调度资源，选购的规格越高，分配的调度资源越多，可以支持的任务并发数越大，研发效率...
应用场景
应用程序只需配置一个连接地址，无需修改代码即可将业务平滑扩展到更多地域，从1个数据中心，扩展到2个、3个甚至更多的数据中心。上海、深圳的集群规格无需与北京保持一致，可以灵活选择。部署流程 创建一个GDN，将已有集群作为GDN中的主...
整体架构
BSP模式，通过DAG进行任务切分，分批调度，满足有限资源下大数据量计算，支持计算数据落盘。羲和计算引擎提供自动切换能力，即当查询使用MPP模式无法在一定耗时内完成时，系统会自动切换为BSP模式进行执行。湖仓版新增的开源Spark计算引擎...
集成概览
本文为您介绍 数据安全中心 支持的...云产品 资源类型 数据安全中心 alicloud_sddp_config：异常告警通用配置模块的参数 alicloud_sddp_instance：实例 alicloud_sddp_rule：自定义的敏感数据识别规则 alicloud_sddp_data_limit：为资源授权
数据治理中心概述
目前仅支持华北2（北京政务云）、华东2（上海金融云）、华东2（上海）、华东1（杭州）、华北2（北京）、华南1（深圳）、西南1（成都）、中国（香港）、新加坡、美国（硅谷）、德国（法兰克福）、印度尼西亚（雅加达）地域使用数据治理中心...
开通资源中心
资源中心的构建和数据更新通常需要几分钟的时间，在资源量大时可能需要更长的时间，请您耐心等待。执行结果 资源中心通过调用云服务的资源查询或列出API，获取您的云资源数据。当您开通资源中心时，需要您授权同意系统创建一个名为...
功能发布记录（2023年）
2023-12 功能名称 功能描述 发布时间 发布地域 使用客户 相关文档 数据开发（DataStudio）绑定数据源 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发（DataStudio）...
什么是EMR on ACK
您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注大数据任务本身。形态对比 阿里云EMR提供on ECS和on ACK两种方式，以...
接入数据库
在使用 数据安全中心DSC（Data Security Center）检测云产品（包括OSS、RDS、PolarDB等）中存在的敏感数据或审计数据库活动前，您需要先将数据库接入DSC。本文介绍如何将数据库接入DSC。背景信息 DSC 支持的数据库类型详情，请参见 支持的...
独享数据集成资源组
在数据集成任务高并发执行且无法错峰运行的情况下，需要专有的计算资源组来保障数据快速、稳定的传输时，建议您选择使用DataWorks的独享数据集成资源组。本文为您概要介绍独享数据集成资源组。功能介绍 独享数据集成资源组的功能亮点如下：...
账单数据订阅及查询分析
您需授权用户中心拥有 AliyunServiceRoleForBssOpenApi 服务关联角色，允许用户中心可访问您的MaxCompute、DataWorks相关资源，查询MaxCompute的授信项目列表，以便进行后续的账单数据同步及分析操作。授权详情，请参见 费用与成本服务关联...
功能发布记录
2024-02 全部 支持关联资源跟随转组的云资源 2024年01月 功能模块 功能描述 发布时间 发布地域 相关文档 资源中心 新增支持资源中心的云服务和资源类型：云原生大数据计算服务MaxCompute：项目。2024-01 全部 支持资源中心的云服务及资源...
高效数据治理实施指南
目前该负责人已明确其治理维度主要处在成本治理维度，根据实际业务要求和历史情况分析，其团队数仓任务消耗的主要成本集中在存储成本管理维度，核心目标是控制数据资源成本增长，重点关注无效、低效的存储表，推动负责人进行表资源的下线和...
02编制目录
操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 运营。在顶部菜单栏，单击 资产管理。在左侧导航栏，单击 全局配置管理>资产分类管理。在数据目录页面，单击 创建目录。单击 新建目录，在 新建一级目录 面板，输入类目...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
新增和使用独享数据集成资源组
您可以使用DataWorks独享数据集成资源组功能，为数据集成同步任务分配独立的计算资源，从而提高任务的执行效率和稳定性。购买独享资源组后，在实际使用前您还需进行网络绑定、白名单等配置操作。本文为您介绍从购买至使用独享数据集成资源...
通用参考：切换资源组
说明 实时同步任务暂不支持在运维中心修改数据集成资源组，请在数据集成控制台或数据开发控制台修改，具体请参见 数据集成页面、数据开发页面。在左侧导航栏单击 周期任务运维>周期任务。节点类型 筛选条件设置为 离线同步，然后选中需要...
DataWorks On CDP/CDH使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心、数据保护伞、审批中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全...
大数据AI公共数据集分析
本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等公共数据），指导您如何快速进行大数据分析，快速熟悉DataWorks的操作界面与最基础的数据分析能力。DataWorks的更...
功能发布记录（2022年）
数据集成概述 DataWorks支持EMR新版数据湖DataLake DataWorks支持基于EMR计算引擎新版数据湖DataLake，实现基于EMR引擎的数据集成、数据建模、数据开发调度、数据质量、数据地图、数据安全、数据分析（独享资源组）、数据服务等数据全周期...
功能发布记录 2022年之前
数据治理中心概述 2021-08 功能名称 功能描述 发布时间 发布地域 相关文档 独享数据服务资源组上线杭州、上海地域。在调用数据服务API需要高QPS和SLA保障的情况下，企业需要使用独享的数据服务资源来保障调用成功。同时，独享数据服务资源...
功能更新动态（2022年）
新增数据标准、智能运维的用量统计 2022年10月25日 华北2（北京）查看资源使用情况 2022年10月27日 华东1（杭州）2022年11月01日 华南1（深圳）2022年11月03日 华东2（上海）数据源 新增达梦数据源。新增数据源删除依赖校验。Kafka数据源...
环境准备
步骤二：创建DataWorks工作空间 说明 因本实验提供的数据资源都在华东2（上海），建议您将工作空间创建在华东2（上海），以避免工作空间创建在其它区域，添加数据源时出现网络不可达的情况。登录 DataWorks控制台。单击左侧导航栏的 工作...
制定数据治理计划
目前支持创建成本优化、稳定性治理两类治理计划模板：类型 核心目标 治理计划模板 成本优化 控制数据资源成本增长，重点关注无效、低效的存储与计算，推动负责人进行资源的下线和优化。存储资源优化：适用于存储消耗过大或异常增长的团队。...
2023年
2023年12月28日-MaxCompute升级公共云Endpoint 尊敬的MaxCompute用户：感谢您对云原生大数据计算服务MaxCompute的支持，MaxCompute将于北京时间2024年1月4日对华北2（北京）、华东2（上海）、华东1（杭州）、华南1（深圳）、华北3（张家口...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
通过函数计算节点实现GitHub实时数据分析与结果发送
AccessKey Secret 资源组连通性 在 数据集成 页签下，单击已绑定的数据集成资源组 操作 列 测试连通性，等待界面提示测试完成，连通状态 列显示为 可连通。步骤四：配置案例 在 DataWorks控制台 左侧导航栏选择 大数据体验>ETL工作流模板，...
文档修订记录
独享数据服务资源组 独享数据服务资源组计费说明：包年包月 2023.11.21 新增功能 数据保护伞 使用数据保护伞识别敏感数据时，可基于脱敏场景配置数据脱敏规则。数据保护伞默认提供了 数据开发/数据地图展示脱敏、数据集成静态脱敏 等多种...
独享调度资源组
网络连通方案 独享调度资源组与其他资源组类似，本质上为一组阿里云ECS实例，在进行数据开发等任务运行时，需保障资源组与数据源之间的网络是连通的，且不会因为白名单等特殊安全访问设置阻断资源组与数据源之间的网络连通性。说明 如果独...
产品计费
到期后资源状态变化 数据安全中心实例到期后，实例和相关资源变化如下：到期后，数据安全中心实例进入已过期状态。到期后15天内您可以续费实例，续费成功后保留所有资源。到期15天后，释放或关闭相关资源，具体如下：释放数据安全中心实例...
跨境SaaS:深圳市易仓科技有限公司
在数据库架构演进过程中，也遇到诸多痛点：痛点1:单实例海量表，运维管理困难，数据库稳定性挑战大 痛点2:多租户共享一个数据库实例，数据量大，资源抢占 痛点3:租户版本升降、合并、打散时，租户数据迁移效率低 痛点4:传统主从数据库架构...
DataWorks各版本详解
Hologres API授权 支持 支持 支持 支持 API调用SDK 支持 支持 支持 支持 过滤器 支持 支持 支持 支持 华东2（上海）函数 支持 支持 支持 支持 服务编排 不支持 不支持 不支持 暂不支持新建，改造中 数据治理中心 查看治理方案模板 不支持 ...
- 产品推荐
- 这些文档可能帮助您