DataWorks on EMR数据安全方案
数据安全能力：任务管理 DataWorks提供了大数据开发运维等能力，其中工作空间、安全中心等功能模块可实现对大数据计算任务的管理。工作空间：通过DataWorks的工作空间规划可以实现工作空间的人员管理、设置大数据作业可见性和可运维性。...
数据导入性能优化
云原生数据仓库AnalyticDB MySQL版 提供的多种数据导入方法，满足不同场景下的数据导入需求。然而数据导入性能依然受各种各样的因素影响，如表的建模不合理导致长尾、导入配置低无法有效利用资源等。本文介绍不同场景下的数据导入调优方法...
数据导入性能优化
云原生数据仓库AnalyticDB MySQL版 提供的多种数据导入方法，满足不同场景下的数据导入需求。然而数据导入性能依然受各种各样的因素影响，如表的建模不合理导致长尾、导入配置低无法有效利用资源等。本文介绍不同场景下的数据导入调优方法...
数据分析整体趋势
随着Google等互联网企业崛起，以Hadoop为代表的基于传统x86服务器集群的大数据技术迅速发展，同时开源分布式数据库如Greenplum等也成为相应替代方案，为广大中小企业，尤其是互联网行业大大降低了数据分析的技术和成本门槛，还有分布式技术...
上传数据
添加完成数据文件后，在跳转后的添加数据对话框，选择数据的分组、输入数据集的名称、选择数据的类型和数据的服务地址，单击对话框右下角的 创建数据集 即可完成三维瓦片数据的添加。说明 当数据量较大时解析时间会比较长，您可以先关闭弹...
上传数据
添加完成数据文件后，在跳转后的添加数据对话框，选择数据的分组、输入数据集的名称、选择数据的类型和数据的服务地址，单击对话框右下角的 创建数据集 即可完成三维瓦片数据的添加。说明 当数据量较大时解析时间会比较长，您可以先关闭弹...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
数据库迁移
说明 如果存在不一致数据，可单击 查看详情 查看不一致的概览信息，在概览信息对话框中单击 详情 查看不一致的具体数据：如果数据量比较少，可以通过手动修改的方式同步数据，如果数据量比较大，查明数据不一致的原因，清理目标数据库后...
功能发布记录（2023年）
2023-12 功能名称 功能描述 发布时间 发布地域 使用客户 相关文档 数据开发（DataStudio）绑定数据源 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发（DataStudio）...
限制说明
数据大小 云数据库 Memcache 版支持的单条缓存数据的 Key 最大不超过 1 KB，Value 最大不超过 1 MB，过大的数据不适合存储。事务支持 云数据库 Memcache 版不支持事务，有事务性要求的数据不适合写入，而应该直接写入数据库。使用场景 当...
MongoDB 4.0
升级数据库大版本 数据迁移 变更实例配置 按时间点将备份数据恢复至新建实例 恢复云数据库MongoDB单个或多个数据库 开启或关闭实例释放保护 本操作不影响实例的运行。设置可维护时间段 请将维护时间段设置在业务低峰期，以避免维护过程可能...
升级数据库大版本
本文介绍云数据库MongoDB支持升级的数据库大版本以及如何升级数据库大版本。注意事项 升级分片集群实例的数据库大版本时，实例的协议类型需为 MongoDB协议。升级采用轮转升级的方式进行，升级过程中会自动对实例进行2~3次重启，请在业务低...
数据安全治理的必要性
上述定义均体现了数据安全治理并不是单纯使用技术工具就能实现的。从宏观上看，数据安全治理要处理好制度、组织、人员、工具间的关系；从微观上看，数据安全治理的本质则是要处理好各类人员（身份）对组织资产（IAAS/PAAS/SAAS/各类数据）...
发展历程
关键性里程碑 2009年9月，ODPS（即现在的MaxCompute）大数据平台飞天项目正式启动。2010年10月，阿里巴巴集团自主研发的第一代云计算平台稳定运行。2013年8月，平台的单集群规模已达到5000台。2014年7月，平台开始对外提供服务，完全替换...
大数据安全治理的难点
存储 众所周知，大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，...
DELETE
只能使用完整的主键来删除一行数据，不支持一次性删除多行数据。删除操作并非是先读取再删除，而是直接写入删除标记。所以无论被删除的行是否存在，删除都会成功。使用UPSERT写入数据时如果通过HINT将未来时间戳作为数据的版本，那么执行...
通过上传本地数据新建数据集
上传本地文件的方式导入业务所需的数据集，以便在模型画布中编辑业务模型时使用导入的数据集。本文介绍如何通过上传本地数据新建数据集。...重要 数据删除后将不在模型画布内进行展示，将无法继续使用该数据进行建模，请谨慎删除。
配置数据质量规则去噪
当任务触发质量规则校验时，您可以使用去噪管理功能，对当前工作空间内，数据质量规则校验异常的数据不触发报警，且不阻塞任务运行（任务不会因为数据质量校验不通过而失败退出）。前提条件 已创建数据质量校验规则，详情请参见 配置规则：...
修改表 ALTER TABLE 的不兼容点
本文为您介绍迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL 租户时，MySQL 数据库执行的 ALTER TABLE DDL 支持被数据传输的 DDL 同步组件转换，但 OceanBase 数据库 MySQL 租户不支持执行的场景。行内 CHECK 表达式中引用了其它列 ...
客户案例
MaxCompute已被广泛应用于各大领域处理云上大数据，帮助众多企业解决了海量数据分析问题，同时降低企业运维成本，企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息，请参见 行业客户案例...
管理问题数据
数据质量支持您保留数据质量监控过程中从数据表中发现的非预期数据，帮助您快速排查、定位问题，提升数据质量。本文为您介绍如何管理数据质量监控过程中从数据表中发现的非预期数据。背景信息 问题数据表 数据质量支持在部分规则校验不通过...
交叉透视表
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
功能特性
数据迁移 数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景 功能集 功能 功能描述 参考文档 同构迁移 逻辑迁移 支持同构数据库间的数据迁移。自建MySQL...
管理数据分级
数据分级用于定义数据在安全领域的安全等级。新建数据分级 在Dataphin首页，单击顶部菜单栏 资产。按照下图指引，进入 新建数据分级 对话框。在 新建数据分级 对话框，配置...说明 如果数据分级已被识别规则引用，则该数据分级不支持删除。
管理数据分级
数据分级用于定义数据在安全领域的安全等级。新建数据分级 在Dataphin首页，单击顶部菜单栏 资产。按照下图指引，进入 新建数据分级 对话框。在 新建数据分级 对话框，配置...说明 如果数据分级已被识别规则引用，则该数据分级不支持删除。
功能概述
该功能可以避免云平台软件、管理人员（如DBA）以及其他非授权人员接触到明文数据，防止研发和运维人员窃取数据，实现了数据在数据库内 可用不可见。结合阿里云强大的安全防护体系，全密态数据库能够有效防御来自云平台外部和内部的安全威胁...
删除数据
本文介绍了删除数据的相关内容。简介 到目前为止我们已经解释了如何向表中增加数据以及如何改变数据。剩下的是讨论如何删除不再需要的数据。和前面增加数据一样，你也只能从表中整行地删除数据。在前面的一节里我们解释了 SQL 不提供直接...
删除数据源
本文介绍在DataV中删除数据源的...警告 数据源删除后，不可恢复，请谨慎操作。操作步骤 登录 DataV控制台。在 我的数据 页签中单击 数据源管理。在 数据源管理 页面，将鼠标移至需要删除的数据源上。单击左侧出现的 图标，即可删除该数据源。
东软案例
在互联网服务场景下，运维监控数据量激增，采集监控的数据类型更加多样（时序指标、日志、代码链路等），现有运维系统采用的单模引擎（如RRD数据库、openTSDB时序数据库、ElasticSearch检索类数据库）应对这些实时、高并发采集，且价值密度...
删除数据集
本文为您介绍如何在DataV中数据集管理面板内删除数据集。操作步骤 登录 DataV控制台。选择 我的数据 页签，在左侧列表中单击 数据集管理。在 数据集管理 页面，将鼠标移至页面内某个待删除的数据集上，单击左侧的 图标。在弹出的确认删除...
管理数据库档案
本文介绍如何在ADAM中新建、测试和删除数据库档案。前提条件 已创建目标库实例。已创建数据库账号。已在目标数据库的白名单中添加ADAM的白名单。更多信息，请参见 配置白名单。支持的数据库类型 源数据库：Oracle、Teradata、DB2 for LUW。...
实时同步常见问题
升级资源组规格：当源端数据量增大，或者同步解决方案任务重新编辑过同步任务（将任务由读取单库单表变更为读取多库多表），导致当前资源组消耗不了当前同步数据量级，此时您可选择扩大资源组规格，资源组规格调整详情请参考：变更规格操作...
实例间的数据库复制
RDS SQL Server部分实例支持实例间复制数据库功能，您可以通过RDS控制台或者OpenAPI将一个实例中的数据库复制到另外一个实例中。前提条件 RDS实例必须满足以下条件：源实例和目标实例必须在一个阿里云账号下。源实例和目标实例的版本必须...
产品概述
避免云平台软件、管理人员（如DBA）、以及其他非授权人员接触到明文数据，做到了数据在数据库内的 可用不可见。结合阿里云强大的安全防护体系，全密态数据库能够有效防御来自云平台外部和内部的安全威胁，时刻保护用户数据，让云上数据成为...
产品概述
避免云平台软件、管理人员（如DBA）、以及其他非授权人员接触到明文数据，做到了数据在数据库内的 可用不可见。结合阿里云强大的安全防护体系，全密态数据库能够有效防御来自云平台外部和内部的安全威胁，时刻保护用户数据，让云上数据成为...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
我的数据
方式一：控制台转交数据表 在数据地图 我的数据>我拥有的数据 页面中，可以看到您当前拥有的数据表，在表格下方有对数据表的批量操作。若有多张数据表需要转交，可使用 批量转交 操作。选择需要转交的表，单击 批量转交。在 批量转交 ...
删除实例
删除实例操作只是取消了数据库实例与数据管理DMS控制台的关联，不影响实例本身。操作步骤 登录 数据管理DMS 5.0。在首页左侧的数据库实例列表找到目标实例，右键单击实例名称。选择 删除实例，并单击 确认。说明 若您需要批量删除实例，请...
数据删除
如果您不使用上述脚本删除的话，需要手动限制每次删除数据的大小。示例：推荐方案（将每次删除的数据量限制在1024 Byte）String dsl="g.V().limit(1024).drop();ResultSet results=client.submit(dsl);普通方案 String dsl="g.V().drop();...
创建ClickHouse数据源
进行数据同步：DataWorks的数据集成模块为您提供读取和写入数据至ClickHouse的能力，您可将其他数据源的数据同步至当前ClickHouse数据源，或将当前ClickHouse数据源的数据同步至其他数据源。您可通过离线同步场景执行相关数据同步操作。增...
- 产品推荐
- 这些文档可能帮助您