区域热力层（v1.x版本）
GeoJSON提取工具中的数据已更新，需使用新的GeoJSON数据文件。修改参数。以 肇庆市 的区县级GeoJSON数据为例，高要区 文字标注有偏移。使用 DataV.GeoAtlas边界生成器 工具，上传 肇庆市 的区县级GeoJSON数据文件，在 属性表面板 中添加 ...
区域热力层（v2.x版本）
GeoJSON提取工具中的数据已更新，需使用新的GeoJSON数据文件。修改参数。以 肇庆市 的区县级GeoJSON数据为例，高要区 文字标注有偏移。使用 DataV.GeoAtlas边界生成器 工具，上传 肇庆市 的区县级GeoJSON数据文件，在 属性表面板 中添加 ...
区域热力层（v4.x版本）
GeoJSON提取工具中的数据已更新，需使用新的GeoJSON数据文件。修改参数。以 肇庆市 的区县级GeoJSON数据为例，高要区 文字标注有偏移。使用 DataV.GeoAtlas边界生成器 工具，上传 肇庆市 的区县级GeoJSON数据文件，在 属性表面板 中添加...
区域热力层（v3.x版本）
GeoJSON提取工具中的数据已更新，需使用新的GeoJSON数据文件。修改参数。以 肇庆市 的区县级GeoJSON数据为例，高要区 文字标注有偏移。使用 DataV.GeoAtlas边界生成器 工具，上传 肇庆市 的区县级GeoJSON数据文件，在 属性表面板 中添加...
区域热力层（v3.x版本）
GeoJSON提取工具中的数据已更新，需重新下载新的GeoJSON数据文件。修改参数。以 肇庆市 的区县级GeoJSON数据为例，高要区 文字标注有偏移。使用 DataV.GeoAtlas边界生成器 工具，上传 肇庆市 的区县级GeoJSON数据文件，在 属性表面板 中...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
PolarDB-X数据同步工具
兼容的数据同步工具 数据同步工具 兼容版本 说明 MySQL Slave>=5.4.11 目前不支持GTID模式复制 canal>=5.4.11 无 DTS>=5.4.11 具体操作步骤请参见 同步方案概览。debezium>=5.4.12 不支持快照能力，使用时需要关闭快照"snapshot.mode":...
亿海蓝-航运大数据的可视化案例
原始数据使用DLA Ganos进行高效预处理，降低数据提取和结果数据再落地时间。数据抽取结果存储到Ganos on Lindorm中，Lindorm的低延迟、高性能、高吞吐查询能力保障业务能流畅显示。整体系统架构方案如下图所示：航运数据可视化分析系统架构...
校验迁移后的Redis数据
redis-full-check是阿里云自研的Redis数据校验工具，能够提取源端和目的端的数据进行多轮差异化比较，并将比较结果记录在一个SQLite3数据库中，从而达到全量数据校验的目的。说明 如需了解更多redis-full-check相关信息，请参见 redis-full...
应用场景
云数据库MongoDB版支持单节点、副本集和分片集群三种部署架构，具备安全审计、时间点备份等多项企业能力。在互联网、物联网、游戏、金融等...大数据应用：使用云数据库MongoDB作为大数据的云存储系统，随时进行数据提取分析，掌握行业动态。
生态对接
本文为您介绍MaxCompute支持连接的商业智能BI工具、数据库管理工具及ETL工具。MaxCompute的生态架构如下图所示。商业智能（BI）工具 商业智能（BI）工具支持将计算引擎得到的数据通过仪表板、图表或其他图形输出实现数据可视化，以直观的...
功能特性
数据分析 SQL查询 第三方工具 数据库管理工具 通过数据库管理工具连接MaxCompute，目前主要支持DBeaver、DataGrip、SQL Workbench/J。数据库管理工具 ETL工具连接 通过ETL工具连接MaxCompute并进行开发作业调度，目前主要支持Kettle、...
AUTO模式核心特性及典型场景
具体操作步骤如下：执行以下语句，将特定的热点数据提取到一个单独的分区。ALTER TABLEGROUP#tgName EXTRACT to PARTITION#hotPartitionName BY HOT VALUE(#keyVal)执行以下语句，将这个单独的分区调度到指定的物理资源。ALTER TABLEGROUP#...
选择连接工具
本文为您介绍连接并处理MaxCompute项目数据工具的应用场景、运行环境要求以及使用指引。您可根据业务需要和相应准备的环境，选择合适的连接工具。前提条件 已创建MaxCompute项目。更多创建MaxCompute项目操作，请参见 创建MaxCompute项目。...
EMR Hive数据整库离线同步至MaxCompute
背景信息 Hive是基于Hadoop的一个数据仓库工具，用来进行数据的提取、转化、加载，可以存储、查询和分析存储在Hadoop中的大规模数据。Hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成...
EMR Hive数据整库离线同步至MaxCompute
背景信息 Hive是基于Hadoop的一个数据仓库工具，用来进行数据的提取、转化、加载，可以存储、查询和分析存储在Hadoop中的大规模数据。Hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成...
敏感数据溯源
DataWorks的数据溯源功能，支持通过提取数据泄露文件中数据的水印信息，帮助您定位到可能会泄露目标数据的责任人。本文为您介绍如何创建溯源任务，并通过该任务查找可能会泄露数据的责任人。前提条件 已创建 数据识别规则，详情请参见 配置...
备份和恢复数据
所有数据的手动备份和已经提取的自动备份的数量总和上限为6个（这里指数据库数据备份和网站数据备份之和）。当数据库数据备份和网站数据备份之和达到6个时，如果您需要备份新的数据，必须将历史备份的数量删除至6个以下，才可以继续操作。...
Readable Protobuf
PolarDB MySQL版 支持Readable Protobuf功能，即针对存储在数据库中的经过Protobuf序列化的Blob类型的字段，您可以在对应的字段上配置Protobuf schema，并通过可视化函数 PROTO_TO_JSON(blob_field)来读取数据。同时，您也可以使用 JSON_...
DataWorks产品安全能力介绍
泄露数据溯源：支持提取数据泄露文件中数据的水印信息，帮助管理员定位泄露数据的责任人。说明 仅DataWorks企业版支持对泄露数据进行溯源。通用防护措施 企业/部门间权限隔离：支持企业间租户隔离、团队间空间隔离。增强身份鉴别：支持 多...
数据保护伞概述
数据保护伞是一款数据安全管理产品，为您提供数据发现、数据脱敏、数据水印、访问控制、风险识别、数据溯源等多种功能，帮助您快速梳理敏感数据并进行安全管控，保障数据安全。本文为您介绍数据保护伞的使用流程、使用限制等内容。使用流程...
基本概念
数据资产：数据资源平台中存在大量的数据表、标签、API等各类数据资产，数据管理者通过数据汇聚、数据治理、数据分析后，需要对整个平台数据进行统一管控，了解平台的核心数据资产，提供对应的数据资产管理规范。统一服务 应用：是调用API...
主机间（不同账号）迁移网站
单击 网站备份 页签，找到最新的系统自动备份的网站数据，然后单击对应 操作 列的 提取。您可以自行创建网站备份任务，也可以直接使用系统自动备份，具体操作，请参见 备份和恢复数据。本文以使用系统自动备份为例。在弹出的对话框中，单击...
逻辑数仓
数据管理DMS提供的逻辑数仓具有强大的数据源管理能力，可以实现将企业的异构数据源进行逻辑聚合，形成物理分散、逻辑统一的虚拟数仓，然后快速地提供数据分析和访问服务，满足业务人员、BI分析师、运营人员等各种角色的需求。背景信息 企业...
产品优势
本文介绍 云原生多模数据库 Lindorm 与其他开源数据库的区别。背景信息 云原生多模数据库 Lindorm 兼容HBase、Cassandra、S3、TSDB、HDFS、Solr等多种标准接口，支持宽表、时序、对象、文本、队列、空间等多种数据模型，适用于日志、账单、...
PostgreSQL数据源
订阅者从他们订阅的发布中提取数据。表的逻辑复制通常从对发布者数据库上的数据进行快照并将其复制到订阅者开始。完成后，发布者上的更改会实时发送给订阅者。创建账号。操作详情请参见 创建账号和数据库。配置权限。检查账号是否有 ...
快速体验
DataWorks的数据分析功能为企业提供了全面的数据分析和服务共享能力，可便捷地连接多种数据源、支持SQL查询，并提供电子表格等多样化的数据分析工具，以满足企业日常的数据提取和分析需求。本文将通过MaxCompute引擎在SQL查询中对公共数据...
Hive
Hive是Hadoop生态系统中的一个被广泛使用的数据仓库工具，主要用来进行Hadoop中的大规模数据的提取、转化、加载、查询和分析等操作。Hive数据仓库工具能将存储在HDFS系统中的结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将...
连接PostgreSQL实例
RDS PostgreSQL实例支持通过多种方式连接（如通过数据管理DMS、pgAdmin客户端、PostgreSQL命令行工具、应用程序等），实现您的业务目标。本文介绍这些连接方法的具体操作。前提条件 已创建RDS PostgreSQL实例。更多信息，请参见 创建RDS ...
连接PostgreSQL实例
购买RDS PostgreSQL实例并完成必要配置（创建账号、设置白名单）后，您就可以通过数据管理DMS、pgAdmin客户端、PostgreSQL命令行工具或应用程序等方式连接RDS PostgreSQL实例，实现您的业务目标。本文介绍这些连接方法的具体操作。前提条件...
区域热力层
数据提取。使用GeoJSON行政区划边界提取小工具 DataV.GeoAtlas，最低可以提取区县级边界数据，区域adcode可以查阅 省市区adcode与经纬度映射表，提取方法如下。省级：区域热力层默认显示为全国范围内，各个省和直辖市区域热力层数据，可以...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
生态集成
云原生数据仓库AnalyticDB PostgreSQL版 具备完善和开放的生态系统，支持无缝对接业界以及阿里云生态的数据管理工具，BI报表可视化工具，ETL工具，数据迁移工具，同时可以与业界流行的流式处理系统，日志类系统，大数据类系统，传统数仓及...
地图数据格式
您可以使用GeoJSON行政区划边界提取小工具 DataV.GeoAtlas，获取区域边界的地理数据信息，最低层级为区县级。坐标拾取器—高德地图 您可以通过高德地图的坐标拾取器，将详细地址转换为精准的基于 的坐标。例如，在搜索框中输入 西溪湿地，...
地图数据格式
您可以使用GeoJSON行政区划边界提取小工具 DataV.GeoAtlas，获取区域边界的地理数据信息，最低层级为区县级。坐标拾取器—高德地图 您可以通过高德地图的坐标拾取器，将详细地址转换为精准的基于 GCJ-02坐标系 的坐标。例如，在搜索框中...
数据上云场景
MaxCompute平台提供了丰富的数据上传下载工具，可以广泛应用于各种数据上云的应用场景，本文为您介绍三种经典数据上云场景。Hadoop数据迁移 您可使用MMA、Sqoop和DataWorks进行Hadoop数据迁移。使用DataWorks结合DataX进行Hadoop数据迁移的...
近实时增量导入
涉及的数据源丰富多样，可能存在数据库、日志系统或者其他消息队列等系统，为了方便用户将数据写入MaxCompute的Transactional Table 2.0，MaxCompute深度定制开发了开源 Flink Connector工具，联合DataWorks数据集成以及其它数据导入工具，...
数据模型概述
数据模型（Data Model）是数据特征的抽象，它从抽象层次上描述了系统的静态特征、动态行为和约束条件，为数据库系统的信息表示与操作提供一个抽象的框架...说明 Hadoop的MR调优参数属于底层，DDM是数据建模工具，支持设置表、字段等物理属性。
什么是DataWorks
中国国际大数据产业博览会十佳大数据案例 中国信通院：数据集成工具、数据管理工具、数据开发平台、数据脱敏工具、数据分类分级等评测 学习路径 您可以通过DataWorks文档首页的 学习路径，快速了解DataWorks的相关概念、基础操作及进阶操作...
应用场景
数据建模：通过数据建模模块提供的各种数据开发工具，实现数据的清洗、加工和转换。资产管理：通过资产运营功能实现资产的注册、编目、上架，在资产中心方便各个部门的使用人员搜索数据资源并申请数据权限。价值：数据标准一致：沉淀行业...
- 产品推荐
- 这些文档可能帮助您