归档为CSV或ORC格式
本文介绍了将冷数据归档为CSV或ORC格式的方法，以及将OSS表数据导回至PolarStore的方法。前提条件 归档为 CSV 格式的文件，企业版 集群版本需满足以下要求，您可以通过 查询版本号 来确认集群版本。产品系列为 集群版，且版本为以下版本之...
概述
如果您有低频修改归档到OSS上冷数据的需求，您可以通过 ALTER ENGINE 语法将OSS数据导回至PolarStore进行修改。数据导回至PolarStore后，会同步删除OSS上的冷数据。修改完数据之后，您可以再次将修改后的表归档为OSS表。详情请参见 将OSS...
冷数据归档常见问题
暂不支持直接修改已归档到OSS上的冷数据，您可以通过 ALTER TABLE table_name ENGINE=InnoDB 语法将OSS上的表数据导回至PolarStore，修改完成后，再通过 ALTER TABLE t ENGINE=CSV STORAGE OSS;脚本将表数据归档至OSS。详情请参见 将OSS...
概述
恢复数据的位置 PolarDB-X 当前仅支持恢复数据至新实例，恢复完成后建议通过DTS等工具将数据导回原实例。新实例的白名单设置、备份设置、参数设置和当前实例保持一致。新实例内的数据与备份文件或指定恢复时间点时的数据一致。新实例带有...
Tablestore Stream配置同步任务
写入前保留已有数据：导数据之前，不清理任何数据，每次运行数据都是追加进去的，相当于 insert into。空字符串作为null 默认值为 否。配置字段映射关系。左侧的源头表字段和右侧的目标表字段为一一对应的关系。单击 添加一行 可以增加单个...
通过Spark导入数据
Spark调用SelectDB的Upload接口（/copy/upload）将数据上传至内置对象存储中，再调用SelectDB的COPY INTO接口（/copy/query）将对象存储的数据导SelectDB表中。依赖管理 下载方式 以下是三个预编译的Connector包，详细版本以及下载地址请...
概述
静态脱敏 将生产库的全量数据导入至一个镜像数据库中，同时在导数据的过程中对敏感数据进行加密或脱敏。应用程序访问的不是真正的生产库而是镜像库，因此脱敏过程完全不会影响正常业务对生产库的使用。需要在数据导入的工具中开发一套修改...
FineBI
您可以通过FineBI连接 云原生数据仓库AnalyticDB MySQL版，以可视化的形式帮助您进行多样数据管理，例如过滤、分组汇总、新增列、字段设置、排序等，极大的提升了数据整合的便利性和效率。前提条件 了解FineBI与 AnalyticDB MySQL版 之间的...
Iceberg概述
删除或更新数据 大部分数仓都难以实现较为高效的行级数据删除或更新，通常需要启动离线作业把整个表原始数据读取出来，然后变更数据后，写入到一个原始表。而Iceberg成功把变更的范围从表级别缩小到了文件级别，从而可以通过局部变更来完成...
快速开始
DataV-Card可视分析创作间是一款面向高频数据处理的业务人员、零代码的数据可视分析产品，提供简单、直观、易于使用的数据准备、洞察发现、可视化分析工具，通过具象、生动、有趣的方式快速理解数据，让更多用户能便捷高效地利用数据可视化...
数据上云场景
MaxCompute平台提供了丰富的数据上传下载工具，可以广泛应用于各种数据上云的应用场景，本文为您介绍三种经典数据上云场景。Hadoop数据迁移 您可使用MMA...具体场景示例请参见 Flume收集网站日志数据到MaxCompute 和 海量日志数据分析与应用。
离线同步数据质量排查
如果写出数据和目标存储已有数据发生数据约束（主键冲突、唯一键约束、外键约束等），数据库则使用来源数据update更新目标表已有数据行，在目标表存在多个数据约束的情况下，数据替换可能会失败并产生脏数据 如果写出数据和目标存储已有...
需求分析
ods_raw_log_d 网站访问日志明细表数：dwd_log_info_di 用户网站访问信息宽表：dws_user_info_all_di 用户画像数据：ads_user_info_1d 根据规范设计数据流：本实验使用数据集成离线同步任务将用户信息数据与用户网站访问记录数据分别同步至...
需求分析
ods_raw_log_d 网站访问日志明细表：dwd_log_info_di 用户网站访问信息宽表：dws_user_info_all_di 用户画像数据：ads_user_info_1d 根据规范设计数据流：本实验使用数据集成离线同步任务将用户信息数据与用户网站访问记录数据分别同步至...
采集数据
本文为您介绍如何新建OSS和RDS数据源来访问本教程所提供的用户信息与网站日志数据，配置数据同步链路至私有OSS数据源，并通过EMR Hive节点建表去查询同步后的数据，完成数据同步的操作过程。前提条件 开始本文的操作前，请准备好需要使用的...
Tunnel命令常见问题
java.io.IOException:Error writing request body to server 产生原因 这是上传数据到服务器时产生的异常，通常是因为上传过程中的网络连接断开或超时导致的：当您的数据源并非是本地文件，需要从数据库等地方获取时，数据在写入的过程中还...
互联网、电商行业离线大数据分析
应用场景 电商网站数据看板。全国、全球业务的态势分析。互联网、金融行业的风险数据监控。方案介绍 实现互联网、电商行业离线大数据分析的流程如下：同步用户订单等数据至MaxCompute。通过DataWorks对原始数据进行处理，并形成开放API。以...
MMA概述
通过执行 INSERT 普通表 FROM SELECT OSS外表 命令将数据从OSS导⼊到MaxCompute。MaxCompute数据迁移原理 MaxCompute数据迁移包含同Region项目迁移、EMR+DLF+OSS迁移MaxCompute、跨Region项目迁移三种方式，本文为您介绍三种数据迁移方式的...
添加Open API数据源
在DataV中，最常见的场景是使用Open API调用其他的云产品的API，获取数据并展示出来。前提条件 已准备好待添加的Open API数据源。添加Open API数据源操作步骤 登录 DataV控制台。在 工作台 页面，单击 数据准备>数据源，进入 数据源 页面，...
MySQL整库实时同步至OSS数据湖
配置页面的右侧为源端数据库表的预览，是根据上述步骤中配置的数据源预览出来的待同步的数据库表和已选择好要同步的数据库表的预览情况。您可根据待同步的源端数据库表的数量，参考以下操作建议，快速选择要同步的库表。如果您的数据库表...
如何配置跨域数据
什么是跨域数据配置 用户A所包含的数据来自其自己的网站以及用户B的网站。自己网站上的数据可以通过类似 http://userA.com/page1 这样的接口进行访问。用户B提供 http://userB.com/page2 数据接口，但是当用户A发送一个Javascript ajax请求...
MongoDB实例空间使用率高问题
如果存在某个数据库的数据量极⼤且未做分片，建议对其做分片设计或者将其拆分出来当作单⼀的副本集对待。如果出现这种情况，但磁盘空间足够大，建议忽略该问题。⼤规模的movechunk操作可能引起分⽚的磁盘占⽤不均 movechunk的本质是向⽬标...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
实验介绍
数据采集 数据加工 配置数据质量监控 数据可视化展现 目标人群 开发工程师、数据分析师、产品运营等存在数仓数据获取与数据分析洞察人员。涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集，...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
快速体验
数据采集 数据加工 配置数据质量监控 数据可视化展现 目标人群 开发工程师、数据分析师、产品运营等存在数仓数据获取与数据分析洞察人员。涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集、...
区域下钻热力层（v1.x版本）
使用新发布出来的两个文件的URL，替换下钻热力层的自定义区域数据的URL，单击 预览 查看地图上的效果，即可完成自定义数据配置。预览成功的效果图如下，双击杭州市区域，可进入杭州市地图页面。双击空白处，可回到浙江省地图页面。重要 ...
区域下钻热力层（v2.x版本）
使用新发布出来的两个文件的URL，替换下钻热力层的自定义区域数据的URL，单击 预览 查看地图上的效果，即可完成自定义数据配置。上图中的示例数据如下。[{"area_tree":...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
配置页面的右侧为源端数据库表的预览，是根据上述步骤中配置的数据源预览出来的待同步的数据库表和已选择好要同步的数据库表的预览情况。您可根据待同步的源端数据库表的数量，参考以下操作建议，快速选择要同步的库表。如果您的数据库表...
管理敏感数据
如果您需要对RDS实例中的敏感数据进行管控和脱敏，可以使用数据管理DMS提供的敏感数据保护功能。费用 请参见 敏感数据保护功能定价。功能介绍 数据管理DMS的敏感数据管理提供如下功能：提供敏感数据资产大盘，解决企业敏感数据分布的统一纳...
StarRocks数据源
推荐splitPk用户使用表主键，因为表主键通常情况下比较均匀，因此切分出来的分片也不容易出现数据热点。否 无 Writer脚本Demo {"stepType":"starrocks","parameter":{"selectedDatabase":"didb1","loadProps":{"row_delimiter":"\\x02",...
我是安全管理员
数据水印 可在文件中嵌入水印或将文件的水印提取出来，在数据的散布或分发过程中追溯源头。权限管理 您可以申请实例、库、表、敏感列等内容的权限，还可以查看拥有的权限。解决方案 数据归档概述 数据归档功能支持定时将大表的数据归档至...
我是DBA
数据水印 可在文件中嵌入水印或将文件的水印提取出来，在数据的散布或分发过程中追溯源头。开启安全访问代理 使用标准的MySQL、HTTPS协议，直接连接安全访问代理生成的数据库实例的代理地址，实现数据库的安全访问。数据安全卫士 数据安全...
我是管理员
数据水印 可以嵌入水印或将文件的水印提取出来，在数据的散布或分发过程中追溯源头。开启安全访问代理 使用标准的MySQL、HTTPS协议，直接连接安全访问代理生成的数据库实例的代理地址，实现数据库的安全访问。数据安全卫士 数据安全卫士...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
应用场景
互联网类应用 Cassandra能够支持大并发低延时的访问需求，具备高可用和弹性扩容能力，适合日志、消息、feed流、订单、账单、网站等各种大数据量的互联网在线应用场景。多活 Cassandra原生支持多DC部署方式，实现更好的可用性和容灾能力。云...
导入结构和数据
如需导入大量数据，请使用导数工具 OBLOADER。最大支持 5 个导入任务并行运行，后续任务在队列中等待运行。导入任务涉及的文件默认保留 14 天。在 ODC V4.1.0 之后的版本，针对 OceanBase 数据源，配置 sys 租户账号可以提升导入速度。新建...
新功能发布记录
数据归档至AnalyticDB PostgreSQL版 数据分析 新增 数据分析功能支持通过图形或组件，将数据库中的表数据直观地展示出来。概述 名词解释 访问数据分析功能 管理数据集 仪表盘 08月 功能名称 变更类型 功能描述 相关文档 极简模式 新增 极简...
数据质量教程概述
数据质量是数据分析结论有效性和准确性的基础。本文为您介绍数据质量保障教程的业务场景以及如何衡量数据质量的高低。前提条件 在开始本教程前，请您首先完成 搭建互联网在线运行分析平台 教程，详情请参见 业务场景与开发流程。业务场景 ...
数据质量教程概述
数据质量是数据分析结论有效性和准确性的基础。本文为您介绍数据质量保障教程的业务场景以及如何衡量数据质量的高低。前提条件 在开始本教程前，请您首先完成 搭建互联网在线运行分析平台 教程，详情请参见 业务场景与开发流程。业务场景 ...
- 产品推荐
- 这些文档可能帮助您