离线同步读取MongoDB数据
附录1：同步过程中的数据格式转换说明 数组类型数据转换为JSON格式输出：col_array_to_json MongoDB原始数据 字段映射配置 输出至MaxCompute的结果 {"col_array_to_json":["a","b"]} {"name":"col_array_to_json","type":"string"} 字段...
数据脱敏
动态脱敏通常用于生产环境，可以保持原始数据的完整性和准确性，同时避免了数据泄露的风险。动态脱敏的缺点是处理速度较慢，可能会影响数据库的查询效率。静态脱敏：对敏感数据进行预处理，将处理后的数据替换原始数据存储在数据库等存储...
数据脱敏
透明性：在原始数据中嵌入水印标记信息且不易被察觉，不影响原数据使用。可检测性：可以从数据片段中提取水印信息，进行数据溯源，溯源成功率高。鲁棒性：受到恶意攻击后，仍然可以完整地提取水印信息。低错误率：精确设计的水印提取规则，...
pg_dump
注意事项 当选择了仅用作数据备份且使用了-disable triggers 选项的表时，pg_dump会在插入数据之前发出禁用用户表触发器的命令，插入数据后发出重新启用触发器的命令。如果恢复中途被停止，系统目录可能会停留在一种错误状态。备份文件恢复...
按扫描量付费
如何节省费用 您可以先通过以下3种方式对原始数据进行处理，然后再使用DLA扫描数据，可以节省一定的费用。格式转换：把原始数据的格式转换为高性能格式。DLA支持多种高性能数据格式，例如Apache ORC、Apache Parquet、Avro格式。您可以根据...
InsertListResult
名称 类型 描述 示例值 object InsertList 操作的返回值。NumberOfRecordsUpdated long 插入的记录条数。5 AutoIncrementKeys array 每条记录插入时的自增列的值。long 单条数据插入时的自增列的值。2
数据脱敏
本文介绍数据安全中心数据脱敏功能相关的常见问题和解决方案。静态脱敏是否对原始数据有影响？没有影响。静态脱敏功能只会对数据进行读取、脱敏后保存到您选择的目标位置，不会对源数据进行改动。是否支持脱敏图片类型的数据？不支持。
执行INSERT FROM SELECT迁移数据
OSS到AnalyticDB for MySQL 2.0的数据插入，包含对OSS数据的筛选逻辑/*+run-async=true*/INSERT INTO ads_database_schema.order_table1(customer1_id,order1_id,order1_time,order1_amount,order1_type,address1,city1,order1_season)...
应用场景
背景信息 设备将原始数据通过 MQTT 协议发送到物联网平台，经由物联网平台将数据转发到消息服务系统，继而通过流计算系统对这些数据进行实时计算处理后写入到 TSDB 中存储，或者经由物联网平台直接将原始数据写入 TSDB 中存储。前端的监控...
CREATE CQ
每当流表中有数据插入，如果符合预设的查询条件，则可以将该数据存储下来，作为实时计算的数据来源。本文介绍如何通过DML语句创建持续查询。语法 CREATE CQ cq_name INSERT INTO[catalog_name.][db_name.]table_name[column_list]select_...
数据写入AnalyticDB
步骤五：执行INSERT…SELECT将OSS中的数据插入AnalyticDB 异步执行以下SQL，将OSS中table目录下dla_table_1文件中的数据插入AnalyticDB中ads_database数据库中的shipping表。执行OSS到AnalyticDB的全量数据插入/*+run-async=true*/INSERT ...
准备数据源和计算源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据；同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源，为数据的研发提供计算资源。准备数据源 ...
准备数据源和计算源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据；同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源，为数据的研发提供计算资源。准备数据源 ...
导出、分享和下载电子表格
将数据插入MaxCompute表（insert overwrite）如果您选择的插入模式为 将数据插入MaxCompute表（insert overwrite），请打开需要插入语句的MaxCompute表。在表的编辑页面，单击 DDL模式，粘贴已复制的SQL语句，单击 生成表结构。新建...
DML操作
目录 插入单条数据 插入多条数据 单值分区表插入数据 修改数据-单条数据 修改数据-用查询结果批量修改 说明 若您需对Dataphin中逻辑表进行DML操作，请参见 逻辑表DML操作。插入单条数据 INSERT INTO<table_name>VALUES(value1,value2,value...
离线同步数据质量排查
在写出端您可以尝试从下列常见情况对照排查：原因 问题描述 解决方案 写出模式选择导致 Writer插件会使用选择的写出模式将源头数据在目标端执行重放，如果源头数据和目标表结构出现数据约束，会对应导致数据插入失败（脏数据）、数据插入...
07批量导入逻辑表
模型名称 模型描述 所属模型目录 ods_base_xykbkjl_demo_di 信用卡办卡记录信息（原始数据）ODS/基础信息 ods_base_xykxfmx_demo_di 信用卡消费明细（原始数据）ODS/基础信息 dwd_khzx_khxx_demo_di 银行客户信息 DWD/客户中心域 dwd_xykyw...
新增脱敏算法
例如，脱敏算法为变换，脱敏规则为字符串左移2位，原始数据为345678，字符串循环左移2位后的结果为567834，查看脱敏结果是否符合预期。单击 提交。说明 敏感数据默认的脱敏规则为系统内置的DEFAULT，如果您需要将新增的脱敏规则应用于敏感...
向量数据导入
本节介绍如何进行数据插入。向量的数据导入和普通的堆表数据导入相同，可以采用 INSERT 语法，也可以采用 COPY 语法。本文以 INSERT 语法为例进行介绍。说明 向量列支持两种表达方式。向量列采用ARRAY[]的方式表示 INSERT INTO chunks ...
MULTI INSERT
MaxCompute SQL支持您在一条SQL语句中通过 insert into 或 insert overwrite 操作将数据插入不同的目标表或者分区中，实现多路输出。前提条件 执行操作前需要具备目标表的修改权限（Alter）及源表的元信息读取权限（Describe）。授权操作请...
Flink_SQL任务开发方式
使用示例 若您需要将 example 项目计算源中的 test 物理表数据插入到 test_demo 物理表中。您可以参考以下示例代码：insert into test_demo select id,name from example.test;Dataphin数据源表开发方式 Dataphin数据源表开发方式是指您在...
配置数据脱敏
例如，原始数据为a123，安全域设置为0时，脱敏成b124，安全域设置为1时，脱敏成c234。原始数据相同时，如果安全域相同则脱敏后的数据也是相同的。当选择的 敏感数据类型 为非内置时，用户需要配置 替换字符集。替换字符集：遇到字符集中的...
代码智能推荐
说明 可以通过查看 原始数据、数据响应结果 和 组件数据示例 查看当前组件的参数字段。在智能推荐的 数据处理脚本 中进行二次编辑，确认无误后单击 应用。说明 可以通过 数据响应结果 区域，查看经过处理后的数据详情。可选，若不需要使用...
连续查询
如果数据未按照时间顺序写入原始数据表，即下一个时间窗口开始后仍然有上一时间窗口的数据零星写入，连续查询不会重新计算当前时间窗口之前的历史数据。连续查询可不指定时间窗口（Window）。不指定时间窗口（Window）时，会采用计算间隔...
创建数仓分层
各个分层的功能介绍如下：数据引入层 ODS（Operational Data Store）ODS层用于接收并处理需要存储至数据仓库系统的原始数据，其数据表的结构与原始数据所在的数据系统中的表结构一致，是数据仓库的数据准备区。ODS层对原始数据的操作具体...
AnalyticDB MySQL 2.0数据导入
MaxCompute中已经没有原始数据，原始数据只存在于 AnalyticDB for MySQL 2.0集群的数据库中，可以使用两种数据迁移方式将 AnalyticDB for MySQL 2.0集群中的数据导入到 数仓版（3.0）。具体操作，请参见 数据迁移。准备工作 了解 ...
何时选择间隔（Interval）分区
向RANGE分区表插入数据时，如果插入的数据超出当前已存在分区的范围，将无法插入并且会返回错误；而对于INTERVAL RANGE分区表，当新插入的数据超过现有分区的范围时，允许数据库自动创建新分区，根据INTERVAL子句指定的范围来新增分区。...
实例选型和集群规划
实例配置选型 如果有5 TB的原始数据，针对高性能分析场景，并有100并发以上的查询，建议采用SSD存储类型，单节点4核32 GB内存的实例规格，考虑到一定的存储安全水位80%，每个节点存储空间为200 GB，总共32个节点实例。云原生数据仓库...
调度设计文档
Null ods_raw_log_d 日 320170261 ods_log_info_d 原始数据脏数据清理 ods_raw_log_d ods_log_info_d320170259 日 320170262 dw_user_info_all_d 轻度汇总数据 ods_log_info_d dw_user_info_all_d 日 320170263 rpt_user_info_d 统计汇总...
典型场景
数据ETL：DLA支持Spark，提供强大的数据ETL能力，把ODS层的原始数据清洗为结构化的DW数据。机器学习：DLA支持Spark，支持开源算法库。交互式分析：DLA提供Presto交互式分析，支持BI、分析师的数据分析诉求。联邦分析：同时连接多个数据源做...
插入或覆写动态分区数据（DYNAMIC PARTITION）
MaxCompute支持通过 insert into 或 insert overwrite 操作向动态分区中插入数据。本文中的命令您可以在如下工具平台执行：MaxCompute客户端 使用SQL分析连接 使用DataWorks连接 MaxCompute Studio 前提条件 执行 insert into 和 insert ...
Flink_SQL任务开发方式
使用示例 若您需要将 example 项目计算源中的 test 物理表数据插入到 test_demo 物理表中。您可以参考以下示例代码：insert into test_demo select id,name from example.test;Dataphin数据源表开发方式 Dataphin数据源表开发方式是指您在...
RDS外部表
使用RDS数据源创建MaxCompute的外部表并加载数据 使用RDS数据源创建MaxCompute外部表的步骤如下：登录RDS数据库，执行建表语句并插入数据。操作详情请参见 通过DMS登录RDS数据库。建表示例如下：CREATE TABLE `rds_mc_external`(`id` int...
互联网、电商行业离线大数据分析
通过DataWorks对原始数据进行处理，并形成开放API。以API的形式通过DataV在大屏上展示结果数据。方案优势 大规模存储：超大规模存储且自动扩容，最大可以支持EB级别的数据。高性能：性能更加高效、稳定。低成本：与自建数据库进行分析相比...
成本
压缩表可以有效节约存储空间，如果采用ZSTD压缩算法，可节约大约75%存储空间，即1GB的原始数据仅仅需要250MB左右的物理存储空间。如采用LZ4压缩算法，可节约大约60%的存储空间，即1GB的原始数据仅仅需要400MB的物理存储空间。通过存储压缩...
应用场景
3.实时数据仓库 3.1 数据总线替换传统数据库，构建实时数仓 从Lambda架构到Kappa架构，通过数据总线搭建原始数据层，实时明细层和实时汇总层，打造实时数据仓库。3.2 收益 统一的Kappa架构 传统Lambda架构的两条链路缩减为一条，大大降低...
预测函数
该示例重点关注 NOAA_water_database 数据集的如下数据：SELECT"water_level"FROM"NOAA_water_database"."autogen"."h2o_feet"WHERE"location"='santa_monica' AND time>='2015-08-22 22:12:00' AND time步骤一：匹配原始数据的趋势 编写...
应用场景
数据脱敏 支持通过灵活多样的内置或自定义脱敏算法，支持生产类敏感数据脱敏到开发测试等非生产环境使用的静态脱敏场景，同时也支持原始数据不做调整，返回数据动态脱敏的场景，并确保脱敏后的数据保真可用。数据审计 智能解析数据库及大...
配置用户组
成功创建用户组后，您可以使用 数据脱敏管理 功能，配置目标脱敏规则的白名单，将该用户组添加至白名单中，则使用目标脱敏规则进行脱敏的数据，对该用户组中的用户仍然显示为脱敏前的原始数据。配置脱敏规则的白名单，详情请参见 创建数据...
快速体验
原始数据存储：云数据库 RDS MySQL（必选），本实验中DataWorks为您提供了阿里云RDS MySQL用于测试，包含了测试数据，无需您自己开通。数据传输：大数据开发治理平台 DataWorks数据集成（必选），基础版DataWorks已包含数据集成功能。大...
- 产品推荐
- 这些文档可能帮助您