数据扫描和识别
支持扫描的数据源类型如下：结构化数据：RDS、PolarDB、PolarDB-X、MongoDB、OceanBase、自建数据库 非结构化数据：OSS 大数据：TableStore、MaxCompute、ADB-MYSQL、ADB-PG 数据源授权完成后需要多长时间完成扫描？DSC 完成数据源授权后，...
需求分析
MySQL用户信息数据结构（ods_user_info_d）字段名称 字段说明 uid 用户名 gender 性别 age_range 年龄分段 zodiac 星座 步骤二：分析产出目标用户画像数据结构 根据原始数据分析可获得的有效数据，并基于业务需求确认最终数据表结构。...
需求分析
MySQL用户信息数据结构（ods_user_info_d）字段名称 字段说明 uid 用户名 gender 性别 age_range 年龄分段 zodiac 星座 步骤二：分析产出目标用户画像数据结构 根据原始数据分析可获得的有效数据，并基于业务需求确认最终数据表结构。...
库表结构优化
要做好库表结构设计和优化，用户通常需要关注以下信息：数据库引擎架构 用户需要了解数据库引擎的存储和计算架构特点，才能结合业务的数据分布特征与业务场景特征，进行数据建模，从而设计出符合引擎架构特点的数据表结构。SQL特征差异 ...
定义敏感数据
全新定义敏感数据 您需要根据业务场景特性，判断哪些数据属于敏感数据，哪些数据属于普通数据，对于敏感数据，在库表结构中将数据类型定义为对应的敏感数据类型。以如下数据表为例：CREATE TABLE example(account integer,-账户号码，对应...
定义敏感数据
全新定义敏感数据 您需要根据业务场景特性，判断哪些数据属于敏感数据，哪些数据属于普通数据，对于敏感数据，在库表结构中将数据类型定义为对应的敏感数据类型。以如下数据表为例：CREATE TABLE example(account integer,-账户号码，对应...
兼容性概览
为了帮助您更清晰地使用外部工具连接访问MaxCompute，本文将为您介绍MaxCompute支持连接...工具 连接数据库 列举数据库 创建表 查看所有表 查看表结构 查看表数据 写表 创建视图 查看视图结构 查看视图数据 DBeaver DataGrip SQL Workbench/J
步骤三：配置节点运行配置
当选择星号（*）时，代表数据结构为任意结构，用于对未新建数据模型的表进行操作，此时物理表必须选择已经存在的表。开发环境 物理表所在资源 开发环境中节点输入使用的物理表所在资源。物理表名 开发环境中节点输入参数的物理表名，可...
步骤三：配置节点运行配置
当选择星号（*）时，代表数据结构为任意结构，用于对未新建数据模型的表进行操作，此时物理表必须选择已经存在的表。开发环境 物理表所在资源 开发环境中节点输入使用的物理表所在资源。物理表名 开发环境中节点输入参数的物理表名，可...
新建Spark Batch类型的公共节点
当选择星号（*）时，代表数据结构为任意结构，用于对未创建数据模型的表进行操作。节点输出 输出标识 输出变量的标识，用户可根据前面编写的 脚本内容 来自定义，例如：Output。数据结构 云计算资源类型 输出数据的数据源类型。输出数据...
新建Flink SQL类型的公共节点
当选择星号（*）时，代表数据结构为任意结构，用于对未创建数据模型的表进行操作。节点输出 输出标识 输出变量的标识，用户可根据前面编写的 脚本内容 来自定义，例如：Output。数据结构 云计算资源类型 输出数据的数据源类型，在下拉列表...
新建Flink Vvp SQL类型的公共节点
当选择星号（*）时，代表数据结构为任意结构，用于对未创建数据模型的表进行操作。节点输出 输出标识 输出变量的标识，用户可根据前面编写的 脚本内容 来自定义，例如：Output。数据结构 云计算资源类型 输出数据的数据源类型。输出数据...
同步节点
当选择星号（*）时，表示数据结构为任意结构，用于对未创建数据模型的表进行操作，此时物理表必须选择已经存在的表。开发数据表 开发环境中源端输入的物理表，在下拉列表中选择。生产数据源 生产环境中使用源端输入的物理表所在资源。生产...
同步节点
当选择星号（*）时，表示数据结构为任意结构，用于对未创建数据模型的表进行操作，此时物理表必须选择已经存在的表。开发数据表 开发环境中源端输入的物理表，在下拉列表中选择。生产数据源 生产环境中使用源端输入的物理表所在资源。生产...
新建开发环境场景并运行
当选择星号（*）时，代表数据结构为任意结构，用于对未创建数据模型的表进行操作，此时物理表必须选择已经存在的表。开发环境 云计算资源 开发环境中节点输入使用的物理表所在资源。表名 开发环境中节点输入参数的物理表名，可自定义新建...
新建开发环境场景并运行
当选择星号（*）时，代表数据结构为任意结构，用于对未创建数据模型的表进行操作，此时物理表必须选择已经存在的表。开发环境 云计算资源 开发环境中节点输入使用的物理表所在资源。表名 开发环境中节点输入参数的物理表名，可自定义新建...
数据治理
表管理数据地图表结构未更新 新建表在数据地图找不到 数据集成搜不到新建的表 当前表业务逻辑变更如何通知下游？您可以通过 数据地图表详情 页的 血缘信息>影响分析 中批量以邮件方式告知下游相关责任人。哪些类型的Hive表支持在数据地图中...
mysqldump
当您需要备份或者迁移 云数据库SelectDB 中的数据时，通过mysqldump工具，可以将数据库的结构和数据导出到一个文本文件中。该文件包含了创建数据库、表以及插入数据的SQL语句，从而确保数据的完整性和一致性。使用示例 导出 导出test_db...
全量数据同步
RDS MySQL数据源已有ys_yhkh表作为数据同步来源表，表结构及数据获取请参见 RDS脚本。操作步骤 登录 数据资源平台控制台。在页面左上角，选择>协同。在顶部菜单栏，单击 图标，选择目标工作组。在左侧导航栏，单击>离线数据同步。在 离线...
新建同步节点并运行后上线
当选择星号（*）时，表示数据结构为任意结构，用于对未创建数据模型的表进行操作，此时物理表必须选择已经存在的表。开发数据表 开发环境中源端输入的物理表，在下拉列表中选择。生产数据源 生产环境中使用源端输入的物理表所在资源。生产...
新建同步节点并运行后上线
当选择星号（*）时，表示数据结构为任意结构，用于对未创建数据模型的表进行操作，此时物理表必须选择已经存在的表。开发数据表 开发环境中源端输入的物理表，在下拉列表中选择。生产数据源 生产环境中使用源端输入的物理表所在资源。生产...
元表和字段资产详情
② 图例区 表级血缘支持的数据表，包括 物理表、维度逻辑表、事实逻辑表、汇总逻辑表、标签逻辑表、物理视图、逻辑视图、元表、镜像表、数据源表。③ 血缘图展示区 为您展示完整的血缘链路图，可手动展开多级上游或下游，支持根据数据表...
元表和字段资产详情
② 图例区 表级血缘支持的数据表，包括 物理表、维度逻辑表、事实逻辑表、汇总逻辑表、标签逻辑表、物理视图、逻辑视图、元表、镜像表、数据源表。③ 血缘图展示区 为您展示完整的血缘链路图，可手动展开多级上游或下游，支持根据数据表...
创建元数据
在基于HBase、Elasticsearch或MongoDB数据源创建服务单元之前，需要先创建对应数据源中数据表的元数据，以实现通过元数据确定数据源中数据表的结构。后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、...
配置DTS数据迁移节点
结构：迁移表结构。说明 如果目标表存在，不需要选中结构同步。如果目标表不存在，必须选中结构同步。单击 试运行。如果执行日志的最后一行出现 status SUCCEEDED，表明任务试运行成功。如果执行日志的最后一行出现 status FAILED，表明...
TRUNCATE TABLE
TRUNCATE TABLE 用于清空表数据或者表分区数据。语法 清空表数据。TRUNCATE TABLE db_name.table_name;清空表中的指定分区。TRUNCATE TABLE db_name.table_name PARTITION partition_name[,.];分区名的数据类型为bigint，您可以通过以下SQL...
MaxCompute物理视图和字段详情
② 图例区 表级血缘支持的数据表，包括 物理表、维度逻辑表、事实逻辑表、汇总逻辑表、标签逻辑表、物理视图、逻辑视图、元表、镜像表、数据源表。③ 血缘图展示区 为您展示完整的血缘链路图，可手动展开多级上游或下游，支持根据数据表...
表
说明 DataWorks的数据开发模块可以对MaxCompute表进行新建、收藏、修改数据生命周期管理、修改表结构和数据表/资源/函数权限管理审批等操作。MaxCompute的表格有两种类型：内部表和外部表（MaxCompute 2.0版本开始支持外部表）。对于内部表...
StarRocks物理视图和字段详情
② 图例区 表级血缘支持的数据表，包括 物理表、维度逻辑表、事实逻辑表、汇总逻辑表、标签逻辑表、物理视图、逻辑视图、元表、镜像表、数据源表。③ 血缘图展示区 为您展示完整的血缘链路图，可手动展开多级上游或下游，支持根据数据表...
增量数据同步
RDS MySQL数据源已有ys_yhkh表作为数据同步来源表，表结构及数据获取请参见 RDS脚本。操作步骤 登录 数据资源平台控制台。在页面左上角，选择>协同。在顶部菜单栏，单击 图标，选择目标工作组。在左侧导航栏，单击>离线数据同步。在 离线...
逻辑视图和字段资产详情
② 图例区 表级血缘支持的数据表，包括 物理表、维度逻辑表、事实逻辑表、汇总逻辑表、标签逻辑表、物理视图、逻辑视图、元表、镜像表、数据源表。③ 血缘图展示区 为您展示完整的血缘链路图，可手动展开多级上游或下游，支持根据数据表...
逻辑视图和字段资产详情
② 图例区 表级血缘支持的数据表，包括 物理表、维度逻辑表、事实逻辑表、汇总逻辑表、标签逻辑表、物理视图、逻辑视图、元表、镜像表、数据源表。③ 血缘图展示区 为您展示完整的血缘链路图，可手动展开多级上游或下游，支持根据数据表...
管理迭代
工单类型参考文档 功能说明 普通数据变更 对表数据和表结构进行变更。无锁变更 在不锁表的情况下，对表数据和表结构进行变更。数据导入 将数据快速导入至数据库。可编程对象 对函数和存储过程进行变更。结构设计 对表结构进行变更或新建表...
MaxCompute/Hadoop物理视图和字段详情
② 图例区 表级血缘支持的数据表，包括 物理表、维度逻辑表、事实逻辑表、汇总逻辑表、标签逻辑表、物理视图、逻辑视图、元表、镜像表、数据源表。③ 血缘图展示区 为您展示完整的血缘链路图，可手动展开多级上游或下游，支持根据数据表...
导出数据
导出内容 选择导出内容，当前支持导出 数据、结构 或 数据和结构。导出结构类型 选择导出结构类型，当前支持导出的结构类型有 存储过程、函数、触发器、视图、事件。说明 不同类型的数据库支持的导出结构类型不同，请以控制台为准。完成...
DataX同步数据
创建同步数据的源数据表和目标数据表：创建源数据表的代码示例如下。create table datax_test1(area varchar(255),province varchar(255));insert into datax_test1 values('华北','山东省'),('华南','河南省');创建目标数据表的代码示例...
DataX同步数据
创建同步数据的源数据表和目标数据表：创建源数据表的代码示例如下。create table datax_test1(area varchar(255),province varchar(255));insert into datax_test1 values('华北','山东省'),('华南','河南省');创建目标数据表的代码示例...
MSCK REPAIR DATABASE
MSCK REPAIR DATABASE的作用是同步底层数据的表结构到DLA中，对于底层已经删除的表，它会自动删除DLA中对应的表，对于底层新增的表，它会自动添加对应的DLA表。MSCK REPAIR DATABASE db_name 示例 msck repair database db001 注意事项 ...
自定义RDBMS数据库及同步数据
为了满足不同业务场景数据集成的诉求，Dataphin支持用户自定义当前系统不支持的RDBMS数据库（关系型数据库）类型的组件，并进行数据同步。您只需要准备关系型数据库的驱动，即可自定义RDBMS数据库类型的组件。本教程以MySQL为例，为您介绍...
将MySQL数据迁移到Redis
SELECT CONCAT("*12\r",#这里的12是下方字段的数量，由MySQL表中的数据结构决定 '$',LENGTH('HMSET'),'\r ',#HMSET是在Redis中写入数据时使用的命令 'HMSET','\r ','$',LENGTH(id),'\r ',#id是HMSET字段后的第一个字段，迁移后会成为Redis ...
- 产品推荐
- 这些文档可能帮助您