调度设计文档
节点ID 节点名称 用途 数据输入表 数据产出表 调度周期 320170257 workshop_start 虚拟节点，用于管理下游节点 Null Null 日 320170260 MySQL数据同步 拉取MySQL数据源数据 ods_user_info_d ods_user_info_d 日 320170260 FTP数据同步 拉取...
FIRST_VALUE
本文为您介绍如何使用FIRST_VALUE函数，返回指定数据流的第1条非NULL数据。使用限制 仅实时计算引擎VVR 3.0.0及以上版本支持FIRST_VALUE函数。语法 FIRST_VALUE(T value)FIRST_VALUE(T value,BIGINT order)入参 参数 数据类型 说明 value ...
元数据库数据字典
为null DATA_LENGTH bigint(21)YES NULL 数据大小 MAX_DATA_LENGTH bigint(21)YES NULL 未使用，为null INDEX_LENGTH bigint(21)YES NULL 索引大小 DATA_FREE bigint(21)YES NULL 未使用，为null AUTO_INCREMENT bigint(21)YES NULL 表的自...
EXPLODE
如果表中存在NULL数据，不会单独返回。使用限制 在一个 select 中只能出现一个 explode 函数，不可以出现表的其他列。不可以与 group by、cluster by、distribute by、sort by 一起使用。命令格式 explode()参数说明 var：必填。array类型...
元数据库数据字典
1 初始化大小 INCREMENTAL_CAPACITY int(11)YES 无-1 增量大小 DB_ASSIGN_STRATEGY varchar(255)YES 无 NULL 数据库分配策略 SHARED tinyint(1)YES 无 0 是否是共享实例 CREATE_TIME timestamp NO 无 CURRENT_TIMESTAMP 创建时间 UPDATE_...
复杂类型函数
如果表中存在NULL数据，不会单独返回。参数说明 var：必填。array类型或 map,V>类型。返回值说明 返回转换后的行。示例 示例1：例如表 t_table_map 的字段为 c1 bigint,t_map map,bigint>，包含数据如下：+-+-+|c1|t_map|+-+-+|1000|{k11:...
通过OSS外表访问OSS数据
MEDIUMBLOB 0~16777215 Bytes 二进制形式的中等长度文本数据 MEDIUMTEXT 0~16777215 Bytes 中等长度文本数据 LONGBLOB 0~4294967295 Bytes 二进制形式的极大文本数据 LONGTEXT 0~4294967295 Bytes 极大文本数据 NULL值 插入NULL值。...
偏分析场景的实践和优化
id|select_type|table|partitions|type|possible_keys|key|key_len|ref|rows|filtered|Extra|+-+-+-+-+-+-+-+-+-+-+-+-+|1|SIMPLE|NULL|NULL|NULL|NULL|NULL|NULL|NULL|NULL|NULL|Impossible WHERE|+-+-+-+-+-+-+-+-+-+-+-+-+1 row in set ...
Tunnel命令
ni 指定NULL数据标识符。默认值为空字符串。ow 指定上传数据是否覆盖表或分区。默认值为False，上传数据为累加方式。示例如下。创建分区表 CREATE TABLE IF NOT EXISTS sale_detail(shop_name STRING,customer_id STRING,total_price ...
Tunnel命令
ni 指定NULL数据标识符。默认值为空字符串。ow 指定上传数据是否覆盖表或分区。默认值为False，上传数据为累加方式。示例如下。创建分区表 CREATE TABLE IF NOT EXISTS sale_detail(shop_name STRING,customer_id STRING,total_price ...
PostgreSQL数据源
例如一次同步任务启动运行过程中，当该库存在其他数据写入方写入数据时，由于数据库本身的快照特性，PostgreSQL Reader完全不会获取到写入的更新数据。上述是在PostgreSQL Reader单线程模型下数据同步一致性的特性，PostgreSQL Reader可以...
数据库返回“Data truncation:Truncated incorrect”...
将对应字段数据为NULL的值订正为某个默认值或者删除对应字段值为NULL的记录，SQL语句如下所示：订正为默认值：update[$Table_Name]set[$Field]=[$Value]where[$Field]is NULL;说明：[$Value]为您变更后的值。删除NULL记录：delete from[$...
UpdateProjectConfig-更新项目配置
本接口用于更新数据迁移或数据同步项目的配置。接口说明 本接口使用全量替换式更新：全部覆盖：当您调用本接口时，需要传入一整套完整的配置信息。未传即删：在新的配置集中未包含的任何旧配置项，都将被删除。差异更新：只有与系统当前...
创建同步ElasticSearch
脏数据 ES6 f1 v2 {f1:v1,f4:v4,f5:v5,f6:v6} ES7-v2 {f1:v1,f4:v4,f5:v5,f6:v6} 数据=v1,null,v3,v4,v5,v6 ES版本 type id data ES5-id属性列为null，脏数据 ES6-id属性列为null，脏数据 ES7-id属性列为null，脏数据 数据=v1,v2,null,v4,v...
通过数据同步功能同步SLS数据至数仓版
通过 AnalyticDB for MySQL 的数据同步功能，您可以将SLS中指定时间点之后产生的数据实时同步至 数仓版（3.0）集群，以满足日志数据实时分析的需求。前提条件 数仓版（3.0）集群与日志服务SLS的 Project和 Logstore位于同一地域。具体操作...
通过数据同步功能同步SLS数据至湖仓版
通过 AnalyticDB for MySQL 的数据同步功能，您可以将SLS中指定时间点之后产生的数据实时同步至 湖仓版（3.0）集群，以满足日志数据实时分析的需求。前提条件 湖仓版（3.0）集群与日志服务SLS的 Project和 Logstore位于同一地域。具体操作...
HttpFile数据源
如果源头数据是null，则数据同步视作null字段。nullFormat:"\u0001"：表示“不可见字符”。如果源头数据是字符串"\u0001"，则数据同步视作null字段。未配置"nullFormat"参数：表示来源是什么数据就直接按照什么数据写入目标端，不做任何...
查询报错问题
对于普通表 一级普通表：新增字段且执行optimize成功后可查询到新增字段（老数据为null）。二级普通表：新增字段且需触发最大二级分区的optimize，待optimize成功后可查询到新增字段。对于未上线或者CN副本重启导致的报错，请检查上线情况...
Amazon S3数据源
例如，您配置 nullFormat="null"，那么如果源头数据是 null"，数据同步系统会视作null字段。否 无 skipHeader CSV格式文件通过 skipHeader 配置是否读取表头内容。True：同步数据源的时候读取表头内容。False：同步数据源的时候不读取表头...
FTP数据源
例如您配置 nullFormat="null"，如果源头数据是空指针null，数据集成序列化为null字面值字符串（4个字符）。否 无 dateFormat 日期类型的数据序列化到文件中时的格式，例如"dateFormat":"yyyy-MM-dd。否 无 fileFormat 文件写出的格式，...
整库离线同步至OSS
例如，您配置 null值 为 null，如果源头数据是null，数据同步系统会视作null字段。时间格式 定义写入时间类型数据时的格式。写入单个文件 定义源端单表是否写入单个文件，当开关为关闭状态时，一张表将被写入多个文件，文件名将添加随机...
OSS数据离线同步至MaxCompute
例如，配置 nullFormat="null"，那么如果源头数据是 null，数据同步系统会视作null字段。压缩格式 源头文件的压缩格式，支持gzip、bzip2和zip。None为无压缩。是否包含表头 类CSV格式文件可能存在表头为标题情况，可选择是否需要跳过。默认...
OSS数据离线同步至MaxCompute
例如，配置 nullFormat="null"，那么如果源头数据是 null，数据同步系统会视作null字段。压缩格式 源头文件的压缩格式，支持gzip、bzip2和zip。None为无压缩。是否包含表头 类CSV格式文件可能存在表头为标题情况，可选择是否需要跳过。默认...
MySQL数据源
MySQL数据源为您提供读取和写入MySQL的双向通道，本文为您介绍DataWorks的MySQL数据同步的能力支持情况。支持的MySQL版本 离线读写：支持MySQL 5.5.x、MySQL 5.6.x、MySQL 5.7.x、MySQL 8.0.x，兼容 Amazon RDS for MySQL、Azure MySQL。离...
OSS数据源
例如：配置 nullFormat:"null"，等同于“可见字符”，如果源头数据是null，则数据同步视作null字段。配置 nullFormat:"\u0001"，等同于“不可见字符”，如果源头数据是字符串"\u0001"，则数据同步视作null字段。不写"nullFormat"这个参数，...
RestAPI（HTTP形式）数据源
RestAPI数据源为您提供读取和写入RestAPI双向通道的功能，本文为您介绍DataWorks的RestAPI数据同步的能力支持情况。使用限制 目前该数据源仅支持 独享数据集成资源组。目前不支持设置超时参数，当前DataWorks内置的请求超时时间是60s,如果...
INSERT ON CONFLICT(UPSERT)
如果写入的一行数据不包含所有列，缺失的列的数据补Null，需要通过 insert on conflict do update 和手动补Null值一起实现。根据UPDATE的原理，当表设置不同的存储格式时，不同UPDATE模式下的更新性能如下：列存表不同写入模式的性能排序...
Java UDAF
args为SQL中调用UDAF时指定的参数，不能为NULL，但是args里面的元素可以为NULL，代表对应的输入数据是NULL。abstract public void iterate(Writable buffer,Writable[]args)throws UDFException;terminate方法。abstract public Writable ...
OSS-HDFS数据源
例如您配置 nullFormat:"null"，如果源头数据是null，数据集成会将其视作null字段。否 无 compress 目前仅支持gzip、bzip2和snappy压缩。否 无 Writer脚本Demo {"type":"job","version":"2.0",/版本号。steps":[{"stepType":"stream",...
MaxCompute数据源
MaxCompute数据源作为数据中枢，为您提供读取和写入数据至MaxCompute的双向通道。使用限制 说明 DataWorks的MaxCompute数据源可使用 Tunnel Endpoint 地址访问相应MaxCompute项目的Tunnel服务，从而通过上传、下载等方式同步该项目的数据。...
修改表 ALTER TABLE 的不兼容点
本文为您介绍迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL 租户时，MySQL 数据库执行的 ALTER TABLE DDL 支持被数据传输的 DDL 同步组件转换，但 OceanBase 数据库 MySQL 租户不支持执行的场景。行内 CHECK 表达式中引用了其它列 ...
其他函数
1500.0|0.0|30|7876|ADAMS|CLERK|7788|1987-05-23 00:00:00|1100.0|NULL|20|7934|MILLER|CLERK|7782|1982-01-23 00:00:00|1300.0|NULL|10|7956|TEBAGE|CLERK|7748|1982-12-30 00:00:00|1300.0|NULL|10|+-+-+-+-+-+-+-+-+CASE WHEN表达式 ...
DescribeProjectSteps-查询项目步骤的详情
Reason":"null","ReasonMcmsKey":"null","ReasonMcmsContext":{"key":"null"},"Proposal":"null","ProposalMcmsKey":"null","ProposalMcmsContext":{"key":"null"},"UpstreamErrorDetail":"null"}],"ErrorCode":"INNER_ERROR","ErrorMsg":...
HDFS数据源
例如您配置 nullFormat:"null"，如果源头数据是null，数据集成会将其视作null字段。说明 字符串的null（n、u、l、l四个字符）和实际的null不同。否 无 compress 当fileType（文件类型）为csv下的文件压缩方式，目前仅支持gzip、bz2、zip、...
表引擎
time─┬─comment─┐│1│2019-12-13│NULL│1│2019-12-13│NULL│2│2019-12-14│NULL│3│2019-12-15│NULL│3│2019-12-15│NULL│└─┴─┴─┘ReplacingMergeTree 为了解决MergeTree表引擎相同主键无法去重的问题，云数据库...
NULL值相关的函数
数据库使用短路评估。也就是说，数据库评估每个 expr 值并确定它是否为 NULL，而不是在确定其中任何一个是否为 NULL 之前评估所有 expr 值。语法 COALESCE(expr[,expr].)参数 参数 说明 expr 可以是数字数据类型或者是字符数据类型的值或...
Grouping Sets、Rollup和Cube扩展
NULL|1|linux|PC|NULL|1|linux|Phone|NULL|1|windows|Phone|NULL|1|windows|NULL|NULL|4|ios|NULL|NULL|1|linux|NULL|NULL|2|NULL|NULL|NULL|7|+-+-+-+-+通过ROLLUP对 os,(os,device),city 按层级聚合的方式产生GROUPING SETS，语法如下：...
Grouping Sets、Rollup和Cube扩展
NULL|1|linux|PC|NULL|1|linux|Phone|NULL|1|windows|Phone|NULL|1|windows|NULL|NULL|4|ios|NULL|NULL|1|linux|NULL|NULL|2|NULL|NULL|NULL|7|+-+-+-+-+通过ROLLUP对 os,(os,device),city 按层级聚合的方式产生GROUPING SETS，语法如下：...
GROUPING SETS
返回结果如下：+-+-+-+-+|os|device|city|_c3|+-+-+-+-+|NULL|NULL|NULL|7|NULL|NULL|Beijing|4|NULL|NULL|Shijiazhuang|3|NULL|PC|NULL|4|NULL|PC|Beijing|3|NULL|PC|Shijiazhuang|1|NULL|Phone|NULL|3|NULL|Phone|Beijing|1|NULL|Phone|...
GROUPING SETS
返回结果如下：+-+-+-+-+|os|device|city|_c3|+-+-+-+-+|NULL|NULL|NULL|7|NULL|NULL|Beijing|4|NULL|NULL|Shijiazhuang|3|NULL|PC|NULL|4|NULL|PC|Beijing|3|NULL|PC|Shijiazhuang|1|NULL|Phone|NULL|3|NULL|Phone|Beijing|1|NULL|Phone|...
- 产品推荐
- 这些文档可能帮助您