Dataphin在同步任务中报错“java.lang....
用户设置的分割符和源表分隔符不一致，导致不能识别分割位置。2.用户设置的分隔符和源表分隔符一致，但是源表类型为TEXTFILE，某个字段为文本字段包含了分隔符，导致识别出多个分割位置。解决方案 1.修改同步任务设置的分隔符和源表的分隔...
UDF开发示例汇总
UDF示例：兼容Hive UDF示例：复杂数据类型 UDF示例：使用正则表达式替换字符串 UDF示例：获取字符串（不含分隔符）Value UDF示例：获取字符串（含有分隔符）Value UDF示例：引用文件资源 UDF示例：引用表资源 UDF示例：Python UDF使用第三...
添加云产品数据源
说明 数据格式 为 JSON 时，行分隔符 不支持设置为 逗号。数据格式 为 ProtoBuf 时，使用协议特殊的数据换行方式，在写出数据到文件时需要使用 writeDelimitedTo（java）或 delimited_message_util.h（C++）的方式，不支持自定义的行分隔符...
提取字段
您在使用Logtail采集日志时，可以添加Logtail插件，通过正则模式、标定模式、CSV模式、单字符分隔符模式、多字符分隔符模式、键值对模式、Grok模式提取日志字段。本文介绍各个插件的参数说明和配置示例。使用限制 文本日志和容器标准输出只...
启动失败
说明 分隔符不能带单引号或双引号，使用字符本身即可。例如 ',' 会被识别为字符串 ',' 而不是分隔符,。用户资源组JDK设置错误 报错信息 解决方法 MaxCompute新建任务，调度配置有多个网关资源组，一般有一个默认的资源组，需要JDK为1.8及...
CreateNamespace-创建镜像仓库命名空间
命名空间名称，长度为 2-120 位，可填写小写英文字母、数字，可使用的分隔符包括“_”、“-”、“.”（分隔符不能在首位或末位）namespace1 AutoCreateRepo boolean 否 是否自动创建镜像仓库 true DefaultRepoType string 否 自动创建仓库...
管理镜像仓库
命名空间 长度为 2-120 位，可填写小写英文字母、数字，可使用的分隔符包括：半角句号（.）、下划线（_）和短划线（-）（分隔符不能在首位或末位）。单击 连接测试，对填写的连接配置信息进行测试。如果提示 连接成功，则说明配置的信息...
Amazon S3数据源
如果分隔符不可见，请填写Unicode编码。例如，\u001b、\u007c。是 默认值：（，）compress 文本压缩类型，默认不填写（即不压缩）。支持压缩类型为 gzip、bzip2 和 zip。否 不压缩 encoding 读取文件的编码配置。否 utf-8 nullFormat 文本...
OSS数据源
如果分隔符不可见，请填写Unicode编码。例如，\u001b、\u007c。是,lineDelimiter 读取的行分隔符。说明 当fileFormat取值为text时，本参数有效。否 无 compress 文本压缩类型，默认不填写（即不压缩）。支持压缩类型为 gzip、bzip2 和 zip...
HttpFile数据源
如果分隔符不可见，请填写Unicode编码。例如，\u001b、\u007c。是,lineDelimiter 读取的行分隔符。说明 当 fileFormat 取值为TEXT时，本参数有效。否 无 compress 文本压缩类型，默认不填写（即不压缩）。支持压缩类型为 gzip、bzip2 和 ...
Tunnel命令
scan参数表示需要扫描log.txt中的数据是否符合test_table的定义，如果不符合报错，并停止上传数据。tunnel upload log.txt test_table-scan=true;将其他路径下的log.txt中的数据上传至项目空间test_project的表test_table（二级分区表）中...
Tunnel命令
scan参数表示需要扫描log.txt中的数据是否符合test_table的定义，如果不符合报错，并停止上传数据。tunnel upload log.txt test_table-scan=true;将其他路径下的log.txt中的数据上传至项目空间test_project的表test_table（二级分区表）中...
HDFS数据源
分隔符不能使用。否,encoding 读取文件的编码配置。否 utf-8 nullFormat 文本文件中无法使用标准字符串定义null（空指针），数据集成提供nullFormat定义哪些字符串可以表示为null。例如您配置 nullFormat:"null"，如果源头数据是null，数据...
从OSS导入数据
如果您导入的CSV文件里指定的分隔符不是,则需要在导入语句中通过 format_csv_delimiter 指定其他列分隔符。例如CSV文件列与列之间使用竖线分割，则命令示例如下。INSERT INTO oss_test_tbl_distributed SELECT*FROM oss_test_tbl settings ...
策略创建
例如，左变量为string类型时，大于、小于、等于类操作符不可用。右变量：当左变量及操作符选中后，右边量支持输入常量和变量。说明 事件字段支持函数计算。例如：需要将邮箱地址字段转换为小写，可以选择事件字段或者邮箱地址下的转换为...
分隔符模式解析
分隔符不支持为双引号（"）。双引号（"）可以作为引用符，在字段边界出现，也可以作为字段内容出现。如果双引号（"）作为字段内容出现，需要进行转义，即在日志中处理为"。日志服务 解析字段时会自动还原，将""还原为。例如分隔符为半角...
数据源插件说明
若分隔符为不常见不可见字符，需要使用unicode字符来标识，如\u001D 另外该插件也支持多字符分隔，比如#、\t\t等。数据源内容为：1,2,3，指定分隔符为“,”直接输入一个英文的逗号即可 KeyValueExtractor 从KV格式的来源字段中提取指定的键...
数据源插件说明
{“tags”:[“a”,”b”,”c”]} 或 int_array字段类型：{“tags”:[1,2,3]} MultiValueSpliter 将来源字段按照分隔符分割成多个值，分割后的内容作为目标表字段的内容，目标表字段必须是配置为ARRAY类型的字段（若分隔符为不可见字符，...
Dataphin将csv文件同步到hive库，目标hive库字段值为...
产品名称 Dataphin 产品模块 数据集成 概述 通过该问题的分析处理过程，提供以下场景问题处理排查思路和注意点：管道任务数据集成到hive之后，...hive中textfile格式建表不指定分隔符，默认都是\u0001，读写都要指定。更多信息 无 相关文档
PAI-TF数据转换方法
CSV格式数据的分隔符。不支持数字、正负号、字母e和E、小数点（.）和多字节分隔符。当使用空格作为分隔符时，多个连续空格将被视作一个分隔符。输出：由Index CSV序列转换而得的Sparse Tensor，Value类型为INT64。示例：将一个batch的存有...
STR_TO_MAP
STRING类型，分隔符，不指定时默认为英文逗号（,）。delimiter2：可选。STRING类型，分隔符，不指定时默认为等于号（=）。说明 当分隔符是正则表达式或特殊字符时，要在前面加两个反斜线（\\）来做转义。特殊字符包括冒号（:）、英文句点...
通过LOAD DATA导入至数仓版
该格式默认按照RFC 4180标准进行分割，只支持指定列分隔符，不支持指定行分隔符和列结尾符。通过关闭配置项 SET adb_config LOAD_CSV_DATA_WITH_OPENCSV_FORMAT=false，可以不采用RFC 4180的CSV标准。file_name 本地文件的路径，包含文件...
DataSource
示例 {"key":"my_field"} 结构 字段 类型 描述 key String 键名 MultiValueSpliter 将来源字段按照分隔符分割成多个值，分割后的内容作为目标表字段的内容，目标表字段必须是配置为ARRAY类型的字段（若分隔符为不可见字符，需要使用unicode...
DataSource
示例 {"key":"my_field"} 结构 字段 类型 描述 key String 键名 MultiValueSpliter 将来源字段按照分隔符分割成多个值，分割后的内容作为目标表字段的内容，目标表字段必须是配置为ARRAY类型的字段（若分隔符为不可见字符，需要使用unicode...
Tunnel命令常见问题
Tunnel Upload命令支持上传海量数据，如果出现内存溢出，可能是因为数据的行分隔符和列分隔符设置错误，导致整个文本被认为是同一条数据，全部缓存至内存中，导致内存溢出报错。这种情况下可以先用少量的数据进行测试，当-td 及-fd 调试...
内容模板语法（新版）
清除空字符操作只对分隔符外部的空格有效，不影响分隔符内部的空格。例如 {{"hello"}} {{-"world"}} 渲染结果为 hello world。条件语句 条件判断支持对参数或者逻辑比较表达式进行判断。通过条件判断，可以进行动态渲染。如果 if 后面传入...
创建自定义监控
字符串，如：“error”，“错误”等，中英文可见字符串，做为分隔符。不可见符号（一般不推荐使用），如空格等。一般空格做为分隔符的，建议选中关键字后，自动生成空格分隔。也可以用 ASCII 码，实现隐型符号的分隔，写法如：char(1,2)。...
UDF示例：获取字符串（不含分隔符）Value
本文为您介绍如何分别通过Java UDF和Python UDF实现获取不包含分隔符的键值对字符串中指定Key对应的Value值。命令说明 本示例将注册一个名称为 UDF_EXTRACT_KEY_VALUE 的自定义函数，下面对命令格式和入参进行说明。命令格式：string UDF_...
配置Kafka输出组件
当 写入模式 为 json 时，不支持Value分隔符配置。当 写入模式 为 text 时，支持配置单个或者多个字符作为分隔符，支持以\u0001格式配置unicode字符，支持\t、等转义字符。默认为\t（水平制表符），支持Value分隔符配置。键类型 和 值类型 ...
配置Kafka输出组件
当 写入模式 为 JSON 时，不支持Value分隔符配置。当 写入模式 为 Text 时，支持配置单个或者多个字符作为分隔符，支持以\u0001格式配置unicode字符，支持\t、等转义字符。默认为\t（水平制表符），支持Value分隔符配置。键类型 和 值类型 ...
配置本地文件输入组件
字段分隔符：文件内字段分隔符，如不填写，默认为英文逗号（,）。文件编码 选择文件编码的方式。系统支持UTF-8和GBK方式。高级配置 请输入读取控制配置项。示例代码如下：{"textReaderConfig":{"caseSensitive":true,"useTextQualifier":...
配置本地文件输入组件
字段分隔符：文件内字段分隔符，如不填写，默认为英文逗号（,）。文件编码 选择文件编码的方式。系统支持UTF-8和GBK方式。高级配置 请输入读取控制配置项。示例代码如下：{"textReaderConfig":{"caseSensitive":true,"useTextQualifier":...
构建测试数据
N或者Y N：每行最后不加字段分隔符。Y：每行最后添加字段分隔符。比如分隔符|。PARALLEL 一共分成几个chunk。一条语句只能生成一个chunk。因此设置了几个，就要执行几次。5-CHILD 当前命令生成第几个chunk。1 例如，要构建1TB的测试数据，5...
分隔符
简介 分隔符组件用于展示一条分割布局的分隔符，可以配置显示线条类型和分隔符方向。属性配置 图片组件属性由以下部分组成：分类 样式 示例 说明 样式 线条类型 此配置项规定了分隔符组件显示的线条类型，可选择显示实线或者虚线。方向 此...
如何在日志样例中设置不可见字符
在某些场景下，需要使用不可见字符作为日志的 分隔符 或 引用符，本文档主要介绍如何在日志样例中填写不可见字符。背景信息 如果需要保留日志的原始格式，而且日志内容中本身存在逗号（,）、分号;等字符，使用这些字符作为 分隔符 或 引用...
配置Amazon S3输入组件
Text和CSV文件类型 参数 描述 列分隔符 根据实际存储的情况填写文件内列之间的分隔符，如果不填写默认为英文逗号（,）。行分隔符 根据实际存储的情况填写文件内行之间的分隔符，如果不填写默认为换行符（）。首行内容类型 若首行为字段名称...
配置Amazon S3输入组件
Text和CSV文件类型 参数 描述 列分隔符 根据实际存储的情况填写文件内列之间的分隔符，如果不填写默认为英文逗号（,）。行分隔符 根据实际存储的情况填写文件内行之间的分隔符，如果不填写默认为换行符（）。首行内容类型 若首行为字段名称...
从OSS批量导入导出
ossquote：quote，默认为“\”，占位长度为一个char，主要保证字符串内容中有分隔符的字符出现时，不被当作分隔符，可选。ossnull：标识null，有四种可选(1,EMPTY_SEPARATORS)、(2,EMPTY_QUOTES)、(3,BOTH)、(4,NEITHER)，默认值为1，具体...
配置HDFS输入组件
请根据实际存储情况，填写文件内，内容字段之间的分隔符，如果不填写默认为（,）英文逗号。压缩格式 选择文件的压缩格式。系统支持的压缩格式包括：zip gzip bzip2 输出字段 为您展示输出字段。您可以手动添加输出字段：单击 批量添加，...
SplitAnalyzerParameter
表示多元索引中分词类型为分隔符分词时的可选配置。数据结构 message SplitAnalyzerParameter { optional string delimiter=1;} 名称 类型 是否必选 说明 delimiter string 否 分隔符，默认是空白字符，可以自定义分隔符。当自定义的分隔符...
- 产品推荐
- 这些文档可能帮助您