扩展字段
加密存储 对于敏感信息，IDaaS 支持进行加密后存储到数据库中，以增强安全性。不可编辑。用户侧权限 管理员对扩展字段拥有全部权限。在一些场景中，用户对字段的权限应进行限制。指定用户对当前扩展字段的权限。选项包括：不可见：用户看不...
管理敏感数据
说明 开通敏感数据管理功能后，即可查看当前实例中的数据库相关信息和数据库中敏感字段的扫描结果。根据扫描出来的信息，您可以单击 前往DMS使用敏感数据保护 前往DMS数据管理服务控制台对敏感数据执行管控操作。更多信息，请参见 管理敏感...
数据集成服务
且需要使用复杂的检索或大数据分析时，如果原有数据库的数据架构不能满足现在的业务需求或改造成本较大，则您可以通过DataWorks数据集成服务将现有数据库中的数据迁移到Tablestore表中存储和使用。您还可以通过DataWorks数据集成服务实现...
查询语法
模糊查询是一种采样查询，查询机制如下所示：当您开启字段索引，且指定某个字段进行查询时，日志服务从该字段的索引数据中随机采样，返回部分结果并不是全量扫描底层数据。当您开启全文索引，且没有指定某个字段进行查询时，日志服务从全文...
创建索引或约束支持的字段类型
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于不同约束支持的字段类型不兼容的场景。主键（PRIMARY KEY）字段类型 通过 CREATE TABLE DDL 创建 PRIMARY KEY 时，MySQL 数据库和 OceanBase 数据库 MySQL 租户支持的字段类型...
CREATE DATABASE
CREATE DATABASE语句用于创建数据库，并可以指定数据库的默认属性（如数据库默认字符集，校验规则等）。语法 create_database_stmt:CREATE {DATABASE|SCHEMA}[IF NOT EXISTS]database_name[database_option_list]database_option_list:...
功能特性
DBFS特性 原子写 支持DIRECT IO的原子写，需按4K，8K，16K对齐-共享读写 一份数据可共享式多点挂载并进行读写，读写可线性扩展-存储加密 通过对数据库文件存储实施加密，可以确保数据库文件存储上的所有数据（包括静态存储和动态传输中的...
应用场景
云上自建数据库 DBFS为数据库场景量身打造的特性，非常适合云上用户自建数据库（例如：MySQL，PostgreSQL等），实现存储计算分离：对比项 DBFS 本地盘 极致性能 帮助用户实现数据库存储计算分离，为数据库可在云端存储可获得的最佳性能收益...
从RDS MySQL数据库获取数据进行数据富化
背景信息 在数据存储场景中，您可能经常遇到数据分散存储的问题，例如用户操作、行为等相关数据存储在日志服务中，用户属性、注册信息等相关数据存储在RDS MySQL数据库中。面对类似问题，您可以通过日志服务数据加工功能从RDS MySQL数据库...
计算列配置
计算列配置规则 配置内容 新增计算列时，需要配置以下内容：英文字段名：若数据源为数据库，即数据库中的字段名称；若数据源为表格文件，指根据表格模板填写的英文字段名称或系统根据表格文件翻译的英文名称。字段业务含义：是对字段所表示...
限制描述
限制描述 限制项 描述 值域范围 活跃shard数 每个topic中活跃shard数量限制(0,256]总shard数 每个topic中总shard数量限制(0,512]Http BodySize http请求中body大小限制 4MB 单个String长度 数据中单个String字段长度限制 2MB Merge/Split...
通过日志服务导入至数仓版
左边文本框为日志字段名称，右边为AnalyticDB MySQL数据库表中的字段。说明 Timestamp类型的字段映射精确到秒级别。例如日志时间为2022-01-05 10:12:13.145，投递到AnalyticDB MySQL后，投递结果为2022-01-05 10:12:13。投递开始时间 配置...
数据接口配置说明
配置数据字段 在数据接口设置页签中，默认情况下系统会自动添加一个示例数据字段，您可以自定义按操作配置数据字段。操作 说明 编辑字段基本信息 每一个数据字段中包含多个字段参数内容，您可以自定义编辑字段的参数内容。字段名：输入数据...
LOB大字段独立冷存
插入数据，此时val字段完全存储在OSS中 db01=>INSERT INTO blob_table(val)VALUES((SELECT string_agg(random():text,':')FROM generate_series(1,100000)));查看val字段存储位置 db01=>WITH tmp as(select 'pg_toast_'|b.oid|'_'|c.attnum...
LOB大字段独立冷存
插入数据，此时val字段完全存储在OSS中 db01=>INSERT INTO blob_table(val)VALUES((SELECT string_agg(random():text,':')FROM generate_series(1,100000)));查看val字段存储位置 db01=>WITH tmp as(select 'pg_toast_'|b.oid|'_'|c.attnum...
SPL指令
语法|parse-json-mode=<mode>-path=<path>-prefix=<prefix><field>参数说明 参数 类型 必填 说明 mode String 否 如果新字段与输入数据中字段重名，指定其结果取值模式。默认值为overwrite。path JSONPath 否 指定字段内容中的JSON路径，...
落标监控概述
例如：希望通过数据标准约束字段数据类型，其中“会员注册渠道“标准的“数据类型”属性值为STRING，该标准映射到的字段registration_channel在数据库中存储的数据类型为INT，则不符合标准定义，监控结果为不通过。Dataphin的公共系统属性...
落标监控概述
例如：希望通过数据标准约束字段数据类型，其中“会员注册渠道“标准的“数据类型”属性值为STRING，该标准映射到的字段registration_channel在数据库中存储的数据类型为INT，则不符合标准定义，监控结果为不通过。Dataphin的公共系统属性...
数据管理DMS中出现“Data truncated for column”的...
例如，字段原长度为128字节，存储了一些数据后，希望更新字段长度为64字节，由于存储的数据中，部分数据已经超过64字节，更新字段长度为64字节时便会出现此错误。解决方案 请确认您是否确实需要改小字段的长度。如果确实需要，先在表中查找...
有约束的列修改长度
主键（PRIMARY KEY）约束下字段长度的修改 如果 主键 列中包含下表中的字段类型，通过 ALTER TABLE table_name MODIFY/CHANGE COLUMN DDL 对该列进行字段长度修改操作，MySQL 数据库和 OceanBase 数据库 MySQL 租户的区别如下。MySQL 数据...
创建多元索引
在数据表上创建一个多元索引后，您可以根据多元索引中建立索引的字段来查询数据表中的数据。一张数据表可以创建多个多元索引。最佳使用方式 请根据实际查询需求确定在一张数据表中创建多元索引的个数。例如有一张数据表有5个字段，分别为id...
0044-00000001
问题原因 您发起了PutLiveChannel请求来创建一个LiveChannel，但是请求体XML中Description字段长度超出了接口限制。该字段用于表示LiveChannel的描述信息，最长128字节。问题示例 比如您发起了如下请求：PUT/test-channel?live ...
配置目标节点
如果已选择自定义存储表已包含字段，输出字段必须是目标自定义存储表中存在的字段（字段定义一致），且包含目标自定义存储表中的主键。如果不满足以上要求，需返回目标节点之前的处理节点，修改输出字段符合目标自定义存储表中字段要求。...
有约束的列修改长度
主键（PRIMAEY KEY）约束下字段长度的修改 如果 主键 列中包含下表中的字段类型，通过 ALTER TABLE table_name MODIFY DDL 对该列进行字段长度的修改操作，Oracle 数据库和 OceanBase 数据库 Oracle 租户的区别如下。Oracle 数据库的字段...
字段操作
本文为您介绍迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL 租户时，ALTER TABLE DDL 字段操作支持的转换范围。总览 ALTER TABLE tbl_name[alter_option[,alter_option].]alter_option:{ ADD[COLUMN]col_name column_definition[FIRST...
Quick BI中查询报错“查询不存在的字段”
问题描述 Quick BI中查询报错“查询不存在的字段”。问题原因 在查询控件中选择的查询字段是"sum_order_amt"，该字段在数据集中已经被删除掉，所以查询时报错。解决方案 对数据集中其他存在的字段进行查询。适用于 Quick BI
Canal
例如：将增量数据从数据库同步到其他系统 日志审计 数据库的实时物化视图 数据库表的temporal join变更历史 Flink还支持将Flink SQL中的INSERT、UPDATE或DELETE消息编码为Canal格式的JSON消息，输出到Kafka等存储中。重要 目前Flink还不...
索引、属性、字段作用详解
通俗说就是数据库的名字 字段 在es中索引创建完了之后，是类型，类型之后，是字段 通俗说就是某个表里面的属性的名称 属性 字段的类型（string、int、double.）字段的类型（string、int、double.）OpenSearch：名词 OpenSearch解释 与关系...
为什么查询和分析时，字段值会被截断？
当单个字段值长度超过最大长度时，超出部分被截断，不参与查询和分析。日志服务查询和分析的字段值长度存在如下限制。查询时，单个字段值最大长度为512 KB（524,288 字节），超出部分不参与查询。分析时，默认支持的字段值最大长度为2 KB...
查看敏感数据血缘（公测）
DataWorks的数据血缘功能支持可视化展示敏感数据的血缘关系，自动分析字段之间的异常关联关系、敏感数据识别结果异常的字段，帮助您梳理敏感数据的扩散情况及影响面，提高数据识别效率。本文为您介绍如何查看血缘关系图。背景信息 数据血缘...
手动新建逻辑表
通过手动新建逻辑表，建立您期望的数据表样式和字段，并支持将逻辑表物理化至云计算资源中，为后续...说明 删除逻辑表不会同时删除数据库中已生成的物理表。后续步骤 创建完逻辑表以后，需要将逻辑表物理化，更多信息，请参见 物理化逻辑表。
新建离线物理表
使用限制 若您未购买 数据标准 模块，不支持设置表中的 数据标准 字段。若您未购买 资产安全 模块，不支持设置表中的 数据分级、数据分类 字段。若您未购买 资产质量 模块，不支持实现主键字段的 唯一 和 非空 校验。步骤一：离线物理表 在...
新建离线物理表
使用限制 若您未购买 数据标准 模块，不支持设置表中的 数据标准 字段。若您未购买 资产安全 模块，不支持设置表中的 数据分级、数据分类 字段。若您未购买 资产质量 模块，不支持实现主键字段的 唯一 和 非空 校验。步骤一：离线物理表 在...
手动新建逻辑表
通过手动新建逻辑表，建立您期望的数据表样式和字段，并支持将逻辑表物理化至云计算资源中，为后续...说明 删除逻辑表不会同时删除数据库中已生成的物理表。后续步骤 创建完逻辑表以后，需要将逻辑表物理化，更多信息，请参见 物理化逻辑表。
Dataphin表中存在字段，查询时报错没有该字段
问题描述 本文主要介绍如何解决Dataphin表中存在字段，查询时报错没有该字段。查询表字段存在使用的字段。查找该字段报错没有该字段。问题原因 该问题的原因是数据表在dataphin上元数据不同步导致。解决方案 在数据资产进行元数据的刷新。...
MinAggregation
在多元索引统计聚合中表示求最小值，用于返回一个字段中的最小值，类似于SQL中的min。请求数据结构 message MinAggregation { optional string field_name=1;optional bytes missing=2;} 名称 类型 是否必选 描述 field_name string 是 ...
MaxAggregation
在多元索引统计聚合中表示求最大值，用于返回一个字段中的最大值，类似于SQL中的max。请求数据结构 message MaxAggregation { optional string field_name=1;optional bytes missing=2;} 名称 类型 是否必选 描述 field_name string 是 ...
MongoDB数据导入
返回结果：+-+|CAST(_id AS string)|+-+|641002ad883a73eb0d7291a7|+-+说明 如果要将ObjectId字段导入到 AnalyticDB MySQL 中，需要先创建用于存储ObjectId字段的数据库和数据表，具体操作，请参见 导入MongoDB非嵌套文档 中的步骤5~7。...
使用canal同步
对于中小规模的数据库或者个人开发者，您可以使用canal将MySQL数据同步到表格存储。canal部署简单，易于运维，适用于中小规模MySQL数据同步。前提条件 已开启MySQL binlog功能，并且配置binlog-format为ROW模式。已创建目标Tablestore表。...
数组和嵌套类型
嵌套文档是指对于一行数据（文档）可以包含多个子行（子文档），多个子行保存在一个嵌套类型字段中。对于嵌套类型字段，需要指定其子行的结构，即子行中包含哪些字段以及每个字段的属性。嵌套类型类似数组，但是功能更丰富。嵌套类型字段在...
- 产品推荐
- 这些文档可能帮助您