数据库导出
业务背景 详细描述导出数据的原因、目标或用途，减少沟通成本。相关人 设置的相关人员都可查看工单，并协同工作，非相关人员则不能查看工单（管理员、DBA除外）。导出内容 根据业务需求选择 数据、结构 或 数据和结构。导出格式 根据业务...
SQL结果集导出
业务背景 是 详细描述导出数据的原因或目标，减少沟通成本。影响行数 是 预估本次导出会影响的数据行数，您可以在SQL Console中使用 count 命令进行统计。说明 在预检查阶段，系统将会显示实际影响行数，您可以再次校验是否符合预期，及时...
数据水印
业务背景（必选）详细描述导出数据的原因或目标，减少沟通成本。影响行数（必选）预估本次导出会影响的数据行数，您可以在SQLConsole中使用 count 命令进行统计。说明 在预检查阶段，系统将会显示实际影响行数，您可以再次校验是否符合预期...
常见问题
迁移与同步 为什么OSS外表导入ORC、PARQUET等格式的数据，出现内存报错或OOM挂掉？如何处理导入数据报错：too many parts？为什么DataX导入速度慢？为什么Hive导入后其数据行数跟ClickHouse对不上？为什么Kafka导入后其数据行数跟...
TestNetworkConnection
ConnectMessage String 可连通 测试目标数据源与其所使用资源组的网络连通性失败后的原因描述。如果数据源与资源组网络连通性测试成功，则该参数的返回值为空。ConnectStatus Boolean true 测试目标数据源与其所使用资源组网络连通性的结果...
数据格式描述文件
本文介绍索引数据的描述文件（Ingestion Spec文件）。Ingestion Spec（数据格式描述）是Druid对要索引数据的格式以及如何索引该数据格式的一个统一描述，它是一个JSON文件，一般由三部分组成。{"dataSchema":{.},"ioConfig":{.},...
资产全景及目录概述
名词解释 元数据：是描述数据的数据（Data About Data），主要是描述数据属性的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。主题域：为您展示数据架构部分已经创建好的主题域，便于您根据主题域更快捷的进行资产...
资产全景及目录概述
名词解释 元数据：是描述数据的数据（Data About Data），主要是描述数据属性的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。主题域：为您展示数据架构部分已经创建好的主题域，便于您根据主题域更快捷的进行资产...
通过上传本地数据新建数据集
上传本地文件的方式导入业务所需的数据集，以便在模型画布中编辑业务模型时使用导入的数据集。本文介绍如何通过上传本地数据新建数据集。前提条件 已创建云计算资源作为存储数据源，具体操作，请参见 新建计算资源。已准备好待上传的数据表...
关键概念
butterflies 和 honeybees 都是field key，butterflies 列和 honeybees 列中的数据是field value，location 和 scientist 都是tag key，location 列和 scientist 列中的数据是tag value。name:census time butterflies honeybees location ...
DeleteDISyncTask
删除数据集成同步任务失败后的原因描述。如果删除数据集成同步任务成功，则该参数的返回值为空。示例 请求示例 http(s):/[Endpoint]/?Action=DeleteDISyncTask&ProjectId=10000&TaskType=DI_REALTIME&FileId=100&公共请求参数 正常返回示例...
DeployDISyncTask
发布数据集成同步任务失败后的原因描述。如果发布数据集成同步任务成功，则该参数的返回值为空。示例 请求示例 http(s):/[Endpoint]/?Action=DeployDISyncTask&ProjectId=10000&TaskType=DI_REALTIME&FileId=100&公共请求参数 正常返回示例...
StopDISyncInstance
停止数据集成同步任务失败后的原因描述。如果停止数据集成同步任务成功，则该参数的返回值为空。示例 请求示例 http(s):/[Endpoint]/?Action=StopDISyncInstance&ProjectId=10000&TaskType=DI_REALTIME&FileId=100&公共请求参数 正常返回...
TerminateDISyncInstance
下线数据集成实时同步任务失败后的原因描述。如果下线数据集成实时同步任务成功，则该参数的返回值为空。示例 请求示例 http(s):/[Endpoint]/?Action=TerminateDISyncInstance&ProjectId=10000&TaskType=DI_REALTIME&FileId=100&公共请求...
新建注册上挂指标
您可以将物理表中的指标字段上挂至汇总逻辑表进行数据分析。...参数 描述 数据类型 选择上挂指标的数据类型。度量单位 选择上挂指标的度量单位。业务负责人 选择上挂指标的业务负责人。描述 填写对上挂指标的简单描述。配置完成后单击 确定。
新建注册上挂指标
您可以将物理表中的指标字段上挂至汇总逻辑表进行数据分析。...参数 描述 数据类型 选择上挂指标的数据类型。度量单位 选择上挂指标的度量单位。业务负责人 选择上挂指标的业务负责人。描述 填写对上挂指标的简单描述。配置完成后单击 确定。
多值数据写入
errors Array 描述引起写入失败直接原因的数组。其中只会包含第一个引发失败的数据点及其失败原因。注意 在详细模式下，对于一个 api/mput 请求中写入的一批数据，要么全部成功，要么全部失败。而且返回的errors中只会返回第一个引发失败的...
写入数据
此时TSDB写入成功或失败时会按下述响应内容返回成功的数据点数和失败的数据点数方便业务端进行统计 名称 数据类型 描述 success Integer 写入成功的数据点数 failed Integer 未能成功写入的数据点数 示例如下：{"failed":0,"success":20 } ...
GetDataSourceMeta
Message String read datasource time out 获取目标数据源Meta信息失败后的原因描述。如果获取目标数据源的Meta信息成功，则该参数的返回值为空。Meta String {"dbTables":[{"dbName":"testdb","schema":[{"tableInfos":[{"dbName":"testdb...
数据管理DMS的数据追踪功能无法追踪到数据
本文解释数据管理DMS的数据追踪功能无法追踪到数据的原因及解决方案。问题描述 数据管理DMS的数据追踪功能无法追踪到数据。问题原因 数据追踪的筛选条件可能选择错误。解决方案 请参考下列步骤进行排查：请检查时间和区域的选择是否正确。...
基本水位图
事件 事件 说明 当数据描述请求完成时 数据接口请求返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果 区域。当数据描述请求失败时 数据接口...
创建GBase 8a数据源
若您的数据源配置选择 生产+开发数据源，则需配置 生产+开发数据源 的连接信息。如果您的数据源配置为 生产数据源，仅需配置 生产数据源 的连接信息。说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产...
创建GBase 8a数据源
若您的数据源配置选择 生产+开发数据源，则需配置 生产+开发数据源 的连接信息。如果您的数据源配置为 生产数据源，仅需配置 生产数据源 的连接信息。说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产...
ModifyDatabaseDescription-修改数据库描述
修改数据库的描述信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 ...
创建数据集
数据集是基于特定数据库和特定SQL查询所产生的，以二维表表现的数据集合。本文介绍创建数据集的方法。创建数据集 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 传输与加工>数据可视化。说明 更多访问方式，请参见 访问数据可视化功能。在 ...
如何处理Tair集群数据倾斜
下图介绍两个典型的数据倾斜场景，如下图所示，虽然Key均匀地分布在集群中，每个数据分片节点2个Key，但仍产生了数据倾斜：Replica 1 节点中 key1 的QPS明显高于其他Key，属于典型的 数据访问倾斜，会导致该Key所在的数据分片节点CPU使用率...
如何处理Redis集群数据倾斜
下图介绍两个典型的数据倾斜场景，如下图所示，虽然Key均匀地分布在集群中，每个数据分片节点2个Key，但仍产生了数据倾斜：Replica 1 节点中 key1 的QPS明显高于其他Key，属于典型的 数据访问倾斜，会导致该Key所在的数据分片节点CPU使用率...
新建数据字典
数据字典管理支持创建并维护数据模型中使用的数据字典，制定并管理平台遵循的统一数据标准，为数据元、指标、维度的值域设置中引用数据字典提供数据基础，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。本文为您介绍如何...
新建数据字典
数据字典管理支持创建并维护数据模型中使用的数据字典，制定并管理平台遵循的统一数据标准，为数据元、指标、维度的值域设置中引用数据字典提供数据基础，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。本文为您介绍如何...
敏感数据溯源
背景信息 通过DataWorks的 数据保护伞 的 数据脱敏管理，开启目标 数据识别规则 的 数据水印 功能后，则在DataWorks中，对命中该规则的数据所执行的所有操作（例如查询、下载等）均会自动生成水印信息。水印信息用于记录用户的访问行为，...
管理数据集
说明 一键可视化自动创建的数据集和仪表盘的名称、描述格式如下：仪表盘名称：未命名仪表盘门户_时间戳。默认的仪表盘描述为空，您可根据需要自行设置。数据集名称：新建数据集_数据库ID_时间戳。数据集描述：SQL Console一键可视化数据集...
API概览
DescribeDbList 查看实例下的数据库详情。地域 DescribeRegions 查看支持的地域和可用区。账号管理 CreateAccount 创建普通账号。ModifyAccountPrivilege 修改普通账号的权限。DisableRightsSeparation 关闭三权分立。...
添加数据集
DataV数据集支持多种数据源的接入，如数据库、excel表格文件等，通过对数据的结构化存储和元数据的汇集整理，提供高效实用的数据建模能力，可用的算子包括常见的数据聚合函数、按不同时间粒度划分、地理信息处理等。本文为您介绍如何在...
公开与隐藏数据表资产
将编目的数据表资产公开后，可在发现查看及申请使用，同时，可通过隐藏数据表资产停止对外展示及申请使用。本文介绍如何公开与隐藏数据表资产。前提条件 已在运营模块中为数据表资产编目。背景信息 将数据建模中生成的数据表进行编目及公开...
公开与隐藏数据表资产
将编目的数据表资产公开后，可在发现查看及申请使用，同时，可通过隐藏数据表资产停止对外展示及申请使用。本文介绍如何公开与隐藏数据表资产。前提条件 已在运营模块中为数据表资产编目。背景信息 将数据建模中生成的数据表进行编目及公开...
代码智能推荐
单击右侧配置面板中的 数据源。在 数据源 配置面板中，打开过滤器，单击 智能推荐。在输入框中输入数据处理条件后，单击 Enter。说明 可以通过查看 原始数据、数据响应结果 和 组件数据示例 查看当前组件的参数字段。在智能推荐的 数据处理...
基本概念
数据同步 数据源：是指数据库应用程序所使用的数据库或者数据库服务器，在数据资源平台的数据同步中可以将配置好的数据源端数据同步到目标端。多源异构数据：指的是多种不同结构的数据源。数据模板：用于对非结构化数据的解释，当创建数据...
数据模型
本文介绍Lindorm时序引擎的数据模型以及相关术语。基本概念 物联网、应用监控、工业互联网等典型的时序场景下，数据源（Data Source）通常按一定的周期持续产生时序数据，一条时序数据由Tag、Timestamp、Field等元素共同来描述，具有相同...
AddDatabase
Data String test_data 返回的数据。ErrorMsg String SYSTEM_ERR 报错信息。RequestId String 41916DEB-F62D-41FA-AB53-FC61D795BC88 请求ID。Success Boolean true 请求是否成功，返回值如下：true：请求成功。false：请求失败。示例 请求...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
参数 描述 示例 所属数据目录 数据存储的数据库目录。default 数据库名称 目标数据库的名称。dlf_db 数据库描述 目标数据库的描述信息。湖仓一体 选择路径 OSS数据路径。格式为 oss:/名称>/目录名称>。oss:/doc-test-01/datalake/单击 确定...
- 产品推荐
- 这些文档可能帮助您