离线同步常见问题
数据同步原则：来源端数据源的数据要能写入目的端数据源（来源端和目的端类型需要匹配，字段定义的大小需要匹配），即源端数据类型需要与写端数据类型匹配，源端是VARCHAR类型的数据不可写到INT类型的目标列中；目标端的数据类型定义的大小...
FAQ
当查询数据时，什么时候应该使用单引号，什么时候应该使用双引号？为什么在创建一个新的默认（DEFAULT）保留策略后会丢失数据？为什么带有 WHERE OR 时间子句的查询返回空结果？为什么 fill(previous)返回空结果？为什么 INTO 查询会丢失...
常见问题
本文汇总了 云数据库ClickHouse 的常见问题及解决方案。选型与购买 云数据库ClickHouse和官方版本对比多了哪些功能和特性？购买实例时，推荐选择哪一个版本？单双副本实例各有什么特点？购买链路资源时显示“当前区域资源不足”，应该如何...
导入与导出
数据同步过程中，可以修改源表中的字段类型，目前仅支持整型数据类型之间、浮点数据类型之间的列类型更改，并且只能将取值范围小的数据类型更改为取值范围大的数据类型，或者将单精度数据类型更改为双精度数据类型。整型数据类型：支持...
数据源配置常见问题
select field1 as“列1”,filed2 as"列2",field3 as"列3"from table 飞线图层的数据应该如何传入？通过SQL来传入数据。您只需要获取到 from 和 to 两个字段的数据，字段内用逗号把经度、纬度拼接起来即可（和静态数据及API会略有不同）。...
数据源配置常见问题
select field1 as“列1”,filed2 as"列2",field3 as"列3"from table 飞线图层的数据应该如何传入？通过SQL来传入数据。您只需要获取到 from 和 to 两个字段的数据，字段内用逗号把经度、纬度拼接起来即可（和静态数据及API会略有不同）。...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
数据模型架构规范
数据模型定义了数据之间关系和结构，使得我们可以有规律地获取想要的数据。例如，在一个超市里，商品的布局都有特定的规范，商品摆放的位置是按照消费者的购买习惯以及人流走向进行摆放的。数据模型的作用 数据模型是在业务需求分析之后，...
C100售前支持相关问题
数据库审计和其他产品的区别 数据库审计产品相对于自己安装Packetbeat抓取流量审计和RDS数据库自带的SQL洞察功能，有以下区别：支持的数据库协议：数据库审计产品是专注于数据库协议解析的，支持的数据库协议更丰富，解析的粒度更细。数据...
索引优化
在当您想要建索引时应该需要考虑以下几点：您的查询负载：索引可以有效地提高返回单条或者小数据结果集的查询，比如TP类的查询。压缩表或者适合使用稀疏索引的范围查询：索引可以提高压缩的AO/AOCS表的查询效率，尤其是在进行范围查询时...
连接PostgreSQL实例
操作步骤 数据管理DMS连接 数据管理DMS是一种集数据管理、结构管理、用户授权、安全审计、数据趋势、数据追踪、BI图表、性能与优化和服务器管理于一体的数据管理服务。数据管理DMS的更多信息，请参见 什么是数据管理DMS。访问 RDS实例列表...
连接PostgreSQL实例
操作步骤 数据管理DMS连接 数据管理DMS是一种集数据管理、结构管理、用户授权、安全审计、数据趋势、数据追踪、BI图表、性能与优化和服务器管理于一体的数据管理服务。数据库管理DMS的更多信息，请参见 什么是数据管理DMS。访问 RDS实例...
大数据安全治理的难点
通常，大数据系统中的工作流涉及多部门、多责任人且跨系统的数据，如何才能协调好这些业务系统准时、保质保量地产出数据，避免出现因业务系统宕机/脏数据导致数据延时产出、产出脏数据，关乎到企业数据业务的连续性问题甚至高层的信任问题...
数据风险点监控
因此，哪些数据需要配置DQC规则、应该配置什么规则，也需要根据数据资产等级来确定。例如A1、A2类数据监控率要达到90%以上，规则类型需要3种以上，而不重要的数据资产没有强制要求。检测规则由离线开发人员配置，确保数据准确性。不同的...
高效数据治理实施指南
DataWorks数据治理中心可协助数据治理团队建立数据治理框架、优化治理过程、提升治理效率，从而实现治理目标的高效突破。本文通过治理负责人的实操过程，为您介绍如何通过数据治理计划能力，高效设定和达成数据治理目标。背景信息 在多人...
数据库代理常见问题
如果您在使用RDS MySQL数据库代理过程中存在疑问或遇到问题，可以参考本文查看解决方案。目录 什么是数据库代理？通用型代理和独享型代理有什么区别？数据库代理是否占用主实例的QPS或者TPS？数据库代理地址和常规地址是否是一个地址？开通...
确定需求
您在构建数据仓库之前，首先需要确定构建数据仓库的目标与需求，并进行全面...此外，还需要思考明细数据和汇总数据应该如何设计、是否是公共层的报表及数据是否需要沉淀到汇总表中等因素。需求调研的分析产出通常是记录原子与派生指标的文档。
确定需求
此外，还需要思考明细数据和汇总数据应该如何设计、是否是公共层的报表及数据是否需要沉淀到汇总表中等因素。需求调研的分析产出通常是记录原子与派生指标的文档。icmsDocProps={'productMethod':'created','language':'zh-CN',};
同步Redis后出现数据不一致
解决方法 建议可通过以下2种方法判断数据是否一致：说明 同步Redis数据的任务，若想看同步之后数据是否有丢失，需要看源数据keys是否已经过期。已过期的数据也会被统计到 expires 中，因此，不能单靠 expires 去判断数据的一致性。对比A...
数据治理
数据地图 为什么数据地图数据总览页存储量和存储趋势图相差较大？数据地图血缘展示延迟问题 数据地图新建表搜不到 当前表业务逻辑变更如何通知下游？哪些类型的Hive表支持在数据地图中预览？数据保护伞 数据保护伞为什么有时候查询脱敏有...
DataWorks数据服务对接DataV最佳实践
前提条件 要想实现DataWorks数据服务与DataV的对接，您需要提前准备好数据源，并开通 什么是DataV数据可视化。新建数据源 数据服务支持丰富的数据源类型，如下所示：关系型数据库：RDS、DRDS、MySQL、PostgreSQL、Oracle和SQL Server 分析...
Tunnel命令常见问题
java.io.IOException:Error writing request body to server 产生原因 这是上传数据到服务器时产生的异常，通常是因为上传过程中的网络连接断开或超时导致的：当您的数据源并非是本地文件，需要从数据库等地方获取时，数据在写入的过程中还...
补数据
周、月任务如何执行补数据操作 补数据功能说明 补数据支持补历史一段时间区间的数据或者需要补未来一段时间的数据时，可以选择补数据功能。节点使用的调度参数会根据补数据选择的业务时间自动替换为对应的值。将MySQL增量数据写入...
常见问题
Q：数据什么时候进入冷存储？A：Lindorm通过 compaction 机制异步将冷数据从热存储归档至冷存储，系统触发时间默认为冷热分界线的一半，最小为1天，最大为 major compaction 周期的一半，major compaction 周期默认为20天。例如，冷热分界...
数据安全治理的必要性
其中，第4条“维护数据安全，应当坚持总体国家安全观，建立健全数据安全治理体系，提高数据安全保障能力”和第7条“国家保护个人、组织与数据有关的权益，鼓励数据依法合理有效利用，保障数据依法有序自由流动，促进以数据为关键要素的数字...
恢复数据库
数据库备份DBS 提供数据恢复能力，通过创建恢复任务将已完成备份的数据恢复到云数据库、本地数据库或DBS沙箱中，可用于误操作后恢复以及分析历史数据等场景。前提条件 DBS备份计划的运行状态为 运行中。已完成数据库备份。相关操作，请参见...
命令行界面介绍
Influx的命令行界面（CLI），它是一个用来跟数据库进行交互的轻量级工具。有关如何下载使用CLI，可参考文档命令行界面。CLI默认通过端口3242向TSDB For InfluxDB® HTTP API发送请求，直接与TSDB For InfluxDB®通信。说明 也可以向数据库...
冷热分离
在用户的访问方式上和访问普通表没有任何差异，在查询的过程中，用户只需配置查询的Hint或者TimeRange，系统会根据条件自动地判断数据应该在热数据区还是冷数据区。原理介绍 用户在表上配置数据冷热时间分界点后，HBase增强版会依赖用户...
常见问题
本文为您介绍数据集成任务常见问题。资源组操作及网络连通 在做离线同步时，我们需要先了解哪些DataWorks及其网络能力？同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下...
云数据库Redis实例间单向数据迁移
如果您需要将一个 云数据库 Redis 版 实例的数据迁移到另一个 云数据库 Redis 版 实例中，且您未创建新实例，推荐您通过 备份集克隆、数据闪回功能 将数据克隆至新实例，若您已创建新实例，建议您通过数据传输服务DTS（Data Transmission ...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
基本概念
数据看板 使用DataV创建出的基于数据生成的看板，即为数据看板。DataV能将数据由单一的数字转化为各种动态的可视化图表，从而实时地将数据展示给用户。如果您想快速创建一个数据看板，请参见 使用模板创建PC端看板。数据源 在使用DataV创建...
数据服务
数据服务访问RDS实例情况说明 为了更好地保障用户通过DataWorks数据服务访问RDS实例的安全性，新增数据源 时，选择的数据源类型不同（实例模式、连接串模式），在DataWorks数据服务中封装API时将会有不同的提示和建议，详情如下：数据源...
MaxCompute数据源
MaxCompute数据源作为数据中枢，为您提供读取和写入数据至MaxCompute的双向通道。使用限制 说明 DataWorks的MaxCompute数据源可使用 Tunnel Endpoint 地址访问相应MaxCompute项目的Tunnel服务，从而通过上传、下载等方式同步该项目的数据。...
离线同步并发和限流之间的关系
在一些数据同步场景，脏数据的出现会导致任务同步效率下降，以关系数据库写出为例，默认是执行batch批量写出模式，在遇到脏数据时会退化为单条写出模式（以找出batch批次数据具体哪一条是脏数据，保障正常数据正常写出），但单条写出效率会...
离线同步任务运维
表数据质量监控 数据集成部分目标端数据源支持配置产出表的数据质量监控，您可以进入数据质量规则页面，对数据同步写入的目标表配置数据质量校验规则。对于配置了数据质量监控规则的表，当表关联的调度节点运行（执行节点代码逻辑）完成后...
Catalog概述
本文为您介绍什么是Catalog（数据目录），以及如何使用Catalog管理和查询内外部数据。基本概念 内部数据：保存在StarRocks中的数据。外部数据：保存在外部数据源（例如Apache Hive、Apache Iceberg和Apache Hudi）中的数据。Catalog ...
什么是Dataphin
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
表设计规范
表数据存储规范 按数据层规划数据的生命周期：源表ODS层：每天从业务系统同步过来的数据，全部保留，生命周期定义永久保存。当下游数据受损时，可以从ODS恢复数据。若ODS每天同步过来的是全量表，则可以通过全表拉链的方式来压缩存储。数据...
C100售后支持相关问题
购买数据库审计实例后，您可以通过以下操作配置数据库审计服务：启用数据库审计实例 配置数据库审计实例 登录数据库审计系统 管理数据库资产 安装Agent 如果您想配置审计规则和告警通知，更多信息，请参见 C100快速入门。如何将跨地域、跨...
- 产品推荐
- 这些文档可能帮助您