确认表血缘
导致下游取数出现问题 若当前节点 Job_B 代码中配置了依赖A表的数据，但未将产出A表数据的节点 Job_A 作为当前节点依赖的上游，则可能会出现A表数据未产出，当前节点便开始执行，最终导致 Job_B 节点产出的表数据出现问题。虽然 Job_A 的...
X-Engine简介
两个Metadata Snapshot结构实际上共用了大量的数据结构，这被称为数据复用技术（Data Reuse），而Extent大小正是影响数据复用率的关键，Extent作为一个完整的被复用的物理结构，需要尽可能的小，这样与其他Extent数据交叉点会变少，但又不...
如何优化数据导入导出
name]>/home/dump_1000w.sql mysqldump导出数据可能会出现的问题及解决方法，这两个问题通常是mysql client和mysql server版本不一致导致的。问题：mysqldump:Couldn't execute 'SHOW VARIABLES LIKE 'gtid\_mode'' 解决方法：添加-set-...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
对于无主键且包含 LOB 类型字段的表，反向增量会出现数据质量问题。数据源标识和用户账号等，在数据传输系统内全局唯一。Oracle 数据库的增量日志解析最大支持 5T/天。Oracle 数据库 11G 及之前版本不支持创建超过 30 个字节的数据库对象。...
SDK概述
解决添加OSS数据源时部分hadoop命令不可用问题。解决“java.text.ParseException:Unparseable date”问题。优化emr-core支持本地调试运行。兼容老版本的产生的“_$folder$”文件，解释成目录，不再当作普通文件处理。Hadoop和Spark读写OSS...
Cost-based SQL诊断引擎
即便是如此，但对于MySQL这样的开源数据库支持，还将面临其它不一样的挑战：WHAT-IF内核能力缺失：无法复用内核的数据库优化器能力来对候选优化方案进行代价量化评估。统计信息缺失：候选优化方案的代价评估，其本质是执行计划的代价计算，...
DataWorks V2.0
当离线MaxCompute数据发生变化时，数据质量会对数据进行校验并阻塞生产链路，避免问题数据污染扩散。同时，数据质量提供了历史校验结果的管理，以便您对数据质量分析和定级。数据服务（新增）数据服务 提供了快速将数据表生成数据API的能力...
离线同步数据质量排查
本文将为您列举一些常见数据质量方面的场景，方便您排查是否存在符合的场景，根据对应解决方案解决数据同步质量问题。背景信息 讲述数据集成数据同步的原理机制，理解数据同步的过程，进而对数据同步的执行效果有判断能力，判断数据同步...
PolarDB HTAP实时数据分析技术解密
但是应用这个方案的前提是用户需要迁移到对应的NewSQL数据库系统，而这会出现各种兼容性适配问题。一体化的行列混合存储方案 较多副本Divergent Design方法更进一步的方案，是在同一个数据库实例中采用行列混合存储，同时响应TP型和AP型...
PolarDB PostgreSQL版架构介绍
需要解决以下问题：数据一致性：由原来的N份计算+N份存储，转变成了N份计算+1份存储。读写分离：如何基于新架构做到低延迟的复制。高可用：如何Recovery和Failover。IO模型：如何从Buffer-IO向Direct-IO优化。架构原理 基于Shared-Storage...
PolarDB PostgreSQL版架构介绍
需要解决以下问题：数据一致性：由原来的N份计算+N份存储，转变成了N份计算+1份存储。读写分离：如何基于新架构做到低延迟的复制。高可用：如何Recovery和Failover。IO模型：如何从Buffer-IO向Direct-IO优化。架构原理 基于Shared-Storage...
列存索引技术架构介绍
技术背景 MySQL生态HTAP数据库解决方案 MySQL是一款主要面向OLTP型场景设计的开源数据库，开源社区的研发方向侧重于加强其事务处理能力。如提升单核性能、多核扩展性和增强集群能力，以提升可用性等。在处理大数据量下复杂查询所需要的能力...
数据开发概述
DataWorks数据开发（DataStudio）模块用于定义周期调度任务的开发及调度属性，与运维中心配合使用，面向各引擎（MaxCompute、Hologres、EMR等）提供可视化开发主界面，支持智能代码开发、多引擎混编工作流、规范化任务发布等能力，帮助您...
数据保护机制
解决措施 为了防止出现TOCTOU问题，对于用户申请导出的表，建议项目所有者确保没有任何其他用户能对该表执行更新（Update）操作或重建同名表操作（Drop+CreateTable）。在上述示例中，为防止出现TOCTOU问题，建议项目所有者在第一步中创建...
XYZ栅格，为什么出现了蓝色的地球
栅格数据中是否存在透明的瓦片，如果存在透明瓦片则可能会出现蓝色的地球，解决这个问题可以尝试新增一个栅格数据源并在Tab中拖动到后面，或者新增一个可被浏览器访问的静态图片地址作为新增XYZ数据源的地址。栅格数据源是否只在指定城市...
聚合支付：Ping+
Mycat前期人力成高、后期需要部署维护，问题解决成本高、时间长。PolarDB-X 商务成本相对可接受，产品化能力丰富，运维便捷，最后选型阿里云 PolarDB-X。解决方案 Ping+业务早期均构建于RDS MySQL之上，数据体量从2016年1个亿至2017年5个亿...
地形
地形和建筑遮挡问题示意图 地形子组件参数调整前 地形子组件调整参数后 参数调整后遮挡问题解决示意图 说明 目前建筑、道路、绿地、水系等要素并不是严格匹配地形高度的，所以当前因和地形高度不匹配导致的遮挡的问题，只能够通过参数调整...
地形
地形是三维城市构建器的基底图层，用于表示程序化生成的...参数调整后遮挡问题解决示意图 说明 目前建筑、道路、绿地、水系等要素并不是严格匹配地形高度的，所以当前因和地形高度不匹配导致的遮挡的问题，只能够通过参数调整的方式来解决。
地形
地形是三维城市构建器的基底图层，用于表示程序化生成的...参数调整后遮挡问题解决示意图 说明 目前建筑、道路、绿地、水系等要素并不是严格匹配地形高度的，所以当前因和地形高度不匹配导致的遮挡的问题，只能够通过参数调整的方式来解决。
数据质量：全流程的质量监控
DataWorks的全流程数据质量监控功能为您提供35种预设表级别、...数据质量为您解决以下问题：数据库频繁变更问题 业务频繁变化问题 数据定义问题 业务系统的脏数据问题 系统交互导致质量问题 数据订正引发的问题 数据仓库自身导致的质量问题
区域热力层（v3.x版本）
文字标注偏移问题 在数据配置的过程中，可能会出现区域文字标注有偏移的问题，解决方法如下。查看当前区域热力层版本，目前可以使用的区域热力层组件包括 区域热力层v0.2.4及以上版本。如果您使用的区域热力层版本较低，需要先删除该层，再...
DataV数字大屏设计介绍
本文主要介绍数字大屏的设计风格和搭建思路，以及在设计数字大屏时遇到的常见问题和解决办法。设计风格 独特清晰的风格赋予数字大屏独特的行业属性，在数字大屏设计中经常会出现需求方要求设计炫酷的要求，其中炫酷包含的关键词主要有 科技...
使用mysqldump迁移MySQL数据
当您需要将数据量较小或者允许较长停机时间的自建MySQL迁移至RDS MySQL时，可以使用mysqldump工具轻松实现数据迁移。该工具可以将自建数据库的结构和数据导出到一个包含创建和插入数据SQL语句的文本文件中，从而确保数据的完整性和一致性。...
数据资产定级
一般性质：数据主要用于日常数据分析，出现问题带来的影响极小。标记为A4。未知性质：无法明确数据的应用场景。标记为Ax。资产等级标记包含毁灭性质为A1、全局性质为A2、局部性质为A3、一般性质为A4、未知性质为Ax。重要程度为A1>A2>A3>A4>...
将数据写入OSS
实现示例如下：示例：通过内置文本数据解析器将数据写入OSS-非分区路径 示例：通过内置文本数据解析器将数据写入OSS-分区路径 示例：通过内置文本数据解析器将数据以压缩方式写入OSS 示例：通过内置开源数据解析器将数据写入OSS 通过自定义...
数据资产定级
一般性质：数据主要用于日常数据分析，出现问题带来的影响极小。标记为A4。未知性质：无法明确数据的应用场景。标记为Ax。资产等级标记包含毁灭性质为A1、全局性质为A2、局部性质为A3、一般性质为A4、未知性质为Ax。重要程度为A1>A2>A3>A4>...
数据代理请求常见问题
本文主要介绍请求数据代理时遇到的问题及解决方法。DataV数据代理请求无法连接时如何处理？当您使用DataV数据代理请求无法连接时，可以通过以下步骤排查。判断界面请求是否出现 配置错误 的信息。是，一般是Key和Secret解析错误导致，请...
数据资产等级定义
一般性质：数据主要用于日常数据分析，出现问题带来的影响极小。标记为A4。未知性质：无法明确数据的应用场景。标记为Ax。这些性质的重要性依次降低，即重要程度为A1>A2>A3>A4>Ax。如果一份数据出现在多个应用场景汇总，则根据其最重要程度...
区域热力层（v1.x版本）
在数据配置的过程中，可能会出现区域文字标注有偏移的问题，解决方法如下。查看下您的区域热力层版本，目前可以使用的区域热力层组件包括区域热力层v0.2.4及以上版本。如果您使用的区域热力层版本较低，需要先删除该层，再重新添加。...
数据源管理常见问题
本文介绍在DataV中连接数据源时，经常遇到的问题及相应的解决方法。DataV小课堂直播视频：数据源管理-常见问题。CSV数据源类问题 如何为组件配置CSV数据源？您可以在DataV控制台单击 我的数据>数据源管理，选择+添加数据，进入 添加数据 ...
数据源管理常见问题
本文介绍在DataV中连接数据源时，经常遇到的问题及相应的解决方法。DataV小课堂直播视频：数据源管理-常见问题。CSV数据源类问题 如何为组件配置CSV数据源？您可以在DataV控制台单击 我的数据>数据源管理，选择+添加数据，进入 添加数据 ...
区域热力层（v4.x版本）
在数据配置的过程中，可能会出现区域文字标注有偏移的问题，解决方法如下。查看下您的区域热力层版本，目前可以使用的区域热力层组件包括区域热力层v0.2.4及以上版本。如果您使用的区域热力层版本较低，需要先删除该层，再重新添加。...
区域热力层（v2.x版本）
在数据配置的过程中，可能会出现区域文字标注有偏移的问题，解决方法如下。查看下您的区域热力层版本，目前可以使用的区域热力层组件包括区域热力层v0.2.4及以上版本。如果您使用的区域热力层版本较低，需要先删除该层，再重新添加。...
区域热力层（v3.x版本）
在数据配置的过程中，可能会出现区域文字标注有偏移的问题，解决方法如下。查看下您的区域热力层版本，目前可以使用的区域热力层组件包括区域热力层v0.2.4及以上版本。如果您使用的区域热力层版本较低，需要先删除该层，再重新添加。...
Spark
本文汇总了使用 AnalyticDB MySQL Spark的常见问题及解决方案。常见问题概览 如何查看Spark应用信息？如何解决提交Spark应用时，出现User%s do not have right permission[*]to resource[*]报错？如何解决运行Spark应用时，出现No space ...
区域热力层
在数据配置的过程中，可能会出现区域文字标注有偏移的问题，解决方法请参考 基础平面地图 中 区域热力层 子组件内的 文字标注偏移解决方案。热力值数据接口 您可以通过配置热力值数据接口，自定义区域热力层的样式。区域热力层支持数据优先...
DataV读取数据源超时
问题描述 阿里云DataV数据可视化产品主要用于动态、实时数据展示场景，需要对数据高频实时查询，对数据访问性能有一定要求，您的数据源访问经常出现超时的情况。问题原因 查询超时的原因如下：使用SQL查询的业务数据表数量太大。API接口...
设置连接池
如果您的应用连接创建频繁（例如短连接场景）或者连接数量很大（大于MySQL数据库的连接数限制），您可以参考本文使用合适的RDS MySQL数据库代理连接池，降低应用与数据库建立连接的频率来减少MySQL数据库主线程的开销，减少数据库上的总...
迁移 PolarDB-X 2.0 数据库的数据至 OceanBase 数据库...
待迁移的表需要具备主键或唯一约束，且字段具有唯一性，否则可能导致目标端数据库出现数据不一致的问题。数据传输仅支持迁移库名、表名和列名为 ASCII 码且不包含特殊字符（包括换行、空格，以及.|"'`()=;的对象。目标端是数据库的情况下，...
RDS SQL Server CPU使用率高问题
说明 共享型 实例会复用CPU，因此即使实例本身的CPU使用率不高，也可能会因为复用CPU导致性能出现瓶颈，如果对数据库性能的稳定性要求较高，建议使用独享型规格的实例。分析性能指标 原因 对于突发的CPU使用率明显增高情况，常见原因有如下...
- 产品推荐
- 这些文档可能帮助您