确认表血缘
导致下游取数出现问题 若当前节点 Job_B 代码中配置了依赖A表的数据，但未将产出A表数据的节点 Job_A 作为当前节点依赖的上游，则可能会出现A表数据未产出，当前节点便开始执行，最终导致 Job_B 节点产出的表数据出现问题。虽然 Job_A 的...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
本文为您介绍如何使用数据传输迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动...
如何优化数据导入导出
name]>/home/dump_1000w.sql mysqldump导出数据可能会出现的问题及解决方法，这两个问题通常是mysql client和mysql server版本不一致导致的。问题：mysqldump:Couldn't execute 'SHOW VARIABLES LIKE 'gtid\_mode'' 解决方法：添加-set-...
离线同步数据质量排查
如果写出数据和目标存储已有数据发生数据约束（主键冲突、唯一键约束、外键约束等），数据库则使用来源数据update更新目标表已有数据行，在目标表存在多个数据约束的情况下，数据替换可能会失败并产生脏数据 如果写出数据和目标存储已有...
SQL Server数据库出现“Data compression and ...
版本兼容性问题，SQL Server企业版或者SQL Server 2016以上的标准版才支持数据压缩功能。解决方案 以下是两种解决方法：使用支持压缩功能的数据库版本。取消压缩功能，关于如何取消数据库压缩功能，请参见 对表或索引禁用压缩功能。更多...
排查Mongo Shell登录问题
您可以通过DMS或Mongo Shell登录MongoDB数据库，本文介绍使用Mongo Shell登录数据库时出现的典型问题及解决方法。提示connection attempt failed错误 现象：#mongo-host ali12345678.mongodb.rds.aliyuncs....
数据保护机制
解决措施 为了防止出现TOCTOU问题，对于用户申请导出的表，建议项目所有者确保没有任何其他用户能对该表执行更新（Update）操作或重建同名表操作（Drop+CreateTable）。在上述示例中，为防止出现TOCTOU问题，建议项目所有者在第一步中创建...
聚合支付：Ping+
Mycat前期人力成高、后期需要部署维护，问题解决成本高、时间长。PolarDB-X 商务成本相对可接受，产品化能力丰富，运维便捷，最后选型阿里云 PolarDB-X。解决方案 Ping+业务早期均构建于RDS MySQL之上，数据体量从2016年1个亿至2017年5个亿...
SDK概述
解决添加OSS数据源时部分hadoop命令不可用问题。解决“java.text.ParseException:Unparseable date”问题。优化emr-core支持本地调试运行。兼容老版本的产生的“_$folder$”文件，解释成目录，不再当作普通文件处理。Hadoop和Spark读写OSS...
迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...
背景信息 在数据传输控制台创建从 OceanBase 数据库 Oracle 租户迁移数据至 Oracle 数据库的数据迁移项目，您可以通过结构迁移、全量迁移和增量同步，无缝迁移源端数据库中的存量业务数据和增量数据至 Oracle 数据库。同时，数据传输支持将...
Logview诊断实践
解决思路：一种情况是数据分布变化导致的，我们在写表的过程中，会对数据进行压缩，而压缩算法对于重复数据的压缩率是最高的，所以如果写表的过程中，如果相同的数据都排布在一起，就可以获得很高的压缩率。写表的数据分布情况主要取决于写...
数据质量：全流程的质量监控
DataWorks的全流程数据质量监控功能为您提供35种预设表级别、...数据质量为您解决以下问题：数据库频繁变更问题 业务频繁变化问题 数据定义问题 业务系统的脏数据问题 系统交互导致质量问题 数据订正引发的问题 数据仓库自身导致的质量问题
跨境SaaS:深圳市易仓科技有限公司
价值5：Smart-SSD+数据冷温热分层，大幅降低存储成本 PolarDB 存储节点引入Smart-SSD，实现在硬件层面对数据进行压缩，数据压缩比可达2.0~3.0。易仓所有PolarDB实例切换Smart-SSD后，不仅存储成本降低35％，而且性能没有出现下降。另外，...
云原生多模数据库Lindorm助力蚂蚁链IoT数据降本
Lindorm的自动冷热分离、数据压缩功能完美契合了我们需求，同时，工具链比较成熟，能够平滑完成数据迁移。在系统上线的过程中，Lindorm团队深厚的技术支持能力给了我们很深的印象。客户简介 蚂蚁链是蚂蚁集团代表性的科技品牌，致力于打造...
使用FTP下载文件时出现中断
问题现象 使用FTP客户端连接Windows云虚拟主机后，从主机下载网站数据时，频繁出现传输中断的现象。可能原因 FTP客户端在传输多个文件的时候，会将文件排成队列依次上传。如果队列过长且网速不稳定，可能出现中断现象。解决方案 通过主机...
SQL其他常见问题
由于复杂结构的超大字段在数据开发和分析中会严重影响计算性能，因此建议根据数据仓库建设规范来设计您的数据架构，避免出现超大字段：具有复杂结构的原始数据，作为ODS层，最好以压缩的方式归档。定时（例如每天）对ODS层的增量数据做数据...
企业版和标准版功能对比
支持 不支持 数据压缩 阿里巴巴自研的基于LSM-tree架构的存储引擎X-Engine提供了强大的数据压缩能力，满足了归档数据库低存储成本的要求。支持 不支持 OSS外表 若集群中某些库表的数据几乎没有更新、插入和修改操作，且读取频率非常低，...
常见问题
如果您在使用云虚拟主机时遇到网站无法访问、网站访问异常（报错或者缓慢）、FTP使用异常、网站迁移异常、数据库使用问题、主机功能设置问题、耗资源/DDoS/大流量/升级或续费以及产品计费等问题，您可以参考本文方法进行问题排查。...
Presto FAQ
解决方案：您可以查看自己的OSS的数据是否正常同步。性能相关问题 如何解决查询报错：“Query exceeded distributed user memory limit of 2.00TB or Query exceeded per-node user memory limit of xxGB”？DLA Presto中一个查询能使用的...
DQL操作常见问题
解决措施 确认出现数据条数增加是否是因为table2的数据导致。命令示例如下。此处增加 limit 10 是考虑到如果table2中的数据条数很多，会刷屏。如果只是确认问题，验证前几条数据即可。select id,count()as cnt from table2 group by id ...
MaxCompute UDF（Python）常见问题
解决措施：在MaxCompute UDF代码中增加日志，用于检查代码中是否有死循环问题，或者可以在日志里打印时间信息来检查MaxCompute UDF处理单条数据的时长是否符合预期。代码中需要增加如下打印日志相关信息，作业运行成功后，您可以在 Logview...
为什么要升级到MongoDB的新版本
简要描述：在分片集群实例中，若未及时清理孤立文档，可能会导致在迁移数据时出现数据不一致的问题。推荐版本：4.4及以上版本。推荐理由：当一个Chunk成功迁移到新的分片后，源分片中的该Chunk会延期删除。孤立文档通常是因为迁移过程中断...
数据资产定级
一般性质：数据主要用于日常数据分析，出现问题带来的影响极小。标记为A4。未知性质：无法明确数据的应用场景。标记为Ax。资产等级标记包含毁灭性质为A1、全局性质为A2、局部性质为A3、一般性质为A4、未知性质为Ax。重要程度为A1>A2>A3>A4>...
SmartData 3.1.x版本简介
解决了 hadoop fs-ls-R 命令在文件目录层级深，目录很多的情况下，出现由于线程处于等待状态致使命令无法执行的问题。增强了 hadoop fs-stat 命令，支持显示atime和privilege等。增加了Jindo HDFS客户端路径改写功能，以减少集群迁移时修改...
RDS MySQL逻辑备份文件恢复到自建数据库
解压缩需要恢复的目标数据库压缩文件（.sql.gz 结尾），命令如下：gzip-d/tmp/目标数据库压缩文件名称 示例如下：gzip-d/tmp/testdata_datafull_202012101615_160xxxxxx.sql.gz 说明 解压缩后的.sql文件用于在第10步进行导入。登录数据库...
SQL Server物理备份
数据库备份DBS提供全量备份、增量备份和数据恢复能力，本文介绍配置SQL Server物理备份的操作步骤。前提条件 数据库的版本为：SQL Server 2019、2017、2016、2014、2012、2008R2、2005、2000。说明 仅支持本地自建数据库和云服务器上的自建...
数据资产等级定义
一般性质：数据主要用于日常数据分析，出现问题带来的影响极小。标记为A4。未知性质：无法明确数据的应用场景。标记为Ax。这些性质的重要性依次降低，即重要程度为A1>A2>A3>A4>Ax。如果一份数据出现在多个应用场景汇总，则根据其最重要程度...
数据资产定级
一般性质：数据主要用于日常数据分析，出现问题带来的影响极小。标记为A4。未知性质：无法明确数据的应用场景。标记为Ax。资产等级标记包含毁灭性质为A1、全局性质为A2、局部性质为A3、一般性质为A4、未知性质为Ax。重要程度为A1>A2>A3>A4>...
Lindorm for Cassandra，更好的云上Cassandra应用实践...
另外，Cassandra 需要定期对所有副本进行全量数据修复，否则会出现”幽灵key“等问题，但是修复过程会因为消耗大量系统资源从而影响服务稳定性。而Lindorm由底层的存储组件负责一致性，当您的数据写入时，就会按照您设定的副本数写入，不会...
应用场景
并且一旦出现数据安全问题，线上业务将无法进行。随着数据恢复时间的增加，造成的损失也会越大。数据库备份DBS提供的应急恢复功能，将自动获取备份集并合成快照点，可按需在短时间内恢复出（即创建）一个新的DBS沙箱实例。您可以在DBS沙箱...
Tunnel命令常见问题
本文为您介绍使用Tunnel命令过程中的常见问题。问题类别 常见问题 Tunnel Upload Tunnel Upload是否支持通配符或正则表达式？Tunnel Upload对文件大小是否有限制？记录大小是否有限制？是否要使用压缩？同一个表或分区是否可以并行上传数据...
MySQL物理备份
数据库备份DBS 支持对MySQL数据库的物理文件进行全量备份、增量备份、Binlog日志文件备份。本文向您介绍如何通过配置MySQL物理备份计划，实现全量备份和增量备份，以满足数据灾难恢复、数据迁移等需求。前提条件 数据库为 Linux系统 的自建...
版本发布记录
2024年01月 功能名称 描述 相关文档 社区兼容版22.8 优化 从MaxCompute外表导入数据时，增加支持独享Tunnel和在网络传输过程中进行数据压缩功能。默认打开text_log日志，记录日志等级为Warning、Error和Fatal的日志，可通过system.text_log...
Lindorm for Cassandra应用实践
另外，Cassandra 需要定期对所有副本进行全量数据修复，否则会出现”幽灵key“等问题，但是修复过程会因为消耗大量系统资源从而影响服务稳定性。而Lindorm由底层的存储组件负责一致性，当您的数据写入时，就会按照您设定的副本数写入，不会...
在EMR集群运行TPC-DS Benchmark
通过脚本顺序执行99个Spark SQL的时候，如果出现报错情况，解决方案请参见 常见问题。常见问题 Q：通过脚本顺序执行99个Spark SQL的时候报错，怎么解决？A：Spark ThriftServer服务的默认内存不适合较大规模数据集测试，如果在测试过程中...
创建三维城市场景项目
说明 调整城市基底子组件的算法参数，可以帮助您调整城市基底各个要素的几何造型结构、生成点位数量和压缩数据量等，帮助解决要素之间重叠遮挡等问题。单击 选择范围 对话框右下角的 确定 即可完成三维城市构建器项目的创建，并进入项目...
创建三维城市场景项目
说明 调整城市基底子组件的算法参数，可以帮助您调整城市基底各个要素的几何造型结构、生成点位数量和压缩数据量等，帮助解决要素之间重叠遮挡等问题。单击 选择范围 对话框右下角的 确定 即可完成三维城市构建器项目的创建，并进入项目...
DataV读取数据源超时
问题描述 阿里云DataV数据可视化产品主要用于动态、实时数据展示场景，需要对数据高频实时查询，对数据访问性能有一定要求，您的数据源访问经常出现超时的情况。问题原因 查询超时的原因如下：使用SQL查询的业务数据表数量太大。API接口...
写入与查询
本文介绍 AnalyticDB MySQL 中写入与查询的常见问题及解决方法。说明 当常见问题场景中未明确产品系列时，表明该问题仅适用于 AnalyticDB MySQL 数仓版（3.0）。常见问题概览 湖仓版（3.0）集群是否支持通过JDBC方式查询Hudi表的数据？湖仓...
源为PolarDB-X的功能规范和约束说明
概览 业务设计规范 数据库架构规范 运维变更规范 数据质量风险声明 业务开发的数据质量工作 业务设计规范 表都需要有主键，否则可能会造成数据不一致（造成目标库有重复数据）。因为 PolarDB分布式版 的GSI全局二级索引（Global Secondary ...
- 产品推荐
- 这些文档可能帮助您