备份SQL Server数据
RDS SQL Server支持自动备份和手动备份两种方式，您可以通过设置备份策略调整RDS数据备份和日志备份的周期实现自动备份，或手动备份数据。备份功能说明 数据备份 备份方式 功能说明 物理备份 支持全量物理备份和增量物理备份，暂不支持逻辑...
如何处理Tair集群数据倾斜
为什么会产生数据倾斜 Tair 集群架构作为一个分布式系统，整个数据库空间会被分为16384个槽（Slot），每个数据分片节点将存储与处理指定Slot的数据（Key），例如3分片集群实例，3个分片分别负责的Slot为：[0,5460]、[5461,10922]、[10923,...
如何处理Redis集群数据倾斜
为什么会产生数据倾斜 Redis 集群架构作为一个分布式系统，整个数据库空间会被分为16384个槽（Slot），每个数据分片节点将存储与处理指定Slot的数据（Key），例如3分片集群实例，3个分片分别负责的Slot为：[0,5460]、[5461,10922]、[10923,...
PyODPS常见问题
调用DataFrame的head方法时，报错IndexError:listindexoutofrange，是什么原因？上传Pandas DataFrame至MaxCompute时，报错ODPSError，如何解决？通过DataFrame写表时，报错lifecycle is not specified in mandatory mode，如何解决？使用...
Python SDK常见问题
调用DataFrame的head方法时，报错IndexError:listindexoutofrange，是什么原因？上传Pandas DataFrame至MaxCompute时，报错ODPSError，如何解决？通过DataFrame写表时，报错lifecycle is not specified in mandatory mode，如何解决？使用...
Tunnel命令常见问题
使用Tunnel Upload命令上传两个文件时，第一个文件上传结束之后，第二个文件没有上传且没有报错信息，是什么原因？使用Tunnel Upload命令上传数据时，共分为50个Block，开始一切正常，但是在第22个Block时，出现Upload Fail，重试直接跳过...
SmartData常见问题
JindoFS是阿里云开源大数据E-MapReduce产品提供的一套Hadoop文件系统，主要对Hadoop和Spark大数据生态系统使用阿里云OSS提供多层次的封装支持和优化。基础功能提供适配OSS和支持访问，您可以直接使用JindoFS SDK；标准功能针对OSS提供分布...
数据导入常见问题
Stream Load不支持识别文本中首行的列名，首行对Stream Load来说只是普通数据。当前也不支持指定不读取首行，如果需要导入的文本文件的首行为列名，可以使用如下四种方式处理：在导出工具中修改设置，重新导出不带列名的文本文件。使用 sed...
X-Engine简介
造成这种现象的原因是近年来我们所依赖的硬件体系发生了巨大的变化，例如多核（众核）CPU、新的处理器架构（Cache/NUMA）、各种异构计算设备（GPU/FPGA）等，而架构在这些硬件之上的数据库软件却没有太大的改变，例如使用B-Tree索引的固定...
数据开发与运行
本文为您介绍数据开发的相关问题。资源 如何在pyodps调用第三方包？如何在节点内使用资源？如何下载上传到DataWorks的资源？超过30M的资源如何上传？通过odpscmd上传的资源如何在DataWorks上使用？在DataWorks如何上传自己本地编写的jar并...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
FAQ
我们列出了可用于更改field数据类型的方法：将数据写入一个不同的field 最简单的解决方法就是将具有新数据类型的数据写入到同一个序列中的不同field。使用shard系统 在一个shard里面，field value的数据类型不能不一样，但是在不同的shard...
PolarDB并行查询
方案 随着互联网的发展，数据量的爆炸，一定的数据分析能力、异构数据的处理能力开始成为事务型数据库的标配，MySQL社区在8.0版本中也对自身的查询处理能力做了加强，包括对子查询的transformation、hash join、window function支持等，...
大数据安全治理的难点
存储 众所周知，大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，...
常见问题
每种开发语言通过SDK连接云数据库ClickHouse对应的端口是什么？Go、Python语言对应推荐什么SDK？如何处理客户端工具连接集群时报错：connect timed out？为什么MySQL、HDFS、Kafka等外表无法连通？为什么程序无法连接ClickHouse？如何处理...
补数据
周、月任务如何执行补数据操作 补数据功能说明 补数据支持补历史一段时间区间的数据或者需要补未来一段时间的数据时，可以选择补数据功能。节点使用的调度参数会根据补数据选择的业务时间自动替换为对应的值。将MySQL增量数据写入...
冷数据归档常见问题
冷数据文件的格式是什么？目前支持CSV、IBD 和ORC格式。如何判断当前表或分区是否归档成功？归档完成后，您可以通过以下两种方式来查看表或分区是否归档成功：执行 SHOW CREATE TABLE table_name;命令查看表结构信息，以此来确认表或者分区...
实时同步常见问题
若业务延迟较大，其可能原因如下：报错现象 直接原因 解决方案 读端延迟大 源端数据量变更过多。延迟突然增大，说明某一时间点源端数据量增加。若源端数据更新快，数据量多，但同步延迟大，您可以：修改任务配置：您可以在源端数据库最大...
列存索引技术架构介绍
基于多副本的Divergent Design方法 随着互联网而兴起的新兴数据库产品很多都兼容了MySQL协议，这些分布式数据库产品大部分采用了分布式Share Nothing方案，其一个核心特点是使用分布式一致性协议来保障单个partition多副本之间的数据一致性...
客户案例
而 OceanBase 提供的丰富的分区方式及 OLAP 能力有效地解决了不同场景下，业务指标的构建问题，这对于我们业务开发工作者来说可以更多的关注我需要什么样的指标，而不用考虑如何从存储系统中得到这些数据。大数据处理能力：随着阿里巴巴...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
2023年
使用do-while节点实现复杂的数据分析 2023-09-20 新增通过跨项目数据访问实现不同地域MaxCompute项目数据迁移 新说明 本文为您介绍如何通过跨项目数据访问实现不同Region的MaxCompute项目数据迁移，包括两种使用场景：同云账号内不同Region...
数据集成概述
离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间数据传输。...
数据湖管理FAQ
OSS数据源配置数仓模式和自由模式的差异以及适用场景是什么？为什么Excel导出的CSV文件没有被识别建表？为什么一个目录下面是同样Schema的JSON文件，但是没有建表？使用SLS元数据发现的批量模式，为什么有的Logstore生成了表，有的没有？为...
账单和用量查询
因为 时间序列数据库TSDB、时序数据库InfluxDB®版和 云原生多模数据库Lindorm 属于同一个产品大类 云原生多模数据库Lindorm，所以产品列显示的是 云原生多模数据库Lindorm。解决办法：本文提供两种确认费用的方法。在 账单详情 页，查看...
常见问题
如果实时同步延迟较大（延迟大于5秒），请根据您的业务场景选择合适的优化方式：数据基本没有更新，同时数据是整行写入的（一行数据不会分批次写入）：请联系Lindorm技术支持（钉钉号：s0s3eg3）修改配置。每次写入过程中，不做并发检查，...
PolarDB HTAP实时数据分析技术解密
在按列进行海量数据分析时，按行从磁盘读取数据存在非常大的IO带宽浪费，其次，行式存储格式在处理大量数据时会大量拷贝不必要的列数据，对内存读写效率也存在冲击。PolarDB 并行查询突破CPU瓶颈 PolarDB团队开发的并行查询框架（Parallel ...
常见问题
Q：多个只读节点间负载不均衡的原因是什么？A：只读节点间负载不均衡的原因有只读节点连接数较少、自定义集群地址分配时未包括某个只读节点等。Q：造成主节点负载高或低的原因是什么？A：造成主节点（主库）负载高的原因有直连主地址、主库...
数据引入层（ODS）
ODS（Operational Data Store）层存放您从业务系统获取的最原始的数据，是其他上层数据的源数据。业务数据系统中的数据通常为非常细节的数据，经过长时间累积，且访问频率很高，是面向应用的数据。说明 在构建MaxCompute数据仓库的表之前，...
数据引入层（ODS）
ODS（Operational Data Store）层存放您从业务系统获取的最原始的数据，是其他上层数据的源数据。业务数据系统中的数据通常为非常细节的数据，经过长时间累积，且访问频率很高，是面向应用的数据。说明 在构建MaxCompute数据仓库的表之前，...
安全白皮书
云数据库Redis版 是兼容开源Redis协议标准、提供内存加硬盘混合存储的数据库服务，支持主从、集群和读写分离架构。云数据库Redis版 从网络、存储、备份、容灾等方面，提供全面的安全加固功能来保障您的数据安全。包括但不限于：网络：白...
创建同步任务
本文为您介绍如何通过创建同步任务，导出MaxCompute中的数据至MySQL数据源中。前提条件 已通过RDS创建MySQL实例，获取RDS实例ID，并在RDS控制台添加白名单。详情请参见 快速创建RDS MySQL实例 和 添加白名单。说明 如果是通过自定义资源组...
DLA Lakehouse实时入湖
DLA Lakehouse实时入湖方案利用数据湖技术，重构数仓语义；分析数据湖数据，实现数仓的应用。本文以RDS MySQL数据源为例介绍了RDS MySQL从入湖到分析的操作步骤。背景信息 数据湖分析（Data Lake Analytics）是⽬前炙⼿可热的⽅向，主要是...
关键概念
在深入了解TSDB For InfluxDB®前，最好先熟悉数据库的一些关键概念。本文简单地介绍了这些概念和在TSDB For InfluxDB®中的常用术语。我们在下面列出了我们将涵盖的所有术语，但是建议您从头到尾阅读本文档，以便更全面地了解TSDB For ...
什么是Dataphin
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
安全白皮书
云原生内存数据库Tair 是兼容开源Redis协议标准、提供内存加硬盘混合存储的数据库服务，支持标准（主从）、集群和读写分离架构。Tair 从网络、存储、备份、容灾等方面，提供全面的安全加固功能来保障您的数据安全。包括但不限于：网络：白...
分区表常见问题
分区数量设置可参考以下3种场景：随机产生的租户ID，一般是按照数据总量来计算单个分区的数据量，单个分区的数据量在500万至5000万之间。由于数据分布可能不均衡，所以单个分区的数据量也不是绝对的。如果租户ID有一定规律，如按照100、200...
DataWorks数据服务对接DataV最佳实践
DataV通过与DataWorks数据服务的对接，通过交互式分析Hologres连接DataWorks数据服务开发并生成API，快速在DataV中调用API并展现MaxCompute的数据分析结果。数据服务对接DataV产生背景 MaxCompute是阿里巴巴集团自主研究的快速、完全托管的...
什么是数据库代理
如果您的主实例因连接数过多导致负载较高，或因业务需求要进行读写分离，可以使用RDS PostgreSQL数据库代理功能，该功能支持读写分离、事务拆分等能力，能够有效降低主实例访问压力，具有高可用、高性能、可运维、简单易用等特点。数据库...
通过HTTP API写入数据
有很多方法可以向TSDB For InfluxDB®写入数据，包括通过命令行界面（command line interface）和客户端（client libraries）。在这一章中，我们将向您展示如何使用内嵌的HTTP API写入数据。说明 本章节中的示例使用了curl,一种通过URL来...
- 产品推荐
- 这些文档可能帮助您