Windows实例中数据恢复
背景信息 在Windows实例里，您可以选择以下任一种工具恢复数据盘数据：磁盘管理：Windows系统自带工具，主要用于分区格式化数据盘等。数据恢复软件：一般是商业软件，您可以去相应的官网下载使用。主要作用是文件系统异常恢复数据。磁盘...
块存储FAQ
写入数据与分区格式化有什么关系？回滚云盘问题 数据盘进行二次分区后，此时回滚快照后，数据盘是几个分区？回滚云盘时为什么报错“执行回滚磁盘需要停止实例，并且确保当前磁盘没有创建中的快照和没有更换过操作系统。其他问题 如何转移...
数据湖管理FAQ
Lakehouse相关问题 什么是Lakehouse？Lakehouse数据入湖时，对线上RDS有压力吗？如何控制建仓的限流能力？Lakehouse工作负载为什么运行失败，又没有S park Log 日志可以看？元数据发现相关问题 为什么配置了元信息发现，并在“手动执行”...
版本发布说明
修复CoHash的Right分区函数计算结果不正确导致的分区路由问题，发布日期：2023-12-27 大版本：V5.4.18 小版本：17034692 类别 说明 新增&优化 新增支持AUTO模式数据库的co_hash分区策略。优化使用AB表方案进行事务日志清理的流程，避免一次...
大数据计算服务MaxCompute
增量源表独有 增量源表通过间歇轮询MaxCompute服务器获取所有的分区信息来发现新增的分区，读取新分区时要求分区内数据已写入完毕，详情参见 增量MaxCompute源表监听到新分区时，如果该分区还有数据没有写完，如何处理？通过startPartition...
2020年
CREATE TABLE.PARTITION BY HASH 分区表 新增指定分区或者子分区名称查询指定分区的数据。查询指定分区 HOST参数 支持HOST参数，用于获取客户端的HOST值。无 优化 视图 优化polar_stat_activity视图，增加query_id字段。无 兼容性 内核小...
Kafka数据源
Kafka数据源为您提供读取和写入Kafka的双向通道，本文为您介绍DataWorks的Kafka数据同步的能力支持情况。支持的版本 支持阿里云Kafka，以及=0.10.2且的自建Kafka版本。说明 对于版本Kafka，由于Kafka不支持检索分区数据offset，并且Kafka...
上下游存储
本文为您介绍实时计算Flink版上下游存储方面的常见问题。Kafka源表 Flink如何获取JSON数据？Flink和Kafka网络连通，但Flink无法消费或者写入数据？为什么Kafka源表数据基于Event Time的窗口后，不能输出数据？Flink中的Commit Offset有什么...
MapReduce常见问题
本文为您介绍在使用MapReduce时的常见问题。问题类别 常见问题 功能咨询 MapReduce的输入源可以是视图吗？MapReduce的结果写入到表或分区时，会覆盖还是追加数据？MapReduce中是否可以调用Shell文件？reduce.setup能否读入输入表？Mapper...
系统类故障排查
概述 本文主要介绍使用阿里云服务器ECS时的系统类故障排查，包含CPU、磁盘I/O、内存、硬盘、带宽资源占用异常的问题排查与定位。详细信息 说明 阿里云提醒您：如果您对实例或数据有修改、变更等风险操作，务必注意实例的容灾、容错能力，...
离线同步常见问题
文档概述 问题分类 相关文档 离线同步任务运维常见问题 为什么数据源测试连通性成功，但是离线同步任务执行失败？如何切换数据集成任务执行资源组？脏数据如何排查和定位？如何查看脏数据？如果离线同步传输数据时，脏数据超出限制，是否...
常见问题
本文汇总了 云数据库ClickHouse 的常见问题及解决方案。选型与购买 云数据库ClickHouse和官方版本对比多了哪些功能和特性？购买实例时，推荐选择哪一个版本？单双副本实例各有什么特点？购买链路资源时显示“当前区域资源不足”，应该如何...
Tunnel命令常见问题
本文为您介绍使用Tunnel命令过程中的常见问题。问题类别 常见问题 Tunnel Upload Tunnel Upload是否支持通配符或正则表达式？Tunnel Upload对文件大小是否有限制？记录大小是否有限制？是否要使用压缩？同一个表或分区是否可以并行上传数据...
消息队列Kafka
类别 详情 支持类型 源表和结果表 运行模式 流模式 数据格式 CSV JSON Apache Avro Confluent Avro Debezium JSON Canal JSON Maxwell JSON Raw 说明 以上支持的数据格式都有其对应的配置项，可直接在WITH参数中使用，详情请参见 Flink社区...
转换MBR分区为GPT分区
MBR分区格式不支持2 TiB以上的云盘。如果该云盘目前使用的是MBR分区类型，且希望将其扩容至2 TiB以上，需要先将分区类型从MBR转换为GPT。本文为您介绍如何将Linux和Windows数据盘的MBR分区转换为GPT分区。转换Linux数据盘的分区类型 您可以...
扩容分区和文件系统（Windows）
找到待确认分区格式的数据盘（以 磁盘 1 为例），右键单击待确认分区格式的磁盘周边空白区，在弹出菜单中选择 属性。在弹出的对话框中，单击 卷 页签，然后查看 磁盘分区形式。如下图所示，磁盘分区类型为MBR。步骤二：扩容分区和文件系统 ...
调度参数
调度参数典型场景 调度参数往前取一个小时，如何处理跨天参数替换的问题 如何处理表的分区格式年月日时分秒间带空格情况：pt=yyyy-mm-dd hh24:mi:ss 节点定时时间为每天20:00，节点内参数取值为定时时间（$cyctime或者$[yyyymmddhh24miss]...
当实例无法启动时扩容云盘
当Linux实例无法启动时，实例健康诊断工具诊断出实例云盘的inode使用率或者空间使用率过高。此时，您可以通过实例健康诊断工具进行问题修复。前提条件 ECS实例已通过实例健康诊断工具诊断出云盘的inode使用率或空间使用率过高的问题。ECS...
解决Windows实例中无法查看数据盘问题
本文介绍在Windows实例中无法查看数据盘问题的原因以及解决方案。问题描述 Windows实例中无法查看数据盘。问题原因 无法查看数据盘通常是如下几种原因：磁盘显示为外部或脱机 新增的驱动被禁用 新购买磁盘未进行分区和格式化 磁盘未分配...
创建MaxCompute投递任务（新版）
时间分区格式 时间分区格式，配置示例和参数详细请参见 参考信息 和 Java SimpleDateFormat。说明 仅当 MaxCompute分区列 中的字段配置为_partition_time_时，时间分区格式才生效。请勿使用精确到秒的日期格式，易导致单表的分区数目超过...
日志投递MaxCompute后，如何检查数据完整性
在日志服务数据投递MaxCompute场景下，需要在MaxCompute表分区维度上检查数据完整性，即MaxCompute表中某个分区中数据是否已经完整。使用保留字段_partition_time_作为表分区列，如何判断分区数据是否已完整_partition_time_由日志的time...
投递日志到MaxCompute（旧版）
时间分区格式 时间分区格式，配置示例和参数详细请参见 参考示例 和 Java SimpleDateFormat。说明 仅当 分区字段 配置为_partition_time_时，时间分区格式才生效。请勿使用精确到秒的日期格式，易导致单表的分区数目超过限制（60000个）。...
分区表达式介绍
FORMAT：分区格式化串，支持如下格式化串：yyyy：年。MM：月。dd：日。ld：每月最后一天。HH：24制小时。hh：12制小时。mm：分钟。ss：秒。OPERATE 操作符，支持如下操作符：+：增加，例如+1y就是加1年，+1M就是加一月。减少，例如-1y就是...
分区表达式介绍
FORMAT：分区格式化串，支持如下格式化串：yyyy：年。MM：月。dd：日。ld：每月最后一天。HH：24制小时。hh：12制小时。mm：分钟。ss：秒。OPERATE 操作符，支持如下操作符：+：增加，例如+1y就是加1年，+1M就是加一月。减少，例如-1y就是...
Windows主机上磁盘无法分区
概述 本文主要介绍Windows主机上磁盘无法分区的解决方案。...注：如果存在多块硬盘的情况下，需要选择硬盘进行操作。单 击 转换 按钮，然后确定磁盘的转换操作。转换完成之后，重新对磁盘进行分区操作。适用于 云服务器ECS
Linux实例SWAP分区的配置和常见问题处理
sysctl-p 常见问题处理 常见问题描述 使用mkswap创建SWAP时出现类似如下报错信息：mkswap:error:swap area needs to be at least 40 KiB 问题原因 指定的SWAP分区文件太小，SWAP分区文件至少应该大于40KB。解决方法 重新生成更大的文件格式...
分区格式化数据盘
不同操作系统的数据盘分区格式化的操作不同，请您根据服务器实际的操作系统进行选择：分区格式化Linux服务器的数据盘的具体操作，请参见 分区格式化Linux服务器的数据盘。分区格式化Windows服务器的数据盘的具体操作，请参见 分区格式化...
扩容分区和文件系统（Linux）
在ECS控制台上扩容云盘容量后，对应分区和文件系统并未扩容，您还需要进入ECS实例内部继续扩容云盘的分区和文件系统，将扩容部分的容量划分至已有分区及文件系统内，使云盘扩容生效。本文为您介绍如何通过两个步骤完成Linux实例云盘的分区...
回切至本地物理机
本文主要介绍如何利用阿里云连续复制型容灾（CDR）服务，在本地虚拟机出现问题后把云上恢复出来的ECS回切到用户本地数据中心的物理服务器上。前提条件 服务器已进入实时复制状态。更多信息，请参见 启动复制。背景信息 目前阿里云的混合...
表操作
当使用分区字段对表进行分区时，新增分区、更新分区内数据和读取分区数据均不需要做全表扫描，提高处理效率。col_comment：分区列的注释内容。注释内容为长度不超过1024字节的有效字符串，否则报错。说明 分区值不能包含双字节字符（如中文...
CREATE TABLE（AUTO模式）
Hash分区与Key分区是 原生MySQL的标准分区语法 之一，PolarDB-X 为提供灵活强大的分区管理能力（例如分裂、合并与迁移等）以及考虑支持向量分区键下热点散裂，PolarDB-X 不仅在语法上尽量兼容了MySQL的Hash分区与Key分区的建表语法...
小文件优化及作业诊断常见问题
问题类别 常见问题 小文件优化 MaxCompute什么情况下会产生小文件？如何解决小文件问题？作业诊断 执行并发插入操作报错，如何处理？运行作业时，报错ODPS-0130121，如何解决？创建的Shell任务执行失败，在ECS服务器执行显示成功，运维中心...
2021年
修复在分区表数量多的情况下，执行异常终止的问题。Laser计算引擎的使用 用户最大连接数 AnalyticDB PostgreSQL版 用户最大连接数提升：2C16G规格由300提升至550。4C32G规格由300提升至750。8C64G规格由400提升至950。约束与限制 AUTO ...
分区表常见问题
本文汇总了 PolarDB MySQL版 分区表相关的常见问题。说明 如需了解更多关于分区表的内容，请搜索钉钉群号加群进行咨询。钉钉群号：24490017825。PolarDB MySQL版 是否支持表分区?支持。目前 PolarDB MySQL版 100%兼容MySQL，同时做了功能和...
Node Labels特性使用
使用YARN默认管理员hadoop账户执行 sudo su-hadoop#添加分区 yarn rmadmin-addToClusterNodeLabels"DEMO"yarn rmadmin-addToClusterNodeLabels"CORE"#列出YARN节点列表 yarn node-list#配置指定节点分区映射 yarn rmadmin-...
与标准SQL的主要区别及解决方法
本文为您列举MaxCompute SQL与标准SQL的区别及常见问题解决方法。MaxCompute SQL与标准SQL的基本区别 主要区别 问题现象 解决方法 应用场景 不支持事务（不支持Commit和Rollback，不推荐使用INSERT INTO）。建议代码具备幂等性，支持重新...
Presto FAQ
元数据/DLL相关问题 为什么执行 MSCK REPAIR TABLE 加载不了分区？如何处理建库报错：Generate vpc reverse access mapping ip&mapping port failed,please check your vpc_id(vpc-xxxx)and instance_id(rm-xxx)!如何查看表的分区数目？OSS...
配置规则：按表（单表）
多级分区表达式 1级分区名=分区值/2级分区名=分区值/N级分区名=分区值 分区值可以是固定值，也可以是内置参数表达式。参数必须使用中括号表示，例如，$[yyyymmdd-N]。分区表必须配置到最后一级分区。DataWorks为您提供了部分内置的业务日期...
常见问题（FAQ）
说明 详情请参考Databricks官网文章：常见问题 什么是 Delta Lake?Delta Lake是一个开源存储层，可为数据湖带来可靠性。Delta Lake提供ACID事务，可伸缩的元数据处理，并统一流处理和批数据处理。Delta Lake在您现有的数据湖之上运行，并且...
CREATE TABLE
本文介绍 AnalyticDB for MySQL 的 CREATE TABLE 建表语法。您将了解到如何创建分区表和维表，以及如何定义表的分布键、分区键、索引、生命周期、冷热数据分层等。设置默认值、自增列 设置主键 设置...为什么要定义分区 分区可以加快数据过滤...
- 产品推荐
- 这些文档可能帮助您