云原生大数据计算服务 MaxCompute
云原生大数据计算服务(MaxCompute)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。
概述
为了满足开发迭代需求或业务发展需求，SQL作业也需要不断变更，否则修改SQL作业后，并使用原来的状态数据重启作业，会出现状态不兼容的问题。从vvr-4.0.11-flink-1.13版本开始，Flink全托管提供状态兼容性检查和状态数据迁移功能，可以最大...
常见问题
此时需要通过SQL函数将TIMESTAMP类型的数据转换成DATETIME类型，在转换的过程中会出现各种预料不到的错误。解决方法：目标表中最好不要使用TIMESTAMP或DATETIME类型的字段，使用VARCHAR类型代替。参考文档：【流数据与大屏DataV】如何使用...
基础概念
本章节介绍图计算服务GraphCompute使用过程中遇到的常用名词的基本概念和简要描述。实例 独享型实例：客户创建的一个图计算服务GraphCompute实例，每个实例都是保证双副本，采用proxy+searcher的集群架构...能够快速地解决海量数据计算问题。
流式数据通道概述
热数据存储量会出现增长情况：在开启异步处理的场景下（Merge或Zorder），MaxCompute流式数据通道服务会对最近一小时写入的数据保存两份，一份为原始数据，一份为异步聚合后的数据，数据的存储量会有一定程度的冗余。冗余数据的保存周期...
内建函数概述
之后对于每一行数据（当前行），会按照窗口定义中的 frame_clause 从数据流中截取一段数据，构成当前行的窗口。窗口函数会根据窗口中包含的数据，计算得到窗口函数针对当前行对应的输出结果。partition by[,.]：可选。指定分区。分区列的值...
清林云
解决方案 使用阿里云 函数计算 承载业务API层、常用应用和自定义应用，使用Tablestore作为后端数据库，再加上 Serverless工作流，作为所有自动化流的底层实现，分析类业务接入下游的数据库，日志统一接入日志服务，打通了整个链路，使得...
清林云
解决方案 使用阿里云 函数计算 承载业务API层、常用应用和自定义应用，使用Tablestore作为后端数据库，再加上 云工作流，作为所有自动化流的底层实现，分析类业务接入下游的数据库，日志统一接入日志服务，打通了整个链路，使得整个流程...
限流配置
背景信息 在未进行限流配置的情况下，任务是否可以运行主要受到上游依赖、定时时间以及调度资源的影响，满足上述条件即下发，但可能出现以下问题：批量补数据场景下，如果圈选的时间周期过长，会抢占调度资源，影响周期任务或即席查询等...
限流配置
背景信息 在未进行限流配置的情况下，任务是否可以运行主要受到上游依赖、定时时间以及调度资源的影响，满足上述条件即下发，但可能出现以下问题：批量补数据场景下，如果圈选的时间周期过长，会抢占调度资源，影响周期任务或即席查询等...
服务形态
库级别有序 按照数据库的名字计算Hash值并进行分发，即对应同一个库的Binlog数据，会始终按序路由给同一个Binlog数据流，适用于单个 PolarDB-X 实例上数据库比较多的场景，如果事务不涉及跨库操作，该策略下不仅可以具备多流能力，还可以...
监控指标说明
例如，在一个数据流中，不同的数据源可能会产生不同数量的记录，使用numRecordsInOfSourcePerSecond可以帮助您了解每个数据源的生成速度，并对数据流进行调整以达到更好的性能，同时该数据用于监控告警。如果该值为0，说明可能存在上游把...
DAS Auto Scaling弹性能力
针对上述两类问题，数据库自治服务DAS进行了服务创新，使数据库服务具备自动扩展存储和计算资源的技术能力，可从容应对。本文将对DAS Auto Scaling服务的架构进行详细的介绍，包括技术挑战、解决方案和关键技术。技术挑战 计算资源规格调整...
2021年
并且因为大数据系统保证任务级别的ACID，当作业并发运行且操作的目标表相同时，可能会出现作业冲突。需要注意的是目前UPDATE/DELETE/MERGE INTO处于公测阶段，不收取计算费用，但公测期间也暂时不对您使用此功能用于生产的作业和数据提供...
时空数据库版本发布记录
本文介绍PolarDB PostgreSQL版时空数据库（Ganos）的版本更新说明。6.X 6.3 类别 说明 新增特性 Trajectory SQL 新增 ST_InsertAttr 函数，支持为轨迹增加新的属性。GeomGrid SQL 新增 ST_Degeneralize 函数，支持将低层级网格分解成高层级...
时空数据库版本发布记录
本文介绍PolarDB PostgreSQL版（兼容Oracle）时空数据库（Ganos）的版本更新说明。6.X 6.3 类别 说明 新增特性 Trajectory SQL 新增 ST_InsertAttr 函数，支持为轨迹增加新的属性。GeomGrid SQL 新增 ST_Degeneralize 函数，支持将低层级...
2020年
ST_Tile 2020年9月 缺陷修复 修复在某些情况下创建金字塔会出现Out Of Memory的问题。2020年9月 修复移动对象无法创建2000-01-01时间点的问题。2020年9月 修复某些场景下移动对象使用ST_Intersection返回子轨迹错误的问题。2020年9月 修复...
Cromwell Server 运维
11.工作流问题定位 命令格式：widdler explain workflowId 通过该命令可以一键查询工作流失败的原因，展示出现问题的步骤，输出该步骤的对应失败任务的 stdout 以及 stderr 信息，快速排查问题。更多其他功能请参考 widdler 的帮助信息
时空引擎版本发布记录
修复由于栅格数据带有 NAN 和 INF 等数据，在导入和统计值会出错的问题。4.3 新特性 ST_PixelAsPolygon：将栅格像素转换为Polygon对象。ST_PixelAsPolygons：将栅格像素转换为Polygon对象集合。ST_PixelAsPoint：将栅格像素转换为基于点...
公告
2023年09月27日-MaxCompute包年包月套餐、非预留计算资源、按量付费开发者版停止服务公告 尊敬的MaxCompute用户：感谢您对云原生大数据计算服务MaxCompute的支持，为提供更加丰富、灵活、适配客户需求的产品，MaxCompute将会调整现有的售卖...
什么是DataTrust
产品核心能力 DataTrust主要解决企业/机构数据流通问题，底层依赖 安全多方计算MPC、联邦学习FL、隐私集合求交PSI 等隐私计算技术，提供 ID安全匹配、隐匿信息查询、安全联邦学习、安全联合分析 等核心能力，产品大图如下：ID安全匹配 在弱...
WAL日志管理
使用Replication Slot可以避免在流复制中出现数据丢失或重复复制的问题，提高数据复制的效率和可靠性。当非活跃的Replication Slot较多而未及时清理时，会导致WAL日志不断堆积，占用大量存储空间，甚至可能写满磁盘导致实例锁定，实例锁定...
基于Delta lake的一站式数据湖构建与分析实战
这些数据湖格式有自己的数据meta管理能力，能够支持Update、Delete等操作，以批流一体的方式解决了大数据场景下数据实时更新的问题。数据湖构建与管理 1.数据入湖 企业的原始数据存在于多种数据库或存储系统，如关系数据库MySQL、日志系统...
2020年
DBLink概述 缺陷修复 修复部分场景下节点重启会出现卡顿的问题。修复部分场景下内存溢出导致的集群崩溃的问题。修复部分场景下只读节点崩溃的问题。修复执行 client_encoding=gbk 命令时，UTF8编码格式转换为GBK时报错的问题。修复NVL函数...
设计阶段
完成需求阶段的工作后，数据产品经理会产出最终版本的产品...数据流设计 ETL过程中，数据流向有如下限制：数据流向仅支持由低到高，即ODS->DWD->DWS->ADS。数据不能跨层引用、逆向引用。DWS层不同集市的数据不能相互引用，必须沉淀到DWD层。
自动SQL限流
除了上述的问题，在现实生活中可能还会出现各种特殊情况，比如值班人员联系不上、工作人员身边没有电脑、信息太多分析难度大、压力大紧张操作失误等。因此需要尽可能的把异常发现、异常SQL定位、SQL限流、跟踪/回滚的整体流程自动化处理。...
客户案例
客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的，同时引入的数据中台的执行引擎和存储是 MaxCompute，两套异构的执行引擎带来存储冗余、元数据不统一、权限不统一、湖仓计算不能自由流动的问题。客户需求 如架构图所示，MaxCompute和...
高性能Flink SQL优化技巧
Deduplicate Keep FirstRow 保留首行的去重策略：保留KEY下第一条出现的数据，之后出现该KEY下的数据会被丢弃掉。因为STATE中只存储了KEY数据，所以性能较优，示例如下。SELECT*FROM(SELECT*,ROW_NUMBER()OVER(PARTITION BY b ORDER BY ...
离线同步并发和限流之间的关系
在一些数据同步场景，脏数据的出现会导致任务同步效率下降，以关系数据库写出为例，默认是执行batch批量写出模式，在遇到脏数据时会退化为单条写出模式（以找出batch批次数据具体哪一条是脏数据，保障正常数据正常写出），但单条写出效率会...
2023年
按量付费闲时版 2023-07-17 新增PyODPS DataFrame的代码运行环境 新说明 使用PyODPS DataFrame编写数据应用时，同一个脚本文件中的代码会在不同位置执行，可能导致一些无法预期的问题，本文为您介绍当出现相关问题时，如何确定代码的执行...
资源规划和配置
在调用API时会消耗一定的资源组，为了防止资源组不能正常访问数据源，或资源（CPU、内存）不足导致API调用异常、高频调用请求被限流等问题，您需要确保资源组的网络连通性和充足的性能。本文为您介绍资源组规划时的注意项及不同资源组类型...
Serverless Spark概述
DLA Spark基于云原生架构，提供面向数据湖场景的数据分析和计算功能。开通DLA服务后，您只需简单的配置，就可以提交Spark作业，无需关心Spark集群部署。重要 云原生数据湖分析（DLA）产品已退市，云原生数据仓库 AnalyticDB MySQL 版 湖仓...
2021年
新说明 MaxCompute支持渐进式计算，在处理数据过程中按照一定时间颗粒度自动按时间分区保存处理过程中的中间结果数据，在下一个周期执行时可以重复使用上周期已经计算好的重叠时间部分的数据，从而降低了计算资源消耗、执行调度时间，为...
运行失败
可以尝试使用MaxCompute的SQL UDF过滤出doc表和query表中的问题数据。多类目情况下，某个类目doc数目为0，query数目不为0导致的jni调用异常 报错信息 解决方法 这种情况被认为是用户输入问题，在设计时发现这样的情况时通过报错终止来提示...
引擎类型
云原生多模数据库 Lindorm 内含宽表引擎、时序引擎、搜索引擎、文件引擎、计算引擎和流引擎，兼容HBase/Cassandra/S3、OpenTSDB、Solr、HDFS、Kafka等多种开源标准接口，同时提供SQL查询、时序处理、文本检索分析等能力。为应对动态变化的...
高性能版实例
SQL崩溃时，主要会出现Coredump或Out of Memory等情况，使 AnalyticDB PostgreSQL版 进入恢复模式。恢复模式中，系统会对残留的锁和内存执行一些清理操作，并通过回放WAL文件来保证数据的完整性。恢复期间，实例会暂时无法服务，完成恢复后...
基于Flink+Hologres搭建实时数仓
如果源表的数据结构发生变化，则需要等待源表的数据出现变更（删除、插入、更新），结果表的数据结构才会看到变化。单击右上方的 部署，进行作业部署。单击左侧导航栏的 作业运维，单击刚刚部署的ODS作业 操作 列的 启动，选择 无状态启动 ...
创建同步任务
说明 脏数据认定标准：脏数据是对业务没有意义，格式非法或者同步过程中出现问题的数据。单条数据写入目标数据源过程中发生了异常，则此条数据为脏数据。因此只要是写入失败的数据均被归类于脏数据。例如，源端是VARCHAR类型的数据写到INT...
功能特性
数据迁移 数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景 功能集 功能 功能描述 参考文档 同构迁移 逻辑迁移 支持同构数据库间的数据迁移。自建MySQL...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
Delta Lake和Hudi是数据湖方案中常用的存储机制，为数据湖提供流处理、批处理能力。MaxCompute基于阿里云DLF、RDS或Flink、OSS产品提供了支持Delta或Hudi存储机制的湖仓一体架构。您可以通过MaxCompute查询到实时数据，即时洞察业务数据...
- 产品推荐
- 这些文档可能帮助您