数据处理
数据处理类节点包括页面导航节点、并行数据处理节点、串行数据处理节点、序列执行节点和WebSocket节点。本文介绍在蓝图编辑器中，配置数据处理类节点的方法。页面导航节点 页面导航 节点，可用于实现页面跳转的功能，支持新开浏览器标签页...
使用OSS外表高速导出数据到OSS
云原生数据仓库AnalyticDB PostgreSQL版 支持通过OSS外部表（即gpossext功能），将数据并行导出到阿里云对象存储OSS，并支持通过GZIP进行OSS外部表文件压缩，大量节省存储空间及成本。功能介绍 目前gpossext支持读写TEXT、CSV格式的文件...
使用OSS外表高速导入OSS数据
云原生数据仓库AnalyticDB PostgreSQL版 支持通过OSS外部表（gpossext功能），将数据并行从阿里云对象存储OSS导入到 AnalyticDB PostgreSQL。功能介绍 目前gpossext支持读写TEXT、CSV格式的文件以及GZIP压缩格式的TEXT、CSV文件。gpossext...
PyAlink脚本
PyAlink脚本不同数据类型的读入和写出方式 读入数据方式。读取MaxCompute表，通过输入桩的方式从上游传入，代码示例如下。train_data=sources[0]test_data=sources[1]代码中sources[0]表示第一个输入桩对应的MaxCompute表，sources[1]表示...
离线同步并发和限流之间的关系
在一些数据同步场景，脏数据的出现会导致任务同步效率下降，以关系数据库写出为例，默认是执行batch批量写出模式，在遇到脏数据时会退化为单条写出模式（以找出batch批次数据具体哪一条是脏数据，保障正常数据正常写出），但单条写出效率会...
补数据
周、月任务如何执行补数据操作 补数据功能说明 补数据支持补历史一段时间区间的数据或者需要补未来一段时间的数据时，可以选择补数据功能。节点使用的调度参数会根据补数据选择的业务时间自动替换为对应的值。将MySQL增量数据写入...
构造测试数据
当您需要研究某类型数据的SQL处理方法，或验证功能实现逻辑是否符合预期，或需要在某些场合演示功能时，可以通过构造测试数据支撑功能验证及演示。本文为您介绍构造数据的方法，仅供参考。背景信息 通常，先有数据才会有基于数据的应用，但...
使用Flink（流式数据传输-新版）
当前MaxCompute为您提供了新版的Flink Connector插件，新版插件支持将Flink数据写入至MaxCompute的普通表和Transaction Table2.0类型表，提高了Flink数据写入MaxCompute的便捷性。本文为您介绍新版Flink Connector写入MaxCompute的能力支持...
填充数据库
第一次填充数据库时可能需要插入大量的数据。本节包含一些如何让这个处理尽可能高效的建议。1.禁用自动提交 在使用多个 INSERT 时，关闭自动提交并且只在最后做一次提交（在普通 SQL 中，这意味着在开始发出 BEGIN 并且在结束时发出 COMMIT...
图像度量学习训练（raw）
使用 读OSS数据-4 和 读OSS数据-5 组件分别训练数据标注结果文件和验证数据标注结果文件，即配置 读OSS数据 组件的 OSS数据路径 参数为存放训练数据标注结果文件和验证数据标注结果文件的OSS路径。将以上2个 读OSS数据 组件接入 图像度量...
2021年
本文介绍 PolarDB PostgreSQL版（兼容Oracle）的产品功能动态，分别为内核小版本、控制台、时空数据库和API的更新说明。说明 您可通过如下语句查看 PolarDB PostgreSQL版（兼容Oracle）的内核小版本的版本号：show polar_version;2021年12...
迁移指南
说明 详情可参考Databricks官网文章：迁移指南 将工作负载迁移到Delta Lake 当您将工作负载迁移到Delta-Lake时，您应该注意到以下简化和与apachespark和apachehive提供的数据源相比的区别。Delta Lake自动处理以下操作，您永远不要手动执行...
2021年
本文介绍 PolarDB PostgreSQL版 的产品功能动态，分别为内核小版本、控制台、时空数据库和API的更新说明。说明 您可通过如下语句查看 PolarDB PostgreSQL版 的内核小版本的版本号：show polar_version;PolarDB PostgreSQL版 对应的原生...
列存索引
数据同步包括存量数据同步和增量数据同步，增量数据同步过程中，索引数据与主表的数据会存在延迟，延迟时间小于30分钟。您可以通过 SHOW INDEX 语句查看列存索引的状态。SHOW INDEX 的使用方法及返回结果集说明，请参见 SHOW INDEX。使用列...
LLM on DLC-Megatron on DLC最佳实践
常见的大模型训练技术包括：数据并行技术、模型并行技术（包括张量并行技术和流水并行技术）、优化器状态并行技术、序列并行技术、激活重算技术等：数据并行技术（Data Parallel）：在多个GPU组上有相同的模型参数副本，但读取不同的样本。...
入门概述
Serverless 工作流 提供了丰富的控制原语让您描述业务逻辑，例如您可以串行执行任务、并行执行任务、有选择的执行某些任务以及针对一组数据并行执行一系列任务。具体的流程描述请参见 基本介绍。如果您想了解 Serverless 工作流 是如何解决...
数据迁移概述
将数据迁移至OSS 您可以基于实际业务需求将本地、第三方存储设备或者OSS源存储空间（Bucket）内的数据迁移至OSS目标Bucket，具体如下表所示：迁移方式 说明 相关文档 在线迁移 使用在线迁移服务，您可以将第三方数据轻松迁移至阿里云对象...
Delta Lake 快速入门
此快速入门演示如何生成管道，以便将JSON数据读入Delta表、修改表、读取表、显示表历史记录，以及优化表。有关演示这些功能的Databricks笔记本，请参阅 入门笔记本。创建表 若要创建一个delta表，可以使用现有的Apache Spark SQL代码，也...
2021年
本文介绍云数据库MongoDB在2021年发布的产品功能和对应的文档动态。2021年10月 功能名称 功能描述 发布时间 发布地域 相关文档 备份功能收费。备份功能对超出免费额度的备份存储使用量（云盘实例：实例存储空间的200%；本地盘实例：实例...
调优原理和执行计划
分布式数据库架构相对单机数据库有差异，所以在单机数据库调优方法的基础上分布式数据库又有着自身的特点。PolarDB-X 可以基于统计信息、执行计划、并发策略和执行之后反馈的运行时长等信息，找出导致SQL执行慢的原因，进行针对性调优。一...
时空引擎版本发布记录
修复由于栅格数据带有 NAN 和 INF 等数据，在导入和统计值会出错的问题。4.3 新特性 ST_PixelAsPolygon：将栅格像素转换为Polygon对象。ST_PixelAsPolygons：将栅格像素转换为Polygon对象集合。ST_PixelAsPoint：将栅格像素转换为基于点...
条形图
条形图组件以条状形式展示多条数据变动趋势，方便您分析比较数据的变动情况。本文介绍组件的详细配置方法。应用示例 以堆叠条形图形式展示某公司1月至3月某物品的销售单价（price）和销售量（sales）数据。步骤一：添加组件 创建Web应用。...
时空数据库版本发布记录
本文介绍PolarDB PostgreSQL版（兼容Oracle）时空数据库（Ganos）的版本更新说明。6.X 6.3 类别 说明 新增特性 Trajectory SQL 新增 ST_InsertAttr 函数，支持为轨迹增加新的属性。GeomGrid SQL 新增 ST_Degeneralize 函数，支持将低层级...
时空数据库版本发布记录
本文介绍PolarDB PostgreSQL版时空数据库（Ganos）的版本更新说明。6.X 6.3 类别 说明 新增特性 Trajectory SQL 新增 ST_InsertAttr 函数，支持为轨迹增加新的属性。GeomGrid SQL 新增 ST_Degeneralize 函数，支持将低层级网格分解成高层级...
术语表
M MapReduce MapReduce是处理数据的一种编程模型，通常用于大规模数据集的并行运算。您可以使用MapReduce提供的接口（Java API）编写MapReduce程序，来处理MaxCompute中的数据。编程思想是将数据的处理方式分为Map（映射）和Reduce（规约）...
PolarDB PostgreSQL版架构介绍
Storage带来的挑战 架构原理 数据一致性 低延迟复制 Recovery优化 PolarDB PostgreSQL版HTAP架构详解 HTAP架构原理 分布式优化器 算子并行化 消除数据倾斜问题 SQL级别弹性扩展 事务一致性 TPC-H性能：加速比 TPC-H性能：和传统MPP数仓对比...
Hash Clustering
哈希聚簇（Hash Clustering）表通过设置表的Shuffle和Sort属性，进而MaxCompute根据数据已有的存储特性，优化执行计划，提高效率，节省资源消耗。本文为您介绍在MaxCompute中如何使用Hash Clustering表。背景信息 在MaxCompute查询中，连接...
新建实验
DLC 任务类型选择 DLC 时，参数配置如下表所示：参数 描述 框架 支持选择以下两种框架类型：Tensorflow PyTorch 数据集 此处需配置为已准备好的数据集，数据集配置方式请参见 创建及管理数据集。代码源 指定任务代码文件的存储位置（代码...
查询流程和执行计划
Stage的数据来源可以是底层存储系统中的数据或者网络中传输的数据，一个Stage由分布在不同Executor节点上相同类型的Task组成，多个Task会并行处理数据。说明 AnalyticDB MySQL版 SQL诊断功能支持对Stage级别进行结果诊断。更多详情，请参见...
如何实现恢复数据一致性
工作原理 针对逻辑备份方式，全量备份为了尽可能降低对数据库性能影响，采用无锁备份方式，并行拉取数据并备份到OSS上，全量备份会产生不同时间点数据，在数据恢复时，先恢复全量备份数据，然后恢复增量备份数据，利用增量备份恢复的幂等性...
数据科学计算概述
MaxFrame是由阿里云自研的分布式科学计算框架，是对历史相关产品功能（PyODPS、Mars）的重大升级，在MaxCompute之上提供一套完全兼容Pandas接口的API，让用户用更为熟悉、更符合Python社群习惯的方式使用MaxCompute。本文为您介绍...
为什么云原生数据仓库AnalyticDB版的OLAP性能比RDS好...
云原生数据仓库AnalyticDB版为OLAP场景进行了深度的优化，例如列式存储、分布式优化器，块级别的数据压缩，并行的数据导入和导出，弹性扩容，隐式并行的机器学习库MADlib（已经支持），R过程语言（即将推出）等。RDS是为OLTP设计的，不适合...
参数说明
当您通过数据库统计信息、慢SQL等信息了解数据库当前的状态以及存在的问题后，可以针对发现的问题，进行调整和优化。PolarDB PostgreSQL版（兼容Oracle）默认的参数模板适用于大多数通用的数据库场景，对于一些特殊的数据库场景，默认模板...
什么是人工智能平台PAI
支持一站式机器学习，您只需准备好训练数据（存放到OSS或MaxCompute中），所有建模工作（包括数据上传、数据预处理、特征工程、模型训练、模型评估和模型发布至离线或在线环境）都可以通过PAI实现。对接DataWorks，支持SQL、UDF、UDAF、MR...
Databricks Runtime
Databricks Runtime Databricks Runtime包括Apache Spark，但还添加了许多组件和更新，这些组件和更新大大改善了大数据分析的可用性，性能和安全性：Delta Lake是在Apache Spark之上构建的下一代存储层，可提供ACID事务，优化的布局和索引...
并行创建空间索引
本功能采用空间排序（GiST Sort）的方法，可将索引构建过程并行化，并大幅减少磁盘的读写操作，实现索引构建加速。注意事项 空间排序方法仅适用于点数据（Point），其他空间类型的数据使用此方法将会降低索引的查询性能。使用方法 说明 ...
并行创建空间索引
本功能采用空间排序（GiST Sort）的方法，可将索引构建过程并行化，并大幅减少磁盘的读写操作，实现索引构建加速。注意事项 空间排序方法仅适用于点数据（Point），其他空间类型的数据使用此方法将会降低索引的查询性能。使用方法 说明 ...
创建调度任务
假设单台并行索引块数量上限为 x，集群并行执行索引块数量上限为 y，客户端数量为 m，则单台客户端实际最大并行索引块数量为 min(x,y/m)。单台并行执行索引块数量上限：配置单台客户端最大并行索引块（chunk）数量。默认值为 5。单个分片...
PAI-TF数据IO方式介绍
PAI-TensorFlow支持读取OSS对象存储数据和MaxCompute表数据。警告 公共云GPU服务器即将过保下线，您可以继续提交CPU版本的TensorFlow任务。如需使用GPU进行模型训练，请前往DLC提交任务，具体操作请参见 创建训练任务。读取OSS数据 主流程 ...
备份对数据库的影响
备份原理与影响 类目 逻辑备份 物理备份 全量备份原理 对每张表数据进行切分，然后在数据库上执行SQL语句，多线程并行读取数据。在数据库所在服务器上安装DBS备份网关，然后通过备份网关将数据库文件进行备份（拷贝）。增量备份原理 支持...
- 产品推荐
- 这些文档可能帮助您