DataWorks On CDP/CDH使用说明
一、数据集成 DataWorks的数据集成模块为您提供读取和写入数据至CDP/CDH Hive、CDP/CDH HBase的能力，您需要将Hive或HBase组件创建为 DataWorks的 Hive或HBase数据源，实现将其他数据源的数据同步至Hive或HBase数据源，或将Hive或HBase数据...
PyODPS概述
PyODPS提供了 to_pandas 接口，可以直接将MaxCompute数据转化成Pandas DataFrame数据结构，但这个接口只应该被用于获取小规模数据做本地开发调试使用，而不是用来大规模处理数据，因为使用这个接口会触发下载行为，将位于MaxCompute中的...
列存索引中TopK算子的实现
该场景下的K非常大，内存中可能无法缓存大小为K的堆，也就无法使用上述方式获得查询结果。即便内存充足，由于维护堆的操作访问内存是乱序的，当堆非常大时，TopK算法的访存效率较差，最终的性能表现也差强人意。PolarDB MySQL版 IMCI最初也...
影响查询性能的因素
如果数据能够均匀分布在存储节点上，那么 AnalyticDB MySQL版 中的多个子任务在处理数据时，就能几乎同时结束任务，实现理想的查询处理；如果数据分布不均匀，那么子任务在处理数据时会存在时间上的长尾，从而影响最终的查询效果。数据量...
查询报错问题
当SQL所需处理单表或者多表join时的结果较大时，计算节点内存会成为系统瓶颈。分析型数据库MySQL版CN节点为避免SQL压垮系统，会进行自我保护，自动将查询消耗内存较大的SQL fail掉，保证其它查询正常。因此当查询分析型数据库MySQL版报错...
集群架构
云原生内存数据库Tair 提供双副本集群架构实例，可轻松突破Redis自身单线程瓶颈，满足大容量、高性能的业务需求。集群架构支持代理和直连两种连接模式，您可以根据本章节的说明，选择适合业务需求的连接模式。注意事项 云原生 版集群架构不...
配置离线数据集成节点
使用限制 系统在计算数据量过大且缺失主键的表时，会导致内存溢出或内存耗尽（OOM）。周期调度节点最近一次运行成功后，若连续运行失败10次及以上，离线集成任务直接执行失败，且不会再提交Spark任务。此时，您需要手动运行成功该任务节点...
概述
数据源为自定义Topic：可以先使用脚本文件解析处理数据，再使用输出文件完成数据映射，如下图所示。数据源为数据服务中数据解析后的数据：数据解析任务可以对设备原始数据进行一些更复杂的加工计算，具体操作，请参见 数据解析。如需加工...
常见问题
数据源连通性有时成功，有时失败，如何处理？已经购买独享资源组，但在数据源测试连通性时或任务执行时找不到该资源组怎么办？如何通过日志查看任务执行在什么资源组类型上？如何切换任务在调度系统中执行所用的资源组。如何排查自定义调度...
数据视图
通过数据视图组件，您可以可视化地了解特征与标签列的分布情况及特征的特点，以便后续进行数据分析。该组件支持稀疏和稠密数据格式。本文为您介绍 Designer 提供的数据视图算法的参数配置方式及使用示例。组件配置 您可以使用以下任意一种...
云数据库Redis间的单向同步
数据传输服务DTS（Data Transmission Service）支持Redis数据库的单向同步，适用于异地多活、数据异地容灾等多种应用场景。本文以Redis实例间的单向数据同步为例，介绍数据同步作业的配置流程。前提条件 已创建目标Redis实例，创建方式，请...
同步 OceanBase 数据库的数据至 DataHub
数据类型映射 目前同步的 DataHub 类型仅支持 INTEGER、BIGINT、TIMESTAMP、FLOAT、DOUBLE、DECIMAL、STRING 和 BOOLEAN。如果您选择新建 Topic 的映射方式时，创建了其他类型的 Topic，会导致数据同步失败。本文表格中提供的默认映射规则...
基于TairRoaring实现人群圈选方案
您可以通过 云原生内存数据库Tair 的TairRoaring数据结构快速搭建高性能的目标用户筛选服务。TairRoaring简介 用户标签筛选场景往往应用于个性化推荐、精准营销等具体业务场景，通过不同的标签辅以不同的运营营销，从而实现资源投放方的...
为什么Redis内存报警与监控的内存使用率不一致
如果Redis内存使用率告警显示内存占用较高，或您的应用程序出现OOM异常，但性能监控显示的内存使用率并不高，可参考本文排查原因并解决问题。问题现象 现象一：您收到 Redis 内存告警，显示 内存使用率超过阈值（例如，连续满足3次平均值>=...
RDS MySQL迁移至Tair/Redis
数据传输服务DTS（Data Transmission Service）支持将MySQL数据库（例如自建MySQL或RDS MySQL）迁移至 云原生内存数据库Tair 或 云数据库Redis，降低后端关系型数据库的负载，从而提升用户体验。本文以 RDS MySQL 实例为源，云数据库Redis ...
RDS MySQL同步至Tair/Redis
数据传输服务DTS（Data Transmission Service）支持将MySQL数据库（例如自建MySQL或RDS MySQL）同步至 云原生内存数据库Tair 或 云数据库Redis，降低后端关系型数据库的负载，从而提升用户体验。本文以 RDS MySQL 实例为源，云数据库Redis ...
Transaction Table2.0概述
随着当前数据处理业务场景日趋复杂，很多业务场景并不要求延时秒级更新可见或者行级更新，更多的需求是分钟级或者小时级的近实时数据处理叠加海量数据批处理场景，MaxCompute支持基于Transaction Table2.0实现近实时的增全量一体的数据存储...
MaxCompute数据离线同步至ClickHouse
批量写入ClickHouse异常时 批量写入ClickHouse异常时，可以选择异常处理策略：尝试单条写入，单条写入仍异常则计入脏数据：单条写入可用于识别少量脏数据但单条写入对ClickHouse负载影响较大，需要您谨慎选择。同步任务失败退出：出于...
DataWorks On EMR使用说明
EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。阿里云EMR提供了on ECS、on ACK和Serverless形态，以满足不同用户的需求。详情请参见：E-MapReduce产品概述。支持的...
Redis实例间的单向数据同步
数据传输服务DTS（Data Transmission Service）支持Redis数据库的单向同步，适用于异地多活、数据异地容灾等多种应用场景。本文以Redis实例间的单向数据同步为例，介绍数据同步作业的配置流程。警告 完成数据同步作业的配置后，请勿变更源...
排查内存使用率高的问题
经过上述步骤优化后，流量使用率依旧较高，可评估升级至更大内存的规格，以承载更大的网络流量。具体操作，请参见 变更实例配置。说明 在正式升级实例的规格前，您可以先购买一个按量付费的实例，测试要升级到的目标规格是否能够满足业务的...
Redis实例间的单向数据同步
数据传输服务DTS（Data Transmission Service）支持Redis数据库的单向同步，适用于异地多活、数据异地容灾等多种应用场景。本文以Redis实例间的单向数据同步为例，介绍数据同步作业的配置流程。警告 完成数据同步作业的配置后，请勿变更源...
从自建Redis迁移至Tair实例
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将自建Redis迁移至 云原生内存数据库Tair 实例。DTS支持全量数据迁移以及增量数据迁移，同时使用这两种迁移类型可以实现在自建应用不停服的情况下，平滑地完成自建Redis...
Redis企业版实例间的双向同步
数据传输服务DTS（Data Transmission Service）支持Redis企业版实例间的双向同步，适用于异地多活、数据容灾等多种应用场景，本文介绍数据同步作业的配置流程。本文通过控制台来完成配置，您也可以通过调用OpenAPI来完成配置，详情请参见 ...
云原生内存数据库Tair间的双向同步
数据传输服务DTS（Data Transmission Service）支持Redis企业版（Tair）实例或Tair（云盘版）实例间的双向同步，适用于异地多活、数据容灾等多种应用场景，本文介绍数据同步任务的配置流程。前提条件 已创建源库目标Redis企业版（Tair）...
Redis企业版实例间的双向同步
数据传输服务DTS（Data Transmission Service）支持Redis企业版实例间的双向同步，适用于异地多活、数据容灾等多种应用场景，本文介绍数据同步作业的配置流程。本文通过控制台来完成配置，您也可以通过调用OpenAPI来完成配置，详情请参见 ...
从ECS上的自建Redis同步至Redis实例
数据传输服务DTS（Data Transmission Service）支持Redis数据库的单向同步，适用于异地多活、数据异地容灾等多种应用场景。本文以ECS上的自建Redis同步至Redis实例为例，介绍数据同步作业的配置流程。警告 完成数据同步作业的配置后，请勿...
从ECS上的自建Redis同步至Tair实例
数据传输服务DTS（Data Transmission Service）支持从ECS上的自建Redis同步至 云原生内存数据库Tair。警告 完成数据同步作业的配置后，请勿变更源数据库或目标数据库的架构类型，否则会导致数据同步失败。前提条件 已创建源自建Redis实例和...
使用须知
Phoenix不支持复杂查询 Phoenix的二级索引本质还是前缀匹配，用户可以建多个二级索引来增加对数据的查询模式，二级索引的一致性是通过协处理器实现的，索引数据可以实时可见，但也会影响写性能，特别是建多个索引的情况下。对于复杂查询，...
PolarDB HTAP实时数据分析技术解密
该执行器框架充分利用列式存储的优势，例如，以一个4096行的Batch为单位访问存储层的数据，使用SIMD指令提升CPU单核处理数据的吞吐量，所有关键算子均支持并行执行。对比MySQL原有的行存执行器，性能有数量级的提升。支持行列混合执行的...
Page Cache限制功能
映射文件页允许进程通过访问内存的方式来读取和写入文件数据，从而实现了文件的随机访问。脏页：脏页是指映射文件页中已经被修改过的页。当进程对映射文件页进行写入时，相应的页会被标记为脏页。这表示文件在内存中的副本已经与磁盘上的...
异构数据源访问
若您需要通过 AnalyticDB PostgreSQL版 访问外部异构数据源（HDFS、Hive和JDBC）时，可以使用异构数据源访问功能将外部数据转换为 AnalyticDB PostgreSQL版 数据库优化后的格式进行查询和分析。功能说明 外部数据源管理提供高性能的结构化...
如何处理Tair集群数据倾斜
在 Tair 集群中，若个别数据分片节点（Data Node）的内存使用率或CPU使用率、带宽使用率、延时等性能指标远远高于其他数据分片，该 Tair 集群可能已产生数据倾斜。数据倾斜严重时，会导致实例在整体内存使用率不高的情况下，发生内存逐出...
配置ClickHouse输出组件
解析方案 解析方案用于自定义数据写入至ClickHouse数据源前和数据写入至ClickHouse数据源后的一些特殊处理。解析方案 包括 填写准备语句 和 填写完成语句，适用场景说明如下：填写准备语句：导入前执行的SQL脚本。例如数据同步至ClickHouse...
只用索引的扫描和覆盖索引
在大部分情况下，可见性映射总是会被保留在内存中的缓冲中。总之，虽然当两个根本要求满足时可以使用只用索引的扫描，但是只有该表的堆页面中有很大一部分的“所有都可见”映射位被设置时这种索引才有优势。不过，有很大一部分行不被更改的...
全增量实时同步至Hologres
限流：考虑到速度过高可能对数据库造成过大的压力从而影响生产，数据集成同时提供了限速选项，您可以通过限流控制同步速率，从而保护读取端数据库，避免抽取速度过大，给数据库造成太大的压力。限速最小配置为1MB/S，最高上限为30MB/s。离...
自建Oracle迁移至RDS MySQL
警告 此场景属于异构数据库间的数据迁移，DTS在执行结构迁移时数据类型无法完全对应，请谨慎评估数据类型的映射关系对业务的影响，详情请参见 异构数据库间的数据类型映射关系。全量数据迁移 DTS会将自建Oracle数据库迁移对象的存量数据，...
分组聚合查询优化
数据重分布完成后，执行最终聚合，在最终聚合节点，需要把一个分组的值及其聚合状态维护在内存中，直到所有数据处理完成，以确保某个特定的分组值没有新的数据需要处理，所以最终聚合节点可能会占用较大的内存空间。例如执行以下的SQL分组...
Spark常见报错
SSL_ERROR SSL peer shut down incorrectly JDBC_COLUMN_TYPE_PARSER_ERROR Can't get JDBC type for<数据类型>业务需要处理的数据量突然变大导致Spark作业无法成功执行。EXECUTOR_CONTAINER_OOM Exit Code:137 EXECUTOR_DISK_FULL No ...
PolarDB MySQL版迁移至RDS MySQL
例如，在MySQL触发HA切换机制后，可能会导致数据只写到了内存，从而造成数据丢失。特殊情况 当目标库为RDS MySQL时，DTS会自动在RDS MySQL中创建数据库，如果待迁移的数据库名称不符合RDS MySQL的定义规范，您需要在配置迁移任务之前在RDS ...
- 产品推荐
- 这些文档可能帮助您