创建数据

数据输入并选择数据读取数据的源数据库。(可选)若数据库为非安全协同模式,还需要在弹出的 登录实例 对话框中,输入 数据库账号 和 数据库密码。表 选择数据读取数据的源表。以过滤源表数据为例,配置数据处理节点。说明 除 数据...

UTL_ENCODE

UTL_ENCODE子程序总览 子程序 描述 BASE64_DECODE Function 读取BASE64编码的RAW类型输入数据将其解码为原始的RAW类型数据。BASE64_ENCODE Function 读取RAW类型输入数据,将其编码为BASE64符号序列并返回对应的RAW类型数据。...

Java UDAF

说明 在编写UDAF代码过程中,您可以根据MaxCompute项目的数据类型版本选取合适的数据类型,更多数据类型版本及各版本支持的数据类型信息,请参见 数据类型版本说明。合法@Resolve 注解示例如下。Resolve注解示例 说明@Resolve('bigint,...

Python 3 UDTF

说明 在编写UDTF代码过程中,您可以根据MaxCompute项目的数据类型版本选取合适的数据类型,更多数据类型版本及各版本支持的数据类型信息,请参见 数据类型版本说明。合法的函数签名示例如下。函数签名示例 说明@annotate('bigint,boolean->...

Python 2 UDTF

说明 在编写UDTF代码过程中,您可以根据MaxCompute项目的数据类型版本选取合适的数据类型,更多数据类型版本及各版本支持的数据类型信息,请参见 数据类型版本说明。合法的函数签名示例如下。函数签名示例 说明@annotate('bigint,boolean->...

HDFS数据

目前HDFS Writer支持大部分Hive类型,请注意检查您的数据类型。HDFS Writer针对Hive数据类型的转换列表,如下所示。说明 column的配置需要和Hive表对应的列类型保持一致。类型分类 数据库数据类型 整数类 TINYINT、SMALLINT、INT和BIGINT ...

离线同步常见问题

脏数据实时场景分析:场景一:报错现象:{"message":"写入 ODPS 目的表时遇到了脏数据:第[3]个字段的数据出现错误,请检查数据并作出修改或者您可以增大阈值,忽略这条记录.","record":[{"byteSize":0,"index":0,"type":"DATE"},{...

OSS-HDFS数据

默认情况下,您可以全部按照STRING类型读取数据,配置为"column":["*"]。您也可以指定column字段信息,配置如下。其中:type:指定源数据的类型。index:指定当前列来自于文本第几列(以0开始)。value:指定当前类型为常量,不从源头文件...

异构数据源访问

若您需要通过 AnalyticDB PostgreSQL版 访问外部异构数据源(HDFS、Hive和JDBC)时,可以使用异构数据源访问功能将外部数据转换为 AnalyticDB PostgreSQL版 数据库优化后的格式进行查询和分析。功能说明 外部数据源管理提供高性能的结构化...

EMR Spark功能增强

用户可以创建Relational Cache对数据进行预计算,在执行用户查询时,Spark Optimizer自动发现合适的Cache,改写SQL执行计划,基于Cache的数据继续计算,从而提升查询速度,适用于报表、Dashboard、数据同步和多维分析等场景。通过DDL,...

DM(达梦)数据

但也存在部分类型没有支持的情况,请注意检查您的数据类型,根据具体的数据库进行选择。DM Reader针对DM类型的转换列表,如下所示。类型分类 DM数据类型 整数类 INT、TINYINT、SMALLINT和BIGINT 浮点类 REAL、FLOAT、DOUBLE、NUMBER和...

RestAPI Reader最佳实践

实践1:读取一个接口数据,该接口根据时间范围查询数据 示例场景:接口定义 本实践示例的场景为读取一个RESTful接口数据并写入一个MaxCompute分区表中,其中使用的示例RESTful接口为一个自建的测试GET接口,会根据接口输入的时间范围参数...

插件配置概述

File output plugin logstash-output-graphite 从日志中读取指标数据将它们发送到Graphite工具。Graphite是一个用于存储和绘制指标的开源工具。Graphite output plugin logstash-output-http 向通用HTTP或HTTPS端点发送事件。...

文档修订记录

绑定后,才可读取数据源或集群中的数据进行相关开发操作。开发前准备:绑定数据源或集群 2023.12.29 新增功能 数据源 为给您带来更统一的产品使用体验,DataWorks将MaxCompute、Hologres、AnalyticDB for PostgreSQL、AnalyticDB for ...

RDS SQL Server迁移至云原生数据仓库 AnalyticDB ...

警告 由于此场景属于异构数据库间的数据迁移,数据类型无法一一对应,请谨慎评估数据类型的映射关系对业务的影响,详情请参见 异构数据库间的数据类型映射关系。全量迁移 DTS将源库中迁移对象的存量数据,全部迁移到目标库中。增量迁移 DTS...

OceanBase(MySQL模式)迁移至RDS MySQL

请确认DTS对数据类型为FLOAT或DOUBLE的列的迁移精度是否符合业务预期。DTS会通过 ROUND(COLUMN,PRECISION)来读取这两类列的值。如果没有明确定义其精度,DTS对FLOAT的迁移精度为38位,对DOUBLE的迁移精度为308位。DTS会尝试恢复七天之内...

从自建Redis迁移至阿里云Redis

DTS支持全量数据迁移以及增量数据迁移,同时使用这两种迁移类型可以实现在自建应用不停服的情况下,平滑地完成自建Redis数据库的迁移上云。前提条件 已创建源自建Redis实例和目标阿里云Redis实例。目标阿里云Redis实例的创建方式,请参见 ...

配置跨库Spark SQL节点

例如,从qntext数据库的ex_customer表读取数据写入到qn_rds数据库的test_table表中。qntext数据库的别名设置为qn,qn_rds数据库的别名设置为rds。输入的SQL语句如下:INSERT INTO rds.test_table SELECT*FROM qn.ex_customer;说明 SQL...

RDS MySQL迁移至Tablestore

对于数据类型为FLOAT或DOUBLE的列,DTS会通过 ROUND(COLUMN,PRECISION)来读取这两类列的值。如果没有明确定义其精度,DTS默认对FLOAT的迁移精度为38位,对DOUBLE的迁移精度为308位,请确认迁移精度是否符合业务预期。执行数据迁移前需评估...

PolarDB PostgreSQL版(兼容Oracle)间的迁移

会细致检查数据库中的各种对象,例如表格、视图、索引、函数、包等,以及这些对象之间的关联和依赖性。通过报告中的详细信息,您可以获得关于迁移过程中可能面临的一系列技术挑战的清晰认识。报告生成后,将及时与您分享ADAM评估结果。您...

产品计费

安全基线检查 数据安全中心通过动态检测数据资产配置的方式,以数据为落脚点检测阿里云上数据库资产是否存在配置风险,例如身份验证、访问控制、加密、备份和恢复等方面的配置是否安全。数据域管理 该功能支持将具有相同特征的数据资产划分...

AnalyticDB for PostgreSQL数据

支持的字段类型 离线读 AnalyticDB for PostgreSQL Reader支持大部分AnalyticDB for PostgreSQL类型,但也存在部分类型没有支持的情况,请注意检查您的数据类型。AnalyticDB for PostgreSQL Reader针对AnalyticDB for PostgreSQL的类型转换...

RDS MySQL迁移至MaxCompute

对于数据类型为FLOAT或DOUBLE的列,DTS会通过 ROUND(COLUMN,PRECISION)来读取这两类列的值。如果没有明确定义其精度,DTS默认对FLOAT的迁移精度为38位,对DOUBLE的迁移精度为308位,请确认迁移精度是否符合业务预期。执行数据迁移前需评估...

PolarDB MySQL版迁移至Kafka

对于数据类型为FLOAT或DOUBLE的列,DTS会通过 ROUND(COLUMN,PRECISION)来读取这两类列的值。如果没有明确定义其精度,DTS默认对FLOAT的迁移精度为38位,对DOUBLE的迁移精度为308位,请确认迁移精度是否符合业务预期。执行数据迁移前需评估...

RDS MySQL迁移至Db2 for LUW

请确认DTS对数据类型为FLOAT或DOUBLE的列的迁移精度是否符合业务预期。DTS会通过 ROUND(COLUMN,PRECISION)来读取这两类列的值。如果没有明确定义其精度,DTS默认对FLOAT的迁移精度为38位,对DOUBLE的迁移精度为308位。执行数据迁移前需评估...

OceanBase(MySQL模式)迁移至PolarDB MySQL版

请确认DTS对数据类型为FLOAT或DOUBLE的列的迁移精度是否符合业务预期。DTS会通过 ROUND(COLUMN,PRECISION)来读取这两类列的值。如果没有明确定义其精度,DTS对FLOAT的迁移精度为38位,对DOUBLE的迁移精度为308位。DTS会尝试恢复七天之内...

运行失败

如果该实例的record number比其它实例大很多,请检查数据是否存在pk相同、但value不同的vector。此种情况是数据没有去重,在数据库当中有pk相同,但是向量不同的数据。在seek阶段M-R1-R2的R1到R2的过程,会将这些数据交给同样的Reducer去...

RDS MySQL迁移至Tair/Redis

数据传输服务DTS(Data Transmission Service)支持将MySQL数据库(例如自建MySQL或RDS MySQL)迁移至 云原生内存数据库Tair 或 云数据库Redis,降低后端关系型数据库的负载,从而提升用户体验。本文以 RDS MySQL 实例为源,云数据库Redis ...

PostgreSQL数据

支持的字段类型 离线读写 支持大部分PostgreSQL类型,但也存在部分类型没有支持的情况,请注意检查您的数据类型。针对PostgreSQL的类型转换列表,如下所示。类型分类 PostgreSQL数据类型 整数类 BIGINT、BIGSERIAL、INTEGER、SMALLINT和...

RDS MySQL同步至Tair/Redis

数据传输服务DTS(Data Transmission Service)支持将MySQL数据库(例如自建MySQL或RDS MySQL)同步至 云原生内存数据库Tair 或 云数据库Redis,降低后端关系型数据库的负载,从而提升用户体验。本文以 RDS MySQL 实例为源,云数据库Redis ...

PolarDB MySQL版迁移至云原生数据仓库 AnalyticDB ...

对于数据类型为FLOAT或DOUBLE的列,DTS会通过 ROUND(COLUMN,PRECISION)来读取这两类列的值。如果没有明确定义其精度,DTS默认对FLOAT的迁移精度为38位,对DOUBLE的迁移精度为308位,请确认迁移精度是否符合业务预期。DTS会尝试恢复七天之内...

PolarDB PostgreSQL版间的迁移

是否限制全量迁移速率 全量迁移时会开启对源库的多并发读取及对目标库的多并发写入,这一行为可能对用户数据库造成一定的压力,如果不希望对数据库影响太大,可以限制迁移的速率上限。是否限制增量同步速率 增量迁移时会开启对源库的多...

云数据库MongoDB版(单节点架构)全量迁移至云数据库...

请确认DTS对数据类型为FLOAT或DOUBLE的列的迁移精度是否符合业务预期。DTS会通过 ROUND(COLUMN,PRECISION)来读取这两类列的值。如果没有明确定义其精度,DTS对FLOAT的迁移精度为38位,对DOUBLE的迁移精度为308位。DTS会尝试恢复七天之内...

基于AnalyticDB构建企业数仓

本文将为您介绍如何基于AnalyticDB构建企业数仓,进行运维和元数据管理等操作。开始本文的操作前,请首先创建工作空间,详情请参见 创建工作空间。配置AnalyticDB for MySQL 2.0数据源 进入数据源页面。登录 DataWorks控制台,切换至目标...

配置备份计划

数据库所在位置 待备份数据库实例的所在位置,支持类型如下:RDS实例 有公网IP:Port的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能网关接入的自建数据库 PolarDB 无公网IP:Port的自建数据库(通过数据库网关DG接入)说明 本示例为...

PolarDB PostgreSQL版(兼容Oracle)逻辑备份

数据库备份DBS 可满足 PolarDB PostgreSQL版(兼容Oracle)数据库的单表恢复、异地备份、长期归档等需求。本文介绍如何使用DBS备份 PolarDB PostgreSQL版(兼容Oracle)数据库。创建备份计划 具体操作,请参见 创建备份计划。说明 购买时,...

2021年

新说明 FROM_JSON函数可以将JSON转换成MaxCompute的数据类型,或提取JSON中的信息,根据JSON字符串jsonStr和schema信息,返回ARRAY、MAP或STRUCT类型。TO_JSON函数可以将给定的复杂类型ARRAY、MAP或STRUCT,以JSON字符串格式输出。字符串...

从ECS上的自建Redis同步至Tair实例

警告 完成数据同步作业的配置后,请勿变更源数据库或目标数据库的架构类型,否则会导致数据同步失败。前提条件 已创建源自建Redis实例和目标 云原生内存数据库Tair。目标 云原生内存数据库Tair 实例的创建方式,请参见 步骤1:创建实例。...

跨云账号单向同步云数据库Redis实例

若目标数据库内存不足,触发数据逐出时,由于 云数据库Redis版 的默认数据逐出策略(maxmemory-policy)为 volatile-lru,会导致目标库与源库数据不一致的情况,但不会影响任务的正常运行。为避免该情况发生,建议将目标库的数据逐出策略...

从自建Redis迁移至Tair实例

DTS支持全量数据迁移以及增量数据迁移,同时使用这两种迁移类型可以实现在自建应用不停服的情况下,平滑地完成自建Redis数据库的迁移上云。前提条件 已创建源自建Redis实例和目标 云原生内存数据库Tair。目标 云原生内存数据库Tair 实例的...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 Redis 版 云数据库 RDS 数据库备份 弹性公网IP 短信服务 人工智能平台 PAI
新人特惠 爆款特惠 最新活动 免费试用