常见问题
数据同步过程中，可以修改源表中的字段类型，目前仅支持整型数据类型之间、浮点数据类型之间的列类型更改，并且只能将取值范围小的数据类型更改为取值范围大的数据类型，或者将单精度数据类型更改为双精度数据类型。整型数据类型：支持...
Java UDTF
编写Java UDTF时可以使用Java Type或Java Writable Type，MaxCompute项目支持处理的数据类型与Java数据类型的详细映射关系，请参见 数据类型。UDTF代码示例如下。将定义的Java类组织在org.alidata.odps.udtf.examples包中。package org....
节点类型说明
本文按照节点离线、在线和流式的分类，分别介绍各节点类型对应能处理的数据类型以及运行引擎。计算类节点 计算类节点分为离线类、在线和流式类节点主要用于处理各种不同的数据。节点分类 节点说明 离线节点 更多详细信息，请参见 离线类...
操作流程
新建开发节点流程图 流程说明 操作 说明 新建开发节点 根据待处理的数据类型，选择对应的节点类型，新建开发节点处理该类数据。具体操作，请参见 步骤一：选择节点类型并配置基本属性。写SQL语句 通过写算法语句或者引用自定义函数处理数据...
操作流程
新建开发节点流程图 流程说明 操作 说明 新建开发节点 根据待处理的数据类型，选择对应的节点类型，新建开发节点处理该类数据。具体操作，请参见 步骤一：选择节点类型并配置基本属性。写SQL语句 通过写算法语句或者引用自定义函数处理数据...
DBMS_LOB
即分别用0字节过滤器替代BLOB类型大对象的部分内容，用空格替代CLOB类型大对象的部分内容。操作结束后大对象的实际大小不会改变。ERASE(lob_loc IN OUT { BLOB|CLOB },amount IN OUT INTEGER[,offset INTEGER])表 8.参数说明 参数名称 描述...
Btree-GIST
支持高效搜索和检索：GIST索引可以极大地加速查询速度，尤其是在处理复杂数据类型的搜索和检索任务时。然而，GIST索引相比于专用的索引结构（如B-tree）在某些方面可能存在性能上的折中。GIST索引的维护（如插入和删除操作）可能会比B-tree...
SQL其他常见问题
本文为您介绍在MaxCompute中执行SQL时，与数据类型、SQL限制等相关的常见问题。问题类别 常见问题 数据类型 MaxCompute的时间类型字段是否可以不带时分秒？在执行MaxCompute SQL过程中，对DOUBLE类型的数据进行等值比较，为什么结果不符合...
ClickHouse数据源
支持的字段类型 支持阿里云ClickHouse以下常见的数据类型，阿里云ClickHouse的数据类型全集请参见 数据类型，开源ClickHouse官方数据类型集合中的其他类型暂不支持，开源ClickHouse数据类型全集请参见 ClickHouse Doc。数据类型 ClickHouse...
什么是EMR Notebook
EMR Notebook是一个Serverless化的交互式数据分析和探索平台，满足大数据和AI融合下的数据处理需求，为数据工程师、数据分析师和数据科学家提供了可视化的应用程序开发环境。通过EMR Notebook可以完成对SQL、Python、Markdown等多种语言...
CREATE TYPE
一般而言，这些函数需要使用C语言或其他低级语言编写，因为他们必须能够在底层与数据库系统紧密配合，以处理数据类型的输入、输出、接收、发送和分析等操作。这些函数的编写和注册是创建新基础类型过程中最为技术性的部分，他们确保了新...
CREATE TYPE
一般而言，这些函数需要使用C语言或其他低级语言编写，因为他们必须能够在底层与数据库系统紧密配合，以处理数据类型的输入、输出、接收、发送和分析等操作。这些函数的编写和注册是创建新基础类型过程中最为技术性的部分，他们确保了新...
术语表
M MapReduce MapReduce是处理数据的一种编程模型，通常用于大规模数据集的并行运算。您可以使用MapReduce提供的接口（Java API）编写MapReduce程序，来处理MaxCompute中的数据。编程思想是将数据的处理方式分为Map（映射）和Reduce（规约）...
系统函数分类
空间函数 处理空间数据（几何数据类型-GEOMETRY），实现计算多边形面积、几何求交、几何求差等数据处理能力。其它函数 除上述函数之外，提供支持其他业务场景的函数。注意事项 在使用系统函数的时候，需要注意：系统函数的入参类型、入参...
数据保护伞入门
数据保护伞 是一款数据安全管理产品，提供数据发现、数据脱敏、数据水印、访问控制、风险识别、数据溯源等功能，帮助您快速梳理敏感数据并进行安全管控，保障数据安全。本文示例使用内置规则对 xc_dpe_e2_dev 项目的 phone 数据脱敏，并...
如何对JSON类型进行高效分析
PolarDB 列存索引（In Memory Column Index，IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与...
场景：配置增量数据离线同步任务
非时间类型增量字段同步：可以通过赋值节点将字段处理为目标数据类型后，再传入数据集成进行数据同步。关于赋值节点的使用详情请参见：赋值节点。场景示例 同步历史数据：如果您需要将历史增量数据同步至目标表对应时间分区，您可以使用运...
交叉透视表
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
连接方式概述
ORM 框架 ORM 对象关系映射（Object Relational Mapping，简称 ORM），是一种程序技术，用于实现面向对象编程语言里不同类型系统的数据之间的转换。从效果上说，它其实是创建了一个可在编程语言里使用的"虚拟对象数据库。在连接 OceanBase ...
列的最佳实践（2.0版）
优化原理 分析型数据库MySQL版处理数值类型的性能远好于处理字符串类型。原因在于：数值类型定长，占用内存少，存储空间小。数值类型计算更快，尤其是join...对于地理经度维度的使用，需要通过地理函数查询情况，数据类型采用double数据类型。
Sensors Data（神策）数据源
示例"dataConverters":[{"type":"Str2BigDecimal"}]无 IfNull2Default 当字段值为null时，将字段值设置为default参数中定义的常量值，并支持根据IfNull2Default转换器中嵌套的转换器类型，进一步将字段常量值转换为目标数据类型。...
基本概念
它能把繁杂的数据转化为各种类型的可视化卡片，帮助用户筛选和处理数据。如果您想快速进行可视分析，请参见 快速入门。卡片 卡片是可视分析创作间最主要的组成部分。通过对数据集进行探查，可以自动组合数据中的维度&指标，生成适合的可视...
内建函数概述
MaxCompute自身预置了诸多函数，可以满足大部分业务场景的数据处理需求。本文为您介绍MaxCompute提供的函数类型及函数使用相关说明。背景信息 MaxCompute预置的函数类型如下。函数类型 说明 日期与时间函数 支持处理DATE、DATETIME、...
通过函数计算节点实现GitHub实时数据分析与结果发送
阿里云原生大数据计算MaxCompute 阿里云对象存储OSS 阿里云函数计算FC MaxCompute配置 数据源类型 显示当前数据源类型，即MaxCompute。数据源名称 选择 步骤二 中创建的MaxCompute数据源。OSS配置 数据源类型 显示当前数据源类型，即OSS。...
产品架构
LindormTable 提供的数据模型是一种支持数据类型的松散表结构。相比于传统关系模型，LindormTable除了支持预定义字段类型外，还可以随时动态添加列，而无需提前发起DDL变更，以适应大数据灵活多变的特点。同时，LindormTable支持全局二级...
可编程对象
前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、其他来源MySQL。SQL Server：RDS SQL Server、MyBase SQL Server、其他来源SQL Server。PostgreSQL：RDS PostgreSQL、PolarDB PostgreSQL版、MyBase ...
数据类型版本说明
MaxCompute目前提供了三种不同类型的数据类型版本，包括1.0数据类型、2.0数据类型以及Hive兼容数据类型，您可以根据业务需求选择合适的数据类型版本。本文为您介绍三种数据类型版本、选择数据类型版本以及查看和修改项目的数据类型版本。...
PyODPS概述
PyODPS提供了 to_pandas 接口，可以直接将MaxCompute数据转化成Pandas DataFrame数据结构，但这个接口只应该被用于获取小规模数据做本地开发调试使用，而不是用来大规模处理数据，因为使用这个接口会触发下载行为，将位于MaxCompute中的...
新建Spark Batch类型的公共节点
Spark Batch节点是离线节点，运行于Spark类型的云计算资源之上，可通过输入SQL语句处理Spark类型的数据源。本文介绍如何新建Spark Batch类型的公共节点。前提条件 已创建Spark On Yarn或者Spark Cluster类型的云计算资源，具体信息，请参见...
基本概念
数据模板：用于对非结构化数据的解释，当创建数据同步任务时，且源端数据类型为消息中间件时，通过数据模板对其进行解释。Oracle CDC：实时数据同步模式，对源表进行INSERT、UPDATE或DELETE等操作的同时可以提取数据，变化的数据被保存在...
数据类型
本文介绍了 PolarDB-X 1.0 支持的数据类型。PolarDB-X 1.0 支持四种主要数据类型：数值类型 字符串类型 日期时间类型 JSON 数据类型 不支持的数据类型：空间数据类型 关于数据类型的详细信息可参考 MySQL 数据类型 文档。
从自建MySQL迁移至MyBase MySQL
请确认DTS对数据类型为FLOAT或DOUBLE的列的迁移精度是否符合业务预期。DTS会通过 ROUND(COLUMN,PRECISION)来读取这两类列的值。如果没有明确定义其精度，DTS对FLOAT的迁移精度为38位，对DOUBLE的迁移精度为308位。DTS会尝试恢复七天之内...
产品系列
适用场景包含构建海量数据实时写入和复杂ETL计算的实时数据仓库、大数据量的复杂查询、历史数据分析、日志分析等业务场景。数仓版（3.0）弹性模式包括两种形态：单机版和集群版。单机版 单机版即单节点部署，不具备分布式能力。单机版支持...
功能特性
计算 MaxCompute向用户提供了多种经典的分布式计算模型，提供TB、PB、EB级数据计算能力，能够更快速的解决用户海量数据计算问题，有效降低企业成本。功能集 功能 功能描述 参考文档 SQL开发 DDL语句 DDL语句 DDL DML操作 DML操作 DML操作 ...
OSS Foreign Table数据类型对照表
ORC文件数据类型对照表 ORC数据类型 AnalyticDB PostgreSQL版 数据类型 BOOLEAN bool SHORT int2 INT int4 LONG int8 FLOAT float4 DOUBLE float8 DECIMAL numeric CHAR char STRING text BINARY bytea TIMESTAMP timestamp DATE date LIST...
2.0数据类型版本
本文为您介绍MaxCompute 2.0数据类型版本的定义、使用场景、支持的数据类型以及与其它数据类型版本的差异。定义 项目空间选择数据类型版本为2.0数据类型版本时，项目空间的数据类型属性参数定义如下。setproject odps.sql.type.system.odps...
组件与数据类型的兼容
不支持 不支持 PAI 支持除Decimal之外的其它数据类型 2.0新增的数据类型中仅支持INT 部分功能支持map数据类型 不支持 不支持 PyODPS 支持 DataFrame不支持2.0数据类型 其它功能都支持2.0数据类型 支持 DataFrame不支持2.0数据类型 其它功能...
新建Flink SQL类型的公共节点
Flink SQL节点是流式节点，运行于Flink云计算资源之上，支持对ApsaraDB for RDS、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL和DataHub Service等类型的数据进行处理。本文介绍如何新建Flink SQL类型的公共节点。背景信息...
新建Flink Vvp SQL类型的公共节点
Flink Vvp SQL节点是流式节点，运行于Flink云计算资源之上，支持对ApsaraDB for RDS、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL、AnalyticDB_PostgreSQL和DataHub Service等类型的数据进行处理。本文介绍如何新建Flink ...
新建Flink Vvr SQL类型的公共节点
Flink Vvr SQL节点是流式节点，运行于Flink云计算资源之上，支持对RDS MySQL、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL和DataHub等类型的数据进行处理。本文介绍如何新建Flink Vvr SQL类型的公共节点。背景信息 Flink ...
- 产品推荐
- 这些文档可能帮助您