MaxCompute作业概述
数据类型 MaxCompute数据开发支持三个数据类型版本：1.0数据类型版本、MaxCompute 2.0推出了兼容开源主流产品的 2.0数据类型版本 和 Hive兼容数据类型版本。您可以根据您MaxCompute作业的实际情况选用合适的数据类型版本，详情请参见 数据...
数据迁移
迁移ECS上自建的MySQL数据库中的数据至MaxCompute，详情请参见 迁移ECS自建MySQL数据库至MaxCompute。迁移其它业务平台的日志数据至MaxCompute：通过Tunnel迁移日志数据至MaxCompute，详情请参见 通过Tunnel迁移日志数据至MaxCompute。通过...
SQL其他常见问题
本文为您介绍在MaxCompute中执行SQL时，与数据类型、SQL限制等相关的常见问题。问题类别 常见问题 数据类型 MaxCompute的时间类型字段是否可以不带时分秒？在执行MaxCompute SQL过程中，对DOUBLE类型的数据进行等值比较，为什么结果不符合...
使用DataWorks连接
（可选）为DataWorks添加MaxCompute数据源。DataWorks的数据源分为引擎绑定时默认创建的引擎数据源和在数据源配置界面创建的自建数据源，若要操作非引擎数据源，请确保已创建数据源，详情请参见 创建与管理数据源。通过DataWorks使用...
常见问题
当MaxCompute项目打开2.0新数据类型开关（odps.sql.type.system.odps2=true）时，存在隐式转换被禁用的风险，您可以关闭2.0新数据类型开关（odps.sql.type.system.odps2=false）。在MaxCompute中创建表的方式有哪些？您可以通过如下方式...
用户规划与管理
当MaxCompute项目需要多人维护时，非项目所有者（Project Owner）的用户必须被加入MaxCompute项目中，且被授予相应的权限，才能操作MaxCompute中的表、资源、函数或作业（实例）。本文为您介绍MaxCompute支持的用户管理操作。背景信息 创建...
数据传输作业：数据集成
实时同步 DataWorks提供的实时数据同步功能，使用单表或整库同步方式，将源端数据库中部分或全部表的数据变化实时同步至MaxCompute中，实现MaxCompute实时保持和源库的数据对应。一个实时同步任务支持多个转换插件进行数据清洗，并支持多个...
数据输入输出
MaxFrame支持直连MaxCompute，允许对MaxCompute中的数据进行高效直接读写操作，运行时无需将数据拉取至本地计算，消除了不必要的本地数据传输，提高了执行效率。MaxCompute表 您可以使用MaxCompute表创建MaxFrame DataFrame对象，并将计算...
可视化管理资源
MaxCompute Studio的Project Explorer提供了可视化编辑器，可以帮助您快速在MaxCompute项目中添加注册MaxCompute UDF所需的资源，例如表、JAR包、PY脚本或压缩包等，并提供获取及删除资源的入口。本文为您介绍如何通过Project Explorer可视...
数据传输费用（公网下载）
本文介绍MaxCompute中数据下载计费规则。MaxCompute仅对公网的下载数据进行收费，并按照下载的数据大小按量计费。MaxCompute会在第二天给出您的下载费用账单，您可以进入 费用中心 查看。下载计费规则如下。计费公式 价格 说明 一次下载...
运行模式
ODPS SPARK节点 spark-submit 主Java、Python资源 app jar or python file 配置项-conf PROP=VALUE Main Class-class CLASS_NAME 参数[app arguments]选择JAR资源-jars JARS 选择Python资源-py-files PY_FILES 选择File资源-files FILES ...
生态对接
本文为您介绍MaxCompute支持连接的商业智能BI工具、数据库管理工具及ETL工具。MaxCompute的生态架构如下图所示。商业智能（BI）工具 商业智能（BI）工具支持将计算引擎得到的数据通过仪表板、图表或其他图形输出实现数据可视化，以直观的...
开发ODPS MR任务
您可以通过创建ODPS MR类型节点并提交任务调度，使用MapReduce Java API编写MapReduce程序来处理MaxCompute中的数据。前提条件 上传并提交、发布使用的资源，详情请参见 创建并使用MaxCompute资源。创建ODPS MR节点，详情请参见 创建并管理...
兼容性概述
为了帮助您更清晰地使用BI工具连接访问MaxCompute，本文为您介绍MaxCompute支持连接的BI分析工具，以及工具与MaxCompute在数据库连通性、列举数据库等方面的兼容性。兼容性说明 商业智能（BI）分析工具与MaxCompute的兼容性说明如下。工具 ...
2021年
本文为您介绍了MaxCompute 2021年内容更新的最新动态，基于此您可以了解MaxCompute中增加了哪些新功能、语法新特性和权限变更，提升项目开发效率。MaxCompute的重要功能发布记录请参见 产品重大更新。2021年12月更新记录 时间 特性 类别 ...
兼容性概览
为了帮助您更清晰地使用外部工具连接访问MaxCompute，本文将为您介绍MaxCompute支持连接的数据库管理工具，以及工具与MaxCompute在数据库连通性、列举数据库、查看表等方面的兼容性。数据库管理工具与MaxCompute的兼容性如下。工具 连接...
管理IP白名单
本文为您介绍当MaxCompute项目开启白名单功能时，如何添加、查看、修改、关闭经典网络和VPC网络的IP白名单及场景。仅Project Owner和Super_Administrator角色以及自定义的包含IP白名单管理相关权限的项目管理类角色有权限执行此操作。背景...
自定义Join（UDJ）
基于MaxCompute 2.0计算引擎，MaxCompute在UDF框架中引入了新的扩展机制UDJ（User Defined Join），来实现灵活的跨表、多表自定义操作，同时减少通过MapReduce等方式对分布式系统底层细节的操作。背景信息 MaxCompute内置了多种 Join 操作...
项目
项目（Project）是MaxCompute的基本组织单元，它类似于传统数据库的Database或Schema的概念，是进行多用户隔离和访问控制的主要边界。项目中包含多个对象，例如表（Table）、资源（Resource）、函数（Function）和实例（Instance）等，您...
Java SDK介绍
Java SDK是MaxCompute提供的一套Java编程语言接口，您可以通过该接口使用Java代码来操作和管理MaxCompute服务，例如访问和管理项目、操作数据表、数据传输及函数管理等。本文从实例、资源、表、函数等几个方面为您介绍Java SDK。说明 使用...
什么是MaxCompute
提供持续的SaaS化云上数据保护 为云上企业提供基础设施、数据中心、网络、供电、平台安全能力、用户权限管理、隐私保护等保三级超20项安全功能，兼具开源大数据与托管数据库的安全能力。产品架构 MaxCompute的产品架构如下。其中核心模块...
Sugar BI连接MaxCompute
在MaxCompute项目的IP白名单中添加如下IP：183.240.92.0/24,111.45.0.0/22,14.215.188.4/25 说明 添加IP白名单操作详情请参见 添加IP白名单，不添加如上IP会导致Sugar BI无法读取MaxCompute数据。步骤二：创建数据模型 连接完数据源后，...
利用MaxCompute External Volume处理非结构化数据
External Volume是MaxCompute提供的分布式文件系统和数据存储方案，为OSS路径在MaxCompute中的映射对象。MaxCompute通过创建External Volume去挂载OSS的一个路径，利用MaxCompute权限管理系统对用户访问External Volume做细粒度的权限控制...
Spark Connector
为了更好地融入大数据生态，MaxCompute开放了存储组件（Storage API），通过调用Storage API直接访问MaxCompute底层存储，有助于提高第三方引擎访问MaxCompute数据的速度与效率。本文为您介绍如何使用第三方计算引擎Spark通过Spark ...
数据质量衡量
在了解保障基于MaxCompute的数据仓库数据质量的方案后，您还需要进一步学习如何制定一套标准度量方案，以及判断质量监控方案是否合适业务需求以及如何改进。例如，针对每一个数据质量事件，必须分析原因和处理过程，制定后续同类事件预防...
使用说明
product=MaxCompute/ODPS jdbc version=3,0 inspecting table:jdbc_test key BIGINT(-5)value STRING(12)更新表 import java.sql.Connection;import java.sql.DriverManager;import java.sql.SQLException;import java.sql.Statement;...
导入导出表数据
MaxCompute Studio可以将CSV、TSV等格式的本地数据文件导入至MaxCompute表中，也可将MaxCompute表中的数据导出到本地文件。MaxCompute Studio通过Tunnel导入导出数据。前提条件 导入导出数据使用MaxCompute Tunnel，因此要求MaxCompute ...
SQL概述
参考文档 说明 了解MaxCompute SQL 与其他SQL语法的差异 了解与主流数据库的语法差异。保留字与关键字 了解MaxCompute SQL命令中的保留字与关键字。数据类型 了解MaxCompute SQL支持处理的数据类型、版本及各版本间的区别。数据类型转换 ...
概述
MaxCompute Tunnel是MaxCompute的数据通道，您可以通过Tunnel向MaxCompute中上传或者下载数据。MaxCompute提供的 数据上传和下载工具 是基于Tunnel SDK编写的。本文将为您介绍Tunnel SDK的主要接口，不同版本的SDK在使用上有所差别，准确...
数据传输费用（按时计费）
相关文档 如果您希望了解MaxCompute中数据下载的计费规则，请参见 数据传输费用（公网下载）。如果您希望在数据传输过程中实现资源独享，保障数据传输的稳定性，请参见 购买与使用独享数据传输服务资源组，包年包月的计费规则请参见 数据...
2024年
本文为您介绍MaxCompute 2024年产品公告，基于此您可以了解MaxCompute中增加了哪些新功能、语法新特性和权限变更等信息，以提升项目开发效率。2024年04月11日-MaxCompute存储服务升级 尊敬的MaxCompute用户：MaxCompute将于 北京时间2024年...
开发UDF
当MaxCompute提供的内建函数无法满足您的业务需求时，您可在MaxCompute Studio中自行开发UDF（自定义函数）以实现业务功能，本文介绍如何使用MaxCompute Studio开发及调试Java UDF。前提条件 您需要完成以下操作：管理项目连接 创建...
ODPS-0123144
解决方案 如果用的PYODPS在MaxCompute UDF代码中增加日志，用于检查代码中是否有死循环问题，或者可以在日志里打印时间信息来检查MaxCompute UDF处理单条数据的时长是否符合预期。代码中需要增加如下打印日志相关信息，作业运行成功后，您...
表
MaxCompute的表类似于传统关系型数据库中的表，可以存储结构化数据，并且使用SQL进行查询和分析。MaxCompute中不同类型计算任务的操作对象（输入、输出）都是表。您可以 创建表、删除表以及向表中导入数据。说明 DataWorks的数据开发模块...
Pandas API支持
MaxFrame提供了兼容Pandas的API接口，您可以用类似于Pandas的方式来操作MaxCompute中的数据，同时利用MaxCompute强大的分布式计算能力，简化您在大数据环境下的数据处理工作，本文为您介绍Pandas API的支持情况。当前MaxFrame支持的API详情...
数据传输服务（上传）场景与工具
例如上传数据源可以是外部文件、外部数据库、外部对象存储或日志文件。MaxCompute中批量数据通道上传包含如下方案。Tunnel SDK：您可以通过 Tunnel 向MaxCompute中上传数据。数据同步服务：您可以通过 数据集成（DataWorks）任务，提取、...
通过Tunnel迁移日志数据至MaxCompute
本文为您介绍如何通过Tunnel上传日志数据至MaxCompute。前提条件 安装MaxCompute客户端，详情请参见 安装并配置MaxCompute客户端。将日志数据保存至本地。本文使用的示例数据为 loghub.csv。背景信息 Tunnel是MaxCompute的批量上传数据工具...
Spark常见问题
将MaxCompute中的资源添加至DataWorks数据开发面板的业务流程中，详情请参见 MaxCompute资源管理。在DataWorks ODPS Spark节点中选择jar、file、archive资源。说明 该方案在任务运行时会上传资源，对于较大资源建议采用方案一进行引用。...
数据类型版本说明
MaxCompute数据类型版本 MaxCompute设置数据类型版本属性的参数共有3个：odps.sql.type.system.odps2：MaxCompute 2.0数据类型版本的开关，属性值为True或False。odps.sql.decimal.odps2：MaxCompute 2.0的Decimal数据类型的开关，属性值为...
2024年
准备工作 2024-03-25 新增StarRocks Connector 新说明 StarRocks Connector通过实现External Catalog机制，无需数据导入或创建外部表即可无缝访问MaxCompute数据源，并执行复杂的SQL查询，提升了数据分析效率并降低了运维难度和成本。...
- 产品推荐
- 这些文档可能帮助您