支持的连接器

MySQL√流模式 SQL和DataStream 是 云数据库RDS MySQL版×流模式和批模式 SQL大数据计算服务MaxCompute√流模式和批模式 SQL和DataStream 不支持更新和删除结果表数据,只支持插入数据。数据总线DataHub√流模式和批模式 SQL和...

SQL概述

MaxCompute SQL是MaxCompute中用于数据查询和分析的SQL语言,其语法类似于标准SQL,但在标准语法ANSI SQL92的基础上进行了一些扩展和限制以更好地服务于规模数据仓库的场景。本文为您介绍MaxCompute SQL使用场景、使用向导及支持的工具...

COST SQL

计量预估,基于一条SQL作业的输入数据量大小、UDF个数以及SQL复杂等级估算作业执行费用。需要注意的是,如果UDF涉及分区裁剪,由于无法确定最终会扫描多少个分区,该场景下的费用无法预估。使用限制 目前外部表不支持Cost SQL功能。注意...

其它操作

计量预估 基于一条SQL作业的输入数据量大小、UDF个数以及SQL复杂等级估算作业执行费用。需要注意的是,如果UDF涉及分区裁剪,由于无法确定最终会扫描多少个分区,该场景下的费用无法预估。说明 该信息不能作为实际计费标准,仅供参考,实际...

增量备份数据上云(SQL Server 2008 R2云盘、2012及...

您需要先将全量备份文件上传至阿里云的对象存储服务(OSS),并通过RDS控制台将全量备份数据恢复至指定的RDS SQL Server数据库中。然后通过RDS控制台将差异备份或日志备份文件导入该RDS SQL Server数据库中,以实现增量备份上云的效果。该...

SQL使用限制项

MaxCompute SQL是专门为规模数据集设计的SQL语言,在服务规模数据场景的同时,也需要遵循一定的限制来确保系统的稳定性和运行效率,本文为您介绍MaxCompute SQL的限制项。限制项 最大值/限制条件 分类 说明 表名长度 128字节 长度限制 ...

SQL脚本模式

当您面对大数据集的ETL任务、自动化定期任务、复杂查询编排等场景时,可以使用MaxCompute当前SQL引擎支持的脚本模式(Script Mode SQL)。在脚本模式下,一个多语句的SQL脚本文件将被作为一个整体进行编译,无需对单个语句进行编译;提交...

SQL其他常见问题

本文为您介绍在MaxCompute中执行SQL时,与数据类型、SQL限制等相关的常见问题。问题类别 常见问题 数据类型 MaxCompute的时间类型字段是否可以不带时分秒?在执行MaxCompute SQL过程中,对DOUBLE类型的数据进行等值比较,为什么结果不符合...

与标准SQL的主要区别及解决方法

如果希望执行大数据量的排序任务,甚至是全表排序任务,可以增大N值。解决方案请参见 MaxCompute查询得到的数据是根据什么排序的?UNION ALL 参与UNION ALL运算的所有表必须列数一致,否则会报错。参与UNION ALL运算的所有列的数据类型、列...

SQL调优

每次读取 256 MB 数据太少,导致Instance的执行时间太短,而由于输入数据,反而导致了并行度过,使Instance大多数时间在排队等资源,需要调单个Instance读取的数据量。解决方案:使用如下命令调单个并发处理的数据大小。set odps...

发展历程

产品荣誉 2022年11月,自研一体化大数据计算平台和数据仓库产品ODPS获世界互联网领先科技成果奖。2022年8月,MaxCompute在TPCx-BB 100TB标准测试中,连续6连贯全球冠军,保持性能和性价比第一。2021年12月,IDC发布《IDC MarketScape:中国...

实验介绍

云原生大数据计算服务MaxCompute 实现底层加工计算,您需提前开通该服务。详情请参见 开通MaxCompute。云数据库RDS MySQL版 本案例中用于存储用户信息数据。案例已默认提供该MySQL数据源基本信息,您无需单独开通该服务。对象存储OSS 本...

聚合函数

PERCENTILE_APPROX 计算近似百分位数,适用于大数据量。STDDEV 计算总体标准差。STDDEV_SAMP 计算样本标准差。SUM 计算汇总值。VAR_SAMP 计算指定数值列的样本方差。VARIANCE/VAR_POP 计算指定数值列的方差。WM_CONCAT 用指定的分隔符连接...

MaxCompute SQL示例解析

为了避免数据量太,此场景下建议您使用JOIN子句。SELECT d.*FROM dept d JOIN(SELECT DISTINCT deptno AS no FROM emp)e ON d.deptno=e.no;示例2:查询薪金比SMITH高的所有员工。此场景为MAPJOIN的典型场景。SELECT/*+MapJoin(a)*/e....

使用SQL分析连接

内置的Demo文件,每个文件都有多个SQL脚本,脚本名中-query 前的数字即为Query个数,特别是TPC-DS数据集的Demo每个会有99个Query,分几个不同数据量的规格,执行会消耗计算资源产生计算消费,请您谨慎操作。时间线 记录展示编辑区打开的每...

多路输出(MULTI INSERT)

MaxCompute SQL支持您在一条SQL语句中通过 insert into 或 insert overwrite 操作将数据插入不同的目标表或者分区中,实现多路输出。本文中的命令您可以在如下工具平台执行:MaxCompute客户端 使用SQL分析连接 使用云命令行(odpscmd)连接...

SQL Workbench/J连接MaxCompute

MaxCompute支持您通过数据库管理工具SQL Workbench/J访问MaxCompute项目,进行数据管理操作。本文为您介绍如何通过MaxCompute JDBC驱动,连接SQL Workbench/J和MaxCompute项目并管理数据。背景信息 SQL Workbench/J是一个免费的、独立于...

引用SQL组件

使用SQL代码处理数据表时,通过过滤、连接和聚合数据源表,获取结果表。您可通过创建数据开发(DataStudio)的SQL组件节点使用组件,基于组件快速新建数据处理节点,提高开发效率。本文为您介绍如何创建SQL组件节点并使用组件。前提条件 已...

开发ODPS SQL任务

不同环境执行顺序如下:执行SQL 数据开发DataStudio 调度运维 第一条SQL语句 set a=b;set c=d;create table name1(id string);set a=b;create table name1(id string);第二条SQL语句 set a=b;set c=d;create table name2(id string);set c=...

常用命令列表

本文为您介绍MaxCompute SQL常用开发命令。...上传数据(Tunnel upload)下载数据(Tunnel download)时区配置操作 时区配置操作 其它操作 计量预估(cost sql)使用说明 MaxCompute命令中的关键字、项目空间名、表名和列名均对小写不敏感。

开发及提交SQL脚本

本文为您介绍如何在MaxCompute Studio上开发SQL脚本。包括编写和运行SQL脚本。前提条件 已连接MaxCompute项目,详情请参见 管理项目连接。已创建MaxCompute Script Module,详情请参见 创建MaxCompute Script Module。创建SQL脚本文件 在 ...

COMPACTION

目前主要支持两种数据合并方式:Clustering:只是把Commit的DeltaFile合并成一个文件,不改变数据内容。系统内部会根据新增的文件大小、文件数量等因素周期性地执行,不需要用户手动操作。主要解决小文件IO读写效率和稳定性问题。...

概述

本文为您介绍在MaxCompute Studio上开发SQL脚本的流程、设置SQL编辑器风格和编译相关参数。在MaxCompute Studio上开发SQL脚本流程如下:创建MaxCompute Script Module。编写SQL脚本并提交至MaxCompute服务端。详情请参见 开发及提交SQL脚本...

计算费用(按量付费)

部分的SQL作业有分区过滤和列裁剪,所以通常该值会远小于源表数据大小。分区过滤:例如SQL语句中含有 WHERE ds>20130101,ds 是分区列,则计费的数据量仅包括实际读取的分区,不包括其他分区的数据。列裁剪:例如SQL语句 SELECT f1,f2,f3...

使用Azkaban调度MaxCompute

本文中假设您需要在Azkaban上通过调度功能实现创建表、导入数据、查询数据这一套SQL处理逻辑。基于此场景,您可以设计作业、作业调度流程、各作业对应的作业文件及脚本文件如下。前提条件 在执行操作前,请确认您已满足如下条件:已下载并...

SQL错误码(ODPS-01CCCCX)

本文为您介绍SQL错误码列表、触发条件及处理方法。该类型错误的错误码编码格式如下。ODPS-01CCCCX:通用描述-上下文相关说明 SQL错误包含META(CCCC段为1000~1999)、PROCESSOR(CCCC段为2000~2999)、PARSER(CCCC段为3000~3999)和PLANNER...

SQL语句中设置Flag示例

例如,Session级别使用MaxCompute 2.0数据类型时,需要在涉及2.0数据类型的SQL前加设置Flag的语句 set odps.sql.type.system.odps2=true;示例 使用Java SDK提交SQL时,不能简单地把Set Flag语句直接放到SQL查询中执行。设置Flag的正确方式...

MapReduce支持SQL运行时执行模式

MaxCompute新增支持将MapReduce作业指定为SQL运行时(Runtime)执行模式,基于SQL运行时,MapReduce作业可以应用SQL引擎的各种新特性,实现之前不支持的功能。本文为您介绍如何将MapReduce作业指定为SQL运行时执行模式。背景信息 ...

UDF(SQL自定义函数)

使用SQL定义UDF时,UDF入参的参数类型需为MaxCompute支持的数据类型,支持的数据类型请参见 2.0数据类型版本;在UDF创建完成后,在调用SQL UDF时,请确保调用时的入参与定义UDF的入参参数类型保持一致。在创建、查询、调用、删除SQL自定义...

SELECT FUNCTION

列的数据类型必须与SQL语言定义函数定义的数据类型保持一致。table_name:待查询目标表的名称。使用示例-创建目标表src。create table src(c bigint,d string);insert into table src values(1,100.1),(2,100.2),(3,100.3);调用my_add函数...

SQL

PyODPS支持对MaxCompute SQL的基本操作,本文为您介绍如何在PyODPS中使用SQL。背景信息 PyODPS提供对MaxCompute SQL的基本操作方法,方法如下所示。方法名称 方法说明 execute_sql()/run_sql()执行SQL语句。open_reader()读取SQL执行结果。...

使用SQL管理外部项目

本文为您介绍如何使用SQL方式对不同场景中已创建的外部项目、及其中的表进行管理,例如查询或更新表数据等操作。背景信息 您在通过DataWorks控制台的数据湖集成界面创建External Project后,可以使用SQL方式操作External Project,场景如下...

多行数据合并为一行数据

本文为您介绍,如何使用SQL实现多行数据合并为一行数据。示例数据 class gender name 1 M LiLei 1 F HanMM 1 M Jim 1 F HanMM 2 F Kate 2 M Peter 使用示例 示例1:将 class 相同的 name 合并为一行,并对 name 去重。去重操作可通过嵌套子...

自动SQL限流

数据库存在突发流量导致SQL并发量急剧上升、部分SQL占用大量数据库资源、或者大量未创建索引的SQL被调用等问题影响正常业务时,需要限制问题SQL的并发度,保障部分的业务正常运转。数据库自治服务DAS支持自动SQL限流,会自动提取SQL...

自动SQL限流

数据库存在突发流量导致SQL并发量急剧上升、部分SQL占用大量数据库资源、或者大量未创建索引的SQL被调用等问题影响正常业务时,需要限制问题SQL的并发度,保障部分的业务正常运转。数据库自治服务DAS支持自动SQL限流,会自动提取SQL...

访问MaxCompute数据

背景信息 大数据计算服务MaxCompute是一种快速、完全托管的TB/PB级数据仓库解决方案。您可以通过AnalyticDB MySQL湖仓版(3.0)Spark SQL读写MaxCompute数据。前提条件 已创建湖仓版(3.0)集群。具体操作,请参见 创建湖仓版(3.0)集群。...

计费常见问题

SQL作业的费用计算方式为 输入数据量×复杂度×单价,因此在复杂度和单价不变情况下,输入数据量越费用越高。MaxCompute作业跑失败了会收费吗?MaxCompute有两种计费模式:按量计费:如果作业是按照按量计费进行运行的,当运行失败后,...

FUNCTION

使用SQL定义UDF时,UDF入参的参数类型需为MaxCompute支持的数据类型,支持的数据类型请参见 2.0数据类型版本;在UDF创建完成后,在调用SQL UDF时,请确保调用时的入参与定义UDF的入参参数类型保持一致。在创建、查询、调用、删除SQL自定义...

CREATE SQL FUNCTION

使用SQL定义UDF时,UDF入参的参数类型需为MaxCompute支持的数据类型,支持的数据类型请参见 2.0数据类型版本;在UDF创建完成后,在调用SQL UDF时,请确保调用时的入参与定义UDF的入参参数类型保持一致。在创建、查询、调用、删除SQL自定义...

运行SQL命令并导出结果数据

本文介绍如何在MaxCompute客户端上运行SQL命令并通过Tunnel Download导出结果数据。前提条件 已向MaxCompute的表中导入数据。更多导入数据操作,请参见 导入数据。背景信息 MaxCompute客户端支持 DDL、DML、DQL 等操作,您可以结合相应语法...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 RDS 云原生大数据计算服务 MaxCompute 实时计算 Flink版 云服务器 ECS 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用