SQL其他常见问题

您可以在Session级别执行 set odps.sql.decimal.odps2=true;命令,打开2.0数据类型开关。但您需要注意,MaxCompute支持的DECIMAL类型数据的最大长度为38位,但实际业务处理过程中如果数据存储为最大长度,在数据处理过程中很容易出现数据...

DESC FUNCTION

Name my_lower Owner ALIYUN$Created Time 2020-06-18 15:50:19 Class org.alidata.odps.udf.examples.Lower Resources project_name/my_lower.jar 相关命令 FUNCTION:如果您不需要把SQL语言定义函数存入MaxCompute的Meta系统,可以使用...

DQL操作常见问题

FAILED:ODPS-0130071:[1,27]Semantic analysis exception-ORDER BY must be used with a LIMIT clause,please set odps.sql.validate.orderby.limit=false to use it.产生原因 ORDER BY需要对单个执行节点做全局排序,所以默认带LIMIT限制...

数据类型版本说明

MaxCompute数据类型版本 MaxCompute设置数据类型版本属性的参数共有3个:odps.sql.type.system.odps2:MaxCompute 2.0数据类型版本的开关,属性值为True或False。odps.sql.decimal.odps2:MaxCompute 2.0的Decimal数据类型的开关,属性值为...

SQL使用限制项

MaxCompute SQL是专门为大规模数据集设计的SQL语言,在服务大规模数据场景的同时,也需要遵循一定的限制来确保系统的稳定性和运行效率,本文为您介绍MaxCompute SQL的限制项。限制项 最大值/限制条件 分类 说明 表名长度 128字节 长度限制 ...

SQL概述

MaxCompute SQL是MaxCompute中用于数据查询和分析的SQL语言,其语法类似于标准SQL,但在标准语法ANSI SQL92的基础上进行了一些扩展和限制以更好地服务于大规模数据仓库的场景。本文为您介绍MaxCompute SQL使用场景、使用向导及支持的工具...

报错FAILED:ODPS-0420061:Invalid parameter in ...

问题现象 如果您购买了MaxCompute服务,在项目中执行相应的MaxCompute SQL语句时,您可能会收到以下的报错信息:FAILED:ODPS-0420061:Invalid parameter in ...问题原因 小文件过多。解决方法 您可以通过以下命令来查看表中的小文件数量:desc...

开发ODPS SQL任务

DataWorks为您提供ODPS SQL节点,可用于周期性调度MaxCompute的SQL任务,并完成与其他类型节点的集成和联合调度。MaxCompute SQL任务采用类似SQL的语法,适用于海量数据(TB级)但实时性要求不高的分布式处理场景。本文为您介绍在DataWorks...

配置MaxCompute Studio

MaxCompute SQL配置选项 在 Settings 对话框左侧导航栏上,单击 MaxCompute Studio>MaxCompute SQL,进入MaxCompute SQL配置选项页。在MaxCompute SQL配置选项对话框配置如下信息:语法高亮 选中 Enable syntax coloring,启动语法高亮功能...

大量数据导出方案

本文将通过示例,为您介绍导出MaxCompute SQL计算结果的方法。说明 本文中所有SDK部分仅以Java举例。概述 您可以通过以下方法导出SQL的运行结果:如果数据比较少,请使用 SQL Task 得到全部的查询结果。如果需要导出某个表或者分区,请使用...

MaxCompute作业概述

典型场景 创建作业:创建ODPS SQL节点、数据传输作业:数据集成、数据分析作业。查看作业运行信息:使用Logview查看作业运行信息、在DataWorks运维中心查看运行信息 等。作业优化:SQL调优。数据开发作业实践:使用MaxCompute分析IP来源...

2021年

2021-08-31 全部地域 复杂类型函数 日期函数 字符串函数 数学函数 其他函数 MaxCompute SQL UPDATE、DELETE和MERGE INTO功能商业化 自2021年8月10日起,MaxCompute SQL的UPDATE、DELETE和MERGE INTO功能结束免费公测,开始正式计费。...

CREATE FUNCTION

create function my_lower as 'org.alidata.odps.udf.examples.Lower' using 'my_lower.jar';示例2:创建函数 my_lower。假设Python UDF类MyLower在项目 test_project 的脚本 pyudf_test.py 中。create function my_lower as 'pyudf_test....

使用DataWorks连接

使用DataWorks连接MaxCompute有如下方式:数据分析的 SQL查询 功能:实现编辑MaxCompute SQL、查询数据、分析数据(电子表格)、在线分享数据及下载数据等功能。SQL查询功能详情请参见 SQL查询。数据开发的MaxCompute任务节点:DataWorks将...

PyODPS参数传递

0001,互联网,本科,20190715,beijing 0002,教育,大专,20190716,beijing 0003,金融,硕士,20190715,shandong 0004,互联网,硕士,20190715,beijing 右键单击业务流程,选择 新建节点>MaxCompute>ODPS SQL。输入 节点名称,并单击 确认。在ODPS ...

建立性能基准

记录查询执行时间及预估费用 登录 DataWorks控制台,进入 数据开发 页面,创建 ODPS sql 节点。您可以在运行任务时或通过单击 图标直接通过图形页面查看预估费用。任务完成运行后,可在运行日志中查看到运行时间。icmsDocProps={'...

DML操作常见问题

MaxCompute SQL中使用到新数据类型(TINYINT、SMALLINT、INT、FLOAT、VARCHAR、TIMESTAMP或BINARY)时,需要执行如下语句开启新数据类型开关:Session级别:如果使用新数据类型,您需要在SQL语句前加上 set odps.sql.type.system.odps2=...

使用SQL管理外部项目

您可以在odps_config.ini文件中增加set配置 set.odps.sql.hive.compatible=true 和 set.odps.external.hadoop.user=,避免每次手动输入。创建与外部数据源中表结构相同的表 如果需要创建与外部数据源中表结构相同的表,可以使用 create ...

PyODPS查看一级分区

0001,互联网,本科,20190715,beijing 0002,教育,大专,20190716,beijing 0003,金融,硕士,20190715,shandong 0004,互联网,硕士,20190715,beijing 右键单击业务流程,选择 新建节点>MaxCompute>ODPS SQL。输入 节点名称,并单击 确认。在ODPS ...

统计MaxCompute TOPN费用账号及耗时作业

说明 如果需要同时对多个MaxCompute项目的元数据进行统计分析,您可以创建多个ODPS SQL节点,将这些MaxCompute项目的元数据写入到同一张数据备份表中。步骤四:创建统计TOPN费用账号及耗时作业 TASKS_HISTORY视图中的settings会记录上层...

JSON数据从OSS迁移至MaxCompute

本文为您介绍如何通过DataWorks数据集成,将JSON数据从OSS迁移至MaxCompute,并使用MaxCompute内置字符串函数GET_JSON_OBJECT提取JSON信息。前提条件 开通MaxCompute。在DataWorks上完成创建业务流程,本例使用DataWorks简单模式。详情请...

概述

set odps.sql.type.system.odps2=true 常见问题 如何查看MaxCompute JDBC驱动的日志?MaxCompute JDBC驱动的日志默认放在驱动JAR包所在的同级目录下,文件名为 jdbc.log。如果代码与驱动打包为一个Uber JAR,日志将会在Uber JAR所在的同级...

MaxCompute后付费消费突增排查

说明 如果需要同时对多个MaxCompute项目的元数据进行统计分析,您可以创建多个ODPS SQL节点,将这些MaxCompute项目的元数据写入到同一张数据备份表中。步骤四:通过费用中心分析高额消费项目和计费项 进入费用中心请参见 进入费用中心,在...

SQL

PyODPS支持对MaxCompute SQL的基本操作,本文为您介绍如何在PyODPS中使用SQL。背景信息 PyODPS提供对MaxCompute SQL的基本操作方法,方法如下所示。方法名称 方法说明 execute_sql()/run_sql()执行SQL语句。open_reader()读取SQL执行结果。...

Spark访问湖仓一体外部数据源

MaxCompute Spark访问外部项目表-配置项-当前默认关闭对于外表和外部project的支持,需要手动打开 spark.sql.odps.enableExternalTable=true spark.sql.odps.enableExternalProject=true;指定spark版本 spark.hadoop.odps.spark.version=...

PyODPS读取分区表数据

0001,互联网,本科,20190715,beijing 0002,教育,大专,20190716,beijing 0003,金融,硕士,20190715,shandong 0004,互联网,硕士,20190715,beijing 右键单击业务流程,选择 新建节点>MaxCompute>ODPS SQL。输入 节点名称,并单击 确认。在ODPS ...

迁移Oracle数据至MaxCompute最佳实践

验证结果 右键单击 业务流程,选择 新建节点>MaxCompute>ODPS SQL。在 新建节点 对话框中配置节点基本信息,并单击 确认。在ODPS SQL节点编辑页面输入如下语句。查看是否成功写入MaxCompute。select*from good_sale;单击 图标运行代码。您...

Paimon外部表

SET odps.sql.common.table.planner.ext.hive.bridge=true;SET odps.sql.hive.compatible=true;执行以下命令,查询MaxCompute Paimon外部表 oss_extable_paimon_1。SELECT*FROM oss_extable_paimon_1;示例返回结果如下。id|data|dt|+-+-+-+...

Python 2 UDAF

当UDAF代码中需要引用文件资源或表资源时,需要包含 from odps.distcache import get_cache_file(文件资源)或 from odps.distcache import get_cache_table(表资源)。函数签名:必选。格式为@annotate(),signature 用于定义函数的输入...

多路输出(MULTI INSERT)

MaxCompute SQL支持您在一条SQL语句中通过 insert into 或 insert overwrite 操作将数据插入不同的目标表或者分区中,实现多路输出。本文中的命令您可以在如下工具平台执行:MaxCompute客户端 使用SQL分析连接 使用云命令行(odpscmd)连接...

GETDATE

说明 在MaxCompute SQL中,getdate 总是返回一个固定的值。返回结果会是MaxCompute SQL执行期间的任意时间,时间精度精确到秒。如果开启了新数据类型2.0,时间精度精确到毫秒。相关函数 GETDATE函数属于日期函数,更多日期计算、日期转换的...

使用Kafka(离线与实时)

set odps.sql.allow.fullscan=true;select*from table_text;返回结果如下:#这里由于我们odps-sink-connector.json配置文件中的mode值为VALUE,所以只保留value的内容,key字段为NULL+-+-+-+-+-+-+|topic|partition|offset|key|value|pt|+-...

使用MaxCompute分析IP来源最佳实践

在SQL中使用UDF函数分析IP来源 右键单击 业务流程,选择 新建节点>MaxCompute>ODPS SQL。在 新建节点 对话框中输入 节点名称,并单击 确认。在ODPS SQL节点编辑页面,输入如下语句。select*from ipresource WHERE ipint('192.0.2.0')>=...

MULTI INSERT

MaxCompute SQL支持您在一条SQL语句中通过 insert into 或 insert overwrite 操作将数据插入不同的目标表或者分区中,实现多路输出。前提条件 执行操作前需要具备目标表的修改权限(Alter)及源表的元信息读取权限(Describe)。授权操作请...

PyODPS节点实现避免将数据下载到本地

当数据量大时,建议使用PyODPS DataFrame(从MaxCompute表创建)和MaxCompute SQL来处理数据,以替代本地数据处理这种比较低效的方式。示例代码 将一份JSON串数据按Key-Value对展开成一行,示例代码如下。本地测试,通过 head()方法返回...

DELETE FUNCTION

您可以编写自定义函数并在MaxCompute SQL中使用入口对象的delete_function()方法来删除函数,也可以使用函数对象调用drop方法删除函数。使用示例 o.delete_function('test_function')function.drop()#Function对象存在时直接调用drop方法。...

UDF开发(Java)

UDF开发完成后:UDF调用说明 按照上述 UDF开发流程,完成Java UDF开发后,您即可在odpscmd中通过MaxCompute SQL调用Java UDF。调用方法如下:在归属MaxCompute项目中使用自定义函数:使用方法与 内建函数 类似,您可以参照内建函数的使用...

压缩数据从OSS迁移至MaxCompute

创建方式 平台 基于MaxCompute SQL创建OSS外部表 MaxCompute客户端 使用控制台(查询编辑器)连接 DataWorks控制台-ODPS SQL节点 MaxCompute Studio-SQL程序 以可视化方式创建OSS外部表 MaxCompute Studio-SQL程序 DataWorks控制台-外部表 ...

2024年

2024年02月29日-MaxCompute SQL反向访问VPC方案下线公告 尊敬的MaxCompute用户:MaxCompute将于北京时间 2024年03月31日 下线SQL反向访问VPC方案,需要您配合将原有MaxCompute SQL反向访问VPC的设置升级为专线直连(Network_Link)方案。...

Python 3 UDAF

set odps.sql.python.version=cp37;第三方库 MaxCompute内置的Python 3运行环境中未安装第三方库Numpy。如果您需要使用Numpy的UDAF,请手动上传Numpy的WHEEL包。从PyPI或镜像下载Numpy包时,包的文件名为 numpy-<版本号>-cp37-cp37m-...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云原生数据仓库AnalyticDB MySQL版 云数据库HBase版 云原生大数据计算服务 MaxCompute 云备份 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用