Quick BI自定义SQL创建数据集报错“SQL导入错误”
问题描述 Quick BI自定义SQL创建数据集报错“SQL导入错误”。问题原因 ODPS底层抛错：Decimal scale 38 out of range:[0,18]。解决方案 自定义的SQL语句中有除法运算，需要设置一下小数位数（最多可以保留18位小数）。适用于 Quick BI
算术运算符
加-减*乘/除法 DIV 除法（整数视角）%或MOD 取模-改变参数符号+命令说明：加法。示例：select 3+5;col0|+-+|8|select 3+2.9875;col0|+-+|5.9875|-命令说明：减法。示例：select 3-5;col0|+-+|-2|select 3-1.5;col0|+-+|1.5|*命令说明：乘法...
其他限制
本文为您介绍修改SQL除Query、Source和Sink之外的其他限制。当前作业的Flink版本和产生Checkpoint或Savepoint对应作业的Flink版本要求相同，不同的Flink版本当前不支持状态兼容性检查。当前作业的依赖和产生Checkpoint或Savepoint对应作业...
概述
变更Sink 其他限制 介绍变更SQL除Query、Source和Sink之外的其他限制。其他限制 上述语法示例中将主要使用以下DDL作为源表。CREATE TEMPORARY TABLE MyTable(a int,b bigint,c varchar,d int,ts timestamp(3),proctime as proctime(),...
【通知】慢SQL的模板化算法优化
变更背景 当前慢SQL链路会对每条SQL进行SQL模板化处理，即对原始SQL去除变量参数后得到SQL模板，再对SQL模板进行加密获得 SQLHASH。例如，原始SQL为 select name,age,score from study where age>20 and score>10 时：进行模板化处理后为 ...
选择付费方式
说明 部分SQL运算不支持费用预估。例如，外部表参与计算的SQL。此功能仅为费用预估，实际费用以最终出账为准。成本预估实践 成本预估实践为您提供了一些成本预估的案例和技巧，您可以根据实际情况，参考案例选择最经济的付费方式。处理1 TB...
公告
计算成本优化功能在原计算资源优化功能（对 包年包月一级Quota 类型的计算资源生成更优的资源配置方案）的基础上增加支持查看使用 按量付费计算资源 调整为使用 包年包月计算资源 的资源配置推荐方案及效果推演，帮助您进一步优化计算成本...
计算下推
多元索引提供了条件过滤、聚合、排序等功能，在创建多元索引后，使用SQL查询时，系统能够充分利用多元索引的计算能力，将部分SQL计算任务下推到多元索引执行，避免全表扫描，提高计算效率。前提条件 已创建多元索引。具体操作，请参见 创建...
四则运算的使用
加法、减法、乘法、除法（基础）计算结果涉及到小数位的时候，默认四舍五入保留2位小数。如：1.234*5=6.17，1/5=0.20。除法（高级）中后两位参数即与舍入模式一致。舍入模式一共有七种模式，每种模式均需要指定保留的小数位数（即scale(1,2...
四则运算的使用
加法、减法、乘法、除法（基础）计算结果涉及到小数位的时候，默认四舍五入保留2位小数。如：1.234*5=6.17，1/5=0.20。除法（高级）中后两位参数即与舍入模式一致。舍入模式一共有七种模式，每种模式均需要指定保留的小数位数（即scale(1,2...
InfluxQL数学运算符
SELECT"A"/"B"FROM"div"SELECT*FROM"div"WHERE"A"/"B">=10 除法分布在其它运算符上 SELECT 10/("A"+"B"+"C")FROM"div"模 与常数进行模运算。SELECT"B"%2 FROM"modulo"SELECT"B"FROM"modulo"WHERE"B"%2=0 对两个field进行模运算。SELECT"A"%...
函数说明
函数 polar_sql_id 用于计算SQL语句被模板化后的ID值，该ID值是由13位32进制字符组成的字符串，在SQL Trace中，通过该ID值来标识模板化后的SQL语句。语法 polar_sql_id('<query>')参数 参数名称 描述 query 具体的SQL语句。示例 计算SQL...
MaxCompute账单用量明细分析
说明 一次标准版SQL计算费用=计算输入数据量×SQL复杂度×单价（0.3元/GB）一次SpotSQL计算费用=计算输入数据量×SQL复杂度×单价（0.1元/GB）通过Excel分析：分析 用量明细 中数据分类为 ComputationSql 的数据。对SQL作业费用进行排序，...
Dataphin如何查看SQL计算任务的运行记录
概述 Dataphin某一时间开发环境在SQL计算任务中运行了一段SQL，如何查看该段SQL的运行记录。详细信息 在开发-运行记录页面可以查看资产数据预览、数据处理、建模数据预览以及OpenAPI数据查询的运行记录，记录以天为粒度进行划分。相关文档 ...
时区配置操作
对于非中国东八区的区域，建议您同步更新Java SDK或客户端版本，以保证在1900-01-01之后的SQL计算结果及Tunnel传输数据的准确性和一致性。对于早于1900-01-01的DATETIME数据，SQL的计算显示结果和Tunnel传输数据仍然可能存在343秒的差异。...
什么是MaxCompute
计算引擎 MaxCompute为您提供MaxCompute SQL计算引擎和CUPID计算平台。MaxCompute SQL引擎：可直接运行MaxCompute SQL任务。MaxCompute SQL任务的命令及函数语法要求及开发示例可参见 开发参考：SQL。CUPID计算平台：可运行Spark任务、Mars...
SQL其他常见问题
您可以通过MaxCompute SQL的运算符判断字段是否为空，更多运算符信息，请参见 运算符。是否可以通过DataWorks的Shell节点调取MaxCompute SQL？不可以。Shell节点仅支持标准Shell语法，不支持交互性语法。如果作业较多，您可以使用ODPS SQL...
函数
MaxCompute为您提供了SQL计算功能，您可以在MaxCompute SQL中使用系统的 内建函数 完成一定的计算和计数功能。但当内建函数无法满足要求时，您可以使用MaxCompute提供的Java或Python编程接口开发自定义函数。内建函数：可以简化SQL查询的...
资源规划及规格选型
基于前两步得到的值（W和N）进行运算：W（CPU核数消耗量×小时）/N（作业运行时长N个小时），即可得到MaxCompute项目需要购买的计算资源数量的最小值。计算W/N的前提是数据处理作业的 cost_cpu 很稳定，而且在这N个小时内，所有作业都随时...
工作原理
每一个实例对原始数据进行SQL计算并将计算结果写入目标库。实例ID：实例的唯一标识。创建时间：实例的创建时间。一般是按照您配置的调度规则生成，在补运行或追赶延迟时会立即生成实例。执行时间：实例开始执行的时间。如果重试任务，则...
计算源概述
各计算源描述及创建说明如下：计算设置 计算源 MaxCompute 计算设置为MaxCompute的租户支持创建以下计算源：离线计算源 MaxCompute计算源：绑定MaxCompute计算源的项目，支持规范建模、即席查询、MAXC SQL任务、通用脚本等功能。...
Persist plan and Query-Blocker
语法结构 计算SQL参数化后的Pattern和Sign：PARAMETERIZE$sql 针对指定SQL Pattern，添加Hints：/*+hints*/PERSIST_PLAN$sql 针对指定SQL Pattern，删除Hints：DELETE_PLAN$sql 或 DELETE_PLAN_BY_SIGN$Sign 查询指定SQL是否配置过Hints：...
运算类标签和导入类标签
二、运算类标签：运算类标签包括计算公式标签和SQL标签。计算公式标签：可基于四则运算和简单函数实现标签的计算。说明 运算类标签仅支持选择数值型和时间型的字段。SQL标签：可直接使用SQL语言进行标签的新建。代码示例：/*SELECT qaid,...
新建BLINK_SQL任务
权限说明 仅支持 超级管理员、项目管理员 和 开发者 创建BLINK_SQL计算任务。步骤一：新建BLINK_SQL任务 在Dataphin首页，单击顶部菜单栏 研发。按照下图操作指引，进入 新建BLINK_SQL 对话框。在 新建BLINK_SQL 对话框，配置参数。参数 ...
数据查询
Lindorm时序引擎提供标准的SQL查询能力、PromQL查询能力、TSDB兼容的查询能力。本文介绍时序数据查询的方法。标准SQL查询 Lindorm时序引擎推荐使用标准SQL进行数据查询。Lindorm时序引擎针对SQL查询做了许多查询优化，提升大多数场景的查询...
新建Flink_SQL任务
权限说明 仅支持 超级管理员、项目管理员 和 开发者 创建FLINK_SQL计算任务。步骤一：新建 FLINK_SQL 任务 在Dataphin首页，单击顶部菜单栏 研发。按照下图操作指引，进入 新建Flink_SQL任务 对话框。在 新建Flink_SQL任务 对话框，配置...
新建BLINK_SQL任务
权限说明 仅支持 超级管理员、项目管理员 和 开发者 创建BLINK_SQL计算任务。步骤一：新建BLINK_SQL任务 在Dataphin首页，单击顶部菜单栏 研发。按照下图操作指引，进入 新建BLINK_SQL 对话框。在 新建BLINK_SQL 对话框，配置参数。参数 ...
大量数据导出方案
本文将通过示例，为您介绍导出MaxCompute SQL计算结果的方法。说明 本文中所有SDK部分仅以Java举例。概述 您可以通过以下方法导出SQL的运行结果：如果数据比较少，请使用 SQL Task 得到全部的查询结果。如果需要导出某个表或者分区，请使用...
新建FLINK_SQL任务
权限说明 仅支持 超级管理员、项目管理员 和 开发者 创建FLINK_SQL计算任务。步骤一：新建 FLINK_SQL 任务 在Dataphin首页，单击顶部菜单栏 研发。按照下图操作指引，进入 新建FLINK_SQL任务 对话框。在 新建FLINK_SQL任务 对话框，配置...
新建FLINK_SQL任务
权限说明 仅支持 超级管理员、项目管理员 和 开发者 创建FLINK_SQL计算任务。步骤一：新建 FLINK_SQL 任务 在Dataphin首页，单击顶部菜单栏 研发。按照下图操作指引，进入 新建FLINK_SQL任务 对话框。在 新建FLINK_SQL任务 对话框，配置...
SQL查询常见错误排查
本文介绍使用SQL查询时的常见错误处理方法，主要包括OTSUnsupportOperation、OTSQuotaExhausted、OTSParameterInvalid和OtsRequestTimeout四种类型的错误。错误码 错误信息 描述 解决办法 OTSUnsupportOperation Operation not supported ...
新建FLINK_SQL任务
权限说明 仅支持 超级管理员、项目管理员 和 开发者 创建FLINK_SQL计算任务。步骤一：新建 FLINK_SQL 任务 在Dataphin首页，单击顶部菜单栏 研发。按照下图操作指引，进入 新建Flink_SQL任务 对话框。在 新建Flink_SQL任务 对话框，配置...
方案实现
在Source表（order_source表）上执行批计算SQL命令，得到聚合结果，并将聚合结果分别写回表格存储的Sink表（OrderTotalSink表和OrderBatchSink表）中。执行批计算SQL语句更新用户维度的聚合结果。SQL命令。INSERT INTO order_batch_sink ...
数据集常见问题
加工数据集字段问题 如何通过参数SQL实现占比的灵活运算？如何通过参数SQL实现累计计算？如何通过参数SQL实现输入单个日期，可以查询最近n天数据？如何在创建仪表板时实现两个字段间的运算操作？函数from_unixtime的返回值格式是什么？如何...
MEDIAN
在同一条SQL语句中同时使用多个聚合函数时，如果项目资源不足，会出现内存溢出问题，请您根据实际业务情况优化SQL或购买计算资源。命令格式-计算中位数 double median(double)decimal median(decimal)-计算窗口中expr的中位数。median()...
STDDEV
在同一条SQL语句中同时使用多个聚合函数时，如果项目资源不足，会出现内存溢出问题，请您根据实际业务情况优化SQL或购买计算资源。命令格式-计算总体标准差 double stddev(double)decimal stddev(decimal)-计算窗口中expr的总体标准差 ...
通过Spark SQL读写C-Store表数据
Spark SQL建表语法详情请参见 Spark SQL建表语法。CREATE TABLE spark_create_adb_db_test.test_adb_tbl(id int,name string COMMENT 'test_name',age int)using adb TBLPROPERTIES('primaryKey'='id,age','distributeType'='HASH','...
SQL审核
数据管理DMS 的SQL审核功能，支持对上传的SQL语句进行审核并提供优化建议，避免无索引或不规范的SQL语句，降低SQL注入风险。前提条件 数据库类型如下：RDS MySQL、PolarDB MySQL版、AnalyticDB MySQL版、其他来源MySQL。RDS MariaDB。...
SQL审核最佳实践
数据管理DMS 的SQL审核功能，支持对SQL语句进行批量审核并提供优化建议，避免无索引或不规范的SQL语句，降低SQL注入风险。本文以对XML文件中多个SQL语句进行审核为例，向您展示配置SQL审核规则、审核目标文件中SQL语句的流程。背景信息 在...
逻辑运算符
运算符 语法 说明 支持SQL 支持SPL AND运算符 x AND y x 和 y 的值都为true时，返回结果为true。OR运算符 x OR y x 和 y 中任意一个的值为true时，返回结果为true。NOT运算符 NOT x x 的值为false时，返回结果为true。AND运算符 x 和 y 的...
- 产品推荐
- 这些文档可能帮助您