Dataphin数据集成中如何配置业务日期为T-2
产品名称 Dataphin 产品模块 数据集成 概述 通过自定义参数来解决业务日期为T-2问题 问题描述 当前日期为20210706，用户需要抽取20210704的数据，分区配置ds=${bizdate-1}调度任务运行失败报错：Illegal repetition near index 3 ds=${...
Navicat（2.0版）
本文介绍如何通过Navicat连接和管理 云原生数据仓库AnalyticDB MySQL版 2.0集群。前提条件 开始使用Navicat for MySQL之前，需要先安装Navicat for MySQL。操作步骤 打开Navicat for MySQL，单击 文件>新建连接>MySQL。在 新建连接 页面，...
INSERT（2.0版）
INSERT query示例请参见 INSERT SELECT FROM（2.0版）。注意事项 如果不指定列名，则要插入的值必须依照CREATE TABLE语句中声明的顺序。目前INSERT语句支持的函数有：CURDATE、SYSDATE、LOCALTIME/LOCALTIMESTAMP/NOW。
FineReport（2.0版）
本章节介绍如何通过FineReport连接 云原生数据仓库AnalyticDB MySQL版 2.0集群并进行报表管理。准备工作 开始使用FineReport之前，用户需要先完成以下准备工作。下载并安装MySQL JDBC驱动。下载并安装FineReport。操作步骤 打开FineReport...
HT20与HT40有什么区别
概述 本文描述在配置云AP时，关于配置HT20和HT40有什么不同。...出于兼容性及Wifi稳定性考虑，HT40模式在一个蜂窝式无线覆盖区域最好不要在2.4GHz使用，最好在5GHz使用。在2.4G使用HT40，则有效通道有3~13，非重叠的却只有3，11。适用于 云AP
功能更新动态（2022年）
2022年11月22日 华北2（北京）Dataphin免费试用申请 华东1（杭州）华南1（深圳）华东2（上海）2022年10月 功能名称 功能描述 发布时间 发布地域 相关文档 资源用量详情 新增支持查看当前可用数据处理单元规格上线。新增数据标准、智能运维...
功能更新动态（2024年）
对离线集成任务和全域数据质量监控规则运行生效，支持的数据源包括，MySQL、PolarDB-X（原DRDS）、PolarDB、AnalyticDB for MySQL 2.0、AnalyticDB for MySQL 3.0、TiDB、GoldenDB、StarRocks、PostgreSQL、AnalyticDB for PostgreSQL、...
文档更新动态（2024年）
对离线集成任务和全域数据质量监控规则运行生效，支持的数据源包括MySQL、PolarDB-X（原DRDS）、PolarDB、AnalyticDB for MySQL 2.0、AnalyticDB for MySQL 3.0、TiDB、GoldenDB、StarRocks、PostgreSQL、AnalyticDB for PostgreSQL、...
功能更新动态（2023年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
文档更新动态（2023年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成配置优化 新增Apache Doris数据源的离线集成。...
功能更新动态（2022年之前）
2021年08月19日 华北2（北京）、华东1（杭州）计费说明 2021年08月24日 华南1（深圳）2021年08月26日 华东2（上海）系统将依据您选择的数据处理单元规格分配不同的默认调度资源，选购的规格越高，分配的调度资源越多，可以支持的任务并发数...
文档更新动态（2022年之前）
2021年1月19日 华北2（北京）、华南1（深圳）、华东2（上海）、华东1（杭州）通用补数据实例 2020年11月 时间 特性名称 类别 描述 使用范围 产品文档 2020-11-17 支持安装资产安全策略 功能拓展 新增安装资产安全策略，安装后即可使用数据...
使用float2类型压缩存储向量
0 01111 0000000000=1 0 01111 0000000001=1+2−10=1.0009765625（1之后的最接近的数）1 10000 0000000000=−2 0 11110 1111111111=65504（max half precision）0 00001 0000000000=2−14≈6.10352×10−5（最小正指数）0 00000 1111111111...
【升级维护】2023年2月21日联通物联网卡IoT2平台维护...
割接窗口：北京时间2023年2月21日18:00至22:30 割接内容：联通物联网卡IoT2平台 割接影响：为提供更稳定的服务，联通IoT2平台拟于北京时间2023年2月21日晚18:00至22:30进行性能维护，维护期间会影响物联网卡部分接口调用，卡通信业务不受...
【升级维护】2023年2月21日联通物联网卡IoT2平台维护...
割接窗口：北京时间2023年2月21日18:00至22:30 割接内容：联通物联网卡IoT2平台 割接影响：为提供更稳定的服务，联通IoT2平台拟于北京时间2023年2月21日晚18:00至22:30进行性能维护，维护期间会影响物联网卡部分接口调用，卡通信业务不受...
Quick BI电子表格Sheet1采用公式引用Sheet2的数据，...
问题描述 Quick BI电子表格Sheet1采用公式引用Sheet2的数据，如果查询控件选择了Sheet1没有数据的日期过滤之后，再选择有数据的日期查询，也返回不了数据，显示“#RER!电子表格Sheet2中的数据引用Sheet1的数据：通过日期查询控件Sheet2查询...
使用Megatron-Deepspeed训练GPT-2并生成文本
docker run-d-t-network=host-gpus all-privileged-ipc=host-ulimit memlock=-1-ulimit stack=67108864-name megatron-deepspeed-v/etc/localtime:/etc/localtime-v/root/.ssh:/root/.ssh nvcr.io/nvidia/pytorch:21.10-py3 执行以下命令，...
通过Hint干预执行计划
Seq Scan on t2(cost=0.00.15.50 rows=267 width=8)Filter:(val>1)Optimizer:Postgres query optimizer 以下几种方法可以干预JOIN顺序和JOIN类型：在输出执行计划的语句前添加Hint，语句如下：/*+MergeJoin(t1 t2)Leading((t2 t1))*/...
使用Hint
指定t2与t3先进行HashJoin，随后与t1进行NestLoopJoin：/*+Leading(((t2 t3)t1))HashJoin(t2 t3)NestLoop(t2 t3 t1)*/EXPLAIN SELECT*FROM t1,t2,t3 WHERE t1.val=t2.val and t2.val=t3.val;行号纠正提示 以下内容仅适用查询优化器，使用前...
DELETE
DELETE t1,t2 FROM t1 INNER JOIN t2 INNER JOIN t3 WHERE t1.id=t2.id AND t2.id=t3.name LIMIT 10001;DELETE FROM t1,t2 USING t1 INNER JOIN t2 INNER JOIN t3 WHERE t1.id=t2.id AND t2.id=t3.name LIMIT 10001;说明 t1、t2和t3的拆分...
JOIN实现类型
SELECT t1.id,t2.id FROM tj_shop AS t1 JOIN tj_item AS t2 ON t1.id>t2.id 说明 数据会膨胀，性能比较差 说明 链接的表类型为KV/KKV/Summary时，该表的查询条件中必须包含PK等值条件，参考 KV、KKV查询 的使用限制。Hash Join：用于包含...
WITH子句
查询和分析语句*|with T1 AS(SELECT host,avg(request_length)length FROM website_log GROUP BY host),T2 AS(SELECT host,avg(request_length)length FROM access_log GROUP BY host)SELECT T1.host,T1.length,T2.length FROM T1 JOIN T2 ...
HINT
INSERT/*+Leading(target(t1 t2))*/INTO target SELECT t1.a,t2.b FROM t1 JOIN t2 ON t1.a=t2.a-示例2：SELECT后的Hint只支持指定t1、t2为参数。INSERT INTO target SELECT/*+Leading(t2 t1)*/t1.a,t2.b FROM t1 JOIN t2 ON t1.a=t2.a;...
JOIN操作类型
SELECT t1.id,t2.id FROM tj_shop AS t1 LEFT JOIN tj_item AS t2 ON t1.id=t2.id 说明 如果右表值不唯一，建议不要连续使用过多 left join，以免在JOIN过程中产生数据膨胀 Inner Join：内连接。关键字 inner 可以省略。返回满足ON条件的行...
查询改写与下推
返回执行计划信息如下：Project(id="id")HashJoin(condition="id=id AND id=id0",type="inner")Gather(concurrent=true)LogicalView(tables="t2_[0-3],l2_[0-3]",shardCount=4,sql="SELECT `t2`.`id`,`l2`.`id` AS `id0` FROM `t2` AS `t2`...
JOIN操作类型
SELECT t1.id,t2.id FROM tj_shop AS t1 LEFT JOIN tj_item AS t2 ON t1.id=t2.id 说明 如果右表值不唯一，建议不要连续使用过多 left join，以免在JOIN过程中产生数据膨胀 Inner Join：内连接。关键字 inner 可以省略。返回满足ON条件的行...
优化聚合与排序
explain select count(*)from t1 join t2 on t1.id=t2.id group by t1.name,t2.name order by t1.name,t2.name;Project(count(*)="count(*)")MemSort(sort="name ASC,name0 ASC")HashAgg(group="name,name0",count(*)="COUNT()")BKAJoin...
查询改写与下推
Project(id="id")HashJoin(condition="id=id AND id=id0",type="inner")Gather(concurrent=true)LogicalView(tables="t2_[0-3],l2_[0-3]",shardCount=4,sql="SELECT `t2`.`id`,`l2`.`id` AS `id0` FROM `t2` AS `t2` INNER JOIN `l2` AS `l...
Persist plan and Query-Blocker
针对指定SQL Pattern，添加Hints 为相同Pattern的SQL，执行 nested loop join 策略，示例如下：/*+nested_loop_join=true*/PERSIST_PLAN SELECT t1.c1FROM t1 INNER JOIN t2 ON t1.c1=t2.c1 WHERE t1.c2;查询指定SQL是否配置过Hints ...
UPDATE
您可以使用UPDATE语法修改表中符合条件的行。语法 单逻辑表 UPDATE[LOW_PRIORITY][IGNORE][schema_name.]tbl_...UPDATE t1,t2 SET t1.name=t2.name WHERE t1.id=t2.name LIMIT 10001;说明 t1和t2的拆分键为ID。相关文献 MySQL UPDATE 语法。
UNION、INTERSECT和EXCEPT
例如，以下查询中，首先计算 T1 和 T2 的 UNION，然后对 UNION 结果执行 EXCEPT 操作。select*from t1 union select*from t2 except select*from t3 order by c1;在同一查询中，组合使用集合运算符时，INTERSECT 运算符优先于 UNION 和 ...
排序优化和执行
如下示例使用了MemSort算子：explain select t1.name from t1 join t2 on t1.id=t2.id order by t1.name,t2.name;返回信息如下：Project(name="name")MemSort(sort="name ASC,name0 ASC")Project(name="name",name0="name0")BKAJoin...
调整执行计划
prepare s1 as select t.a,t2.avg_b from t join(select avg(b)as avg_b,a from t2 group by a)t2 on t2.a=t.a and t.c<$1 order by t.a;prepare s2 as select t.a,t2.avg_b from t join lateral(select avg(b)as avg_b from t2 where t2.a...
聚合优化和执行
explain select count(*)from t1 join t2 on t1.id=t2.id group by t1.name,t2.name order by t1.name,t2.name;返回信息如下：Project(count(*)="count(*)")MemSort(sort="name ASC,name0 ASC")HashAgg(group="name,name0",count(*)="COUNT...
UNION、INTERSECT和EXCEPT
例如，在以下查询中，首先计算T1和T2的UNION，然后对UNION结果执行EXCEPT操作：select*from t1 union select*from t2 except select*from t3 order by c1;在同一个查询中使用运算符组合时，INTERSECT运算符优先于UNION和EXCEPT运算符。例如...
表设计最佳实践
Update（将table2表中的记录的值更新到table1表中）INSERT OVERWRITE TABLE table1 SELECT t1.key1,t1.key2,CASE WHEN t2.key1 IS NOT NULL THEN t2.col1 ELSE t1.col1 END AS col1,CASE WHEN t2.key2 IS NOT NULL THEN t2.col2 ELSE t1....
Hash Join的并行加速
workers:4)(cost=10.82 rows=4)->Parallel inner hash join(t2.c2=t1.c1)(cost=0.57 rows=1)->Parallel table scan on t2,with parallel partitions:1(cost=0.03 rows=1)->Parallel hash->Parallel table scan on t1,with parallel ...
ODPS-0130252
FAILED:ODPS-0130252:[3,1]Cartesian product is not allowed-cartesian product is not allowed without mapjoin-正确，补充join条件，这里join条件是两个表的字段相等 odps>select t1.*from src t1 join src t2 on t1.key=t2.key;...
CTE（2.0版）
WITH子句同样适用于多子查询：WITH t1 AS(SELECT a,MAX(b)AS b FROM x GROUP BY a),t2 AS(SELECT a,AVG(d)AS d FROM y GROUP BY a)SELECT t1.*,t2.*FROM t1 JOIN t2 ON t1.a=t2.a;WITH子句中定义的关系可以互相连接：WITH x AS(SELECT a ...
并行查询Hint语法
在t1表上做并行扫表，然后将数据做shuffle分发到下一阶段Workers-在t2表上做并行扫表，然后将数据做shuffle分发到下一阶段Workers-在下阶段Workers上完成co-location join后，结果汇总到Leader SELECT/*+PARALLEL(t1)PARALLEL(t2)PQ_...
- 产品推荐
- 这些文档可能帮助您