数据集拆分
功能说明 数据集拆分组件可以根据拆分比例对输入数据集做拆分处理，输出两个变量名称相同但数据量不同的数据集。可使用数据集拆分组件将数据集拆分为两份以适用于不同的场景。支持随机拆分和前后拆分两种方式。计算逻辑原理 随机拆分：按照...
支持对分区表进行DDL操作
存在GLOBAL INDEX的分区表，支持以下DDL功能：drop partition split partition merge partition exchange partition truncate partition truncate child table cluster/vacuum full child table 以下两个DDL功能，即使加上 INVALIDATE ...
MapReduce常见问题
解决措施 MapReduce接口的Table Info Builder是ProjectName和TableName，两个接口分别设置为Project名称和Table名称。执行MaxCompute MapReduce时，报错ODPS-0123144，如何解决？问题现象：执行MaxCompute MapReduce时，返回报错如下。...
词频统计
两个输出参数：第一个输出端：输出表包含 id、word 和 count 三个字段。参数 描述 id 文档ID列。word 单词列。count 统计每个文档中，对应 word 词汇出现的次数。说明 该输出表的列可以分别作为TF-IDF组件的输入。第二个输出端：输出包含 ...
WITH查询（公共表表达式）
我们可以项这个有循环倾向的查询增加两个列 path 和 cycle：WITH RECURSIVE search_graph(id,link,data,depth,path,cycle)AS(SELECT g.id,g.link,g.data,1,ARRAY[g.id],false FROM graph g UNION ALL SELECT g.id,g.link,g.data,sg.depth+1...
PyMySQL 连接 OceanBase 数据库示例程序
定义一个向 test_pymysql 表插入数据的 SQL 语句，插入的数据将包含三条，每条数据包含两个字段：name 和 age。每个字段的值将在执行 SQL 语句时，通过占位符%s 的形式被传入。代码如下：INSERT_DATA_SQL=''' INSERT INTO test_pymysql...
SELECT
UNION 操作符返回位于一个或者两个结果集中的全部行。INTERSECT 操作符返回同时位于两个结果集中的所有行。EXCEPT 操作符返回位于第一个结果集但不在第二个结果集中的行。在所有三种情况下，重复行都会被消除（除非指定 ALL）。可以增加...
控制结构
从一个函数返回 有两个命令让我们能够从函数中返回数据：RETURN 和 RETURN NEXT。RETURN RETURN expression;带有一个表达式的 RETURN 用于终止函数并把 expression 的值返回给调用者。这种形式被用于不返回集合的PL/SQL函数。如果一个函数...
MySQL分库分表实践
在 批量编辑目标表附加字段 弹窗，单击 新增字段，分别新增 db_name 和 table_name 两个字段。新增字段后单击 为目标表添加附加字段。本示例选择 DB_NAME_SRC 表示来源数据库名称；TABLE_NAME_SRC 表示来源数据表名称。（可选）将附加字段...
时间窗口SQL脚本
输入输出使用说明 时间窗口SQL脚本 组件支持0~4个输入，1个输出，具体使用说明如下。如果 时间窗口SQL脚本 组件接入了上游表，输入源已自动映射成t1～t4，您可以直接调用${t1}、${t2}、${t3} 或${t4}，不用写入源表名。时间窗口SQL脚本 ...
do-while节点逻辑原理介绍
DataWorks为您提供循环节点（do-while节点），您可根据业务需要重新编排循环节点内部业务流程，将需要循环执行的业务逻辑放入循环节点内部，并通过循环节点内部的End节点来定义循环条件，即确认不满足何种条件的情况下退出循环。循环节点可...
SELECT TRANSFORM
语法中有两个 row fromat 子句，第一个子句指定输入数据的格式，第二个子句指定输出数据的格式。默认情况下使用 \t 作为列分隔符，作为行分隔符，使用 \N 表示NULL。说明 field_delimiter、character_escape 和 line_separator 只接受一个...
SELECT TRANSFORM
语法中有两个 row format 子句，第一个子句指定输入数据的格式，第二个子句指定输出数据的格式。默认情况下使用 \t 作为列分隔符，作为行分隔符，使用 \N 表示NULL。说明 field_delimiter、character_escape 只接受一个字符。如果指定的是...
查看Worker倾斜关系
可以通过 hologres.hg_worker_info 与 hologres.hg_table_properties 两个系统视图结合查询，根据表倾斜的数据对应的 worker id，从而判断是否是因为数据倾斜导致的计算资源倾斜，步骤如下。查看数据倾斜情况。通过以下SQL查看表是否存在...
声明
说明 这两个例子并非完全等效。在第一种情况中，subtotal 可以被引用为 sales_tax.subtotal，但在第二种情况中它不能这样引用（如果我们为内层块附加了一个标签，subtotal 则可以用那个标签限定）。更多一些例子：CREATE FUNCTION instr...
MaxCompute UDF（Python）常见问题
原因四：同一个作业中有两个UDF依赖了不同项目下的同名资源。解决措施：原因一的解决措施：通过 MaxCompute客户端 执行 desc function;命令，检查输出结果中的 Resources 是否包含报错信息中的压缩资源包。如果不存在，可执行 create ...
mysqlclient 连接 OceanBase 数据库
定义函数 insert_record，该函数主要实现了向指定表中插入一条记录，记录包含 name 和 age 两个字段。使用 with 语句管理数据库连接和游标对象的生命周期，保证了数据库连接和游标对象的安全关闭，避免了内存泄漏等问题。定义 SQL 语句，...
Explain和Explain Analyze
当SQL查询性能不佳或查询结果不符合预期时，Hologres提供了Explain...time：表示open和get_next两个阶段的实际执行时间（单位：毫秒），Hologres中，每个算子都会有一个open和get next接口。例如time=2427/2424/2423ms，代表time=max/avg/min...
高性能Flink SQL优化技巧
本文将从作业配置和Flink SQL优化两方面为您介绍如何提升Flink SQL作业性能。作业配置优化推荐方案 资源优化技巧 VVP中限制了JobManager和TaskManager的CPU的实际使用大小，配置了多少个CPU，最大就只能使用多少个CPU。因此在资源优化时，...
表分区
执行 ALTER TABLE DETACH PARTITION 或者使用 DROP TABLE 删除一个分区远快于批量操作。这些命令也完全避免了批量 DELETE 导致的 VACUUM 开销。很少使用的数据可以被迁移到便宜且较慢的存储介质上。当一个表非常大时，划分所带来的好处是...
常见错误码及排查方法
CREATE command denied to user 'username'@'ip_address' for table 'table_name' 一般情况下，伴随此错误码，系统会同时输出数据库层面的具体报错信息。请参考具体报错内容，检查错误消息中的SQL语句并进行修复。可能原因：数据库账号缺失...
SQL性能问题
table.exec.mini-batch.allow-latency 批量输出数据的时间间隔。开启LocalGlobal（解决常见数据热点问题）LocalGlobal本质上能够靠LocalAgg的聚合筛除部分倾斜数据，从而降低GlobalAgg的热点，提升性能。LocalGlobal优化将原先的Aggregate...
基本概念
一个Table Group中可以有多个Table，即多个Table可以分布在同一组Shard上。但是一个Table只能属于一个Table Group，如果Table Group中没有Table，那么Table Group会被系统自动删除。如果Table的数据要从一个Table Group迁移至另外一个Table...
ALTER TABLE…SPLIT PARTITION
ALTER TABLE…SPLIT PARTITION命令将一个分区划分为两个分区，并重新分配新分区的内容。语法介绍 ALTER TABLE…SPLIT PARTITION命令的语法有两种形式：第一种形式用于将RANGE分区划分为两个分区。ALTER TABLE table_name SPLIT PARTITION ...
分区和列操作
示例2：给表sale_detail同时添加两个分区，用来存储2013年12月北京和上海地区的销售记录。alter table sale_detail add if not exists partition(sale_date='201312',region='beijing')partition(sale_date='201312',region='shanghai');...
分区和列操作
执行如下语句批量删除多级分区，两个匹配条件是或的关系，会将sale_date小于201911或region等于beijing的分区都删除掉。alter table region_sale_detail drop if exists partition(sale_date),partition(region='beijing');如果删除sale_...
分区表命令列表
ALTER TABLE.MERGE SUBPARTITION 将两个子分区合并为一个新子分区，新子分区中包含原有两个子分区的内容。删除 ALTER TABLE…DROP PARTITION 删除分区结构和存储在这个分区上的数据。ALTER TABLE…DROP SUBPARTITION 删除子分区结构及存储...
ALTER TABLE
示例2：给表sale_detail同时添加两个分区，用来存储2013年12月北京和上海地区的销售记录。alter table sale_detail add if not exists partition(sale_date='201312',region='beijing')partition(sale_date='201312',region='shanghai');...
DESCRIBE
DESCRIBE TABLE 输出TABLE的Schema状态，该输出状态可用于重新创建指定表的Lindorm CQL命令。语法 DESCRIBE TABLE table_name 参数 参数 类型 描述 table_name text 表名 示例 DESCRIBE TABLE persioninfo;DESCRIBE INDEX 输出TABLE的索引...
MaxCompute数据迁移
说明 如果某个项目的数据量特别⼤，不建议直接迁移整个项目，可以分批次建⽴“多个Table”的任务。单击页面左侧的 数据源，在数据源列表页面单击想要迁移的数据源名。单击要迁移的库所在行的 迁移。根据实际情况在 新建迁移任务 弹框中配置...
优化内部表的性能
说明 一个DB内可以创建多个Table Group，但所有Table Group的Shard总数之和不应超过Hologres推荐的默认Shard数，这是对CPU资源的最有效利用。JOIN场景优化 当有两表或多表JOIN时，为了提高JOIN的性能，有如下几种优化方式。更新统计信息 如...
ALTER TABLE
ALTER TABLE 用于更改一个现有表的定义。简介 ALTER TABLE 更改一个现有表的定义。下文描述了几种形式。注意每一种形式所要求的锁级别可能不同。如果没有明确说明，将会获得一个 ACCESS EXCLUSIVE 锁。当给出多个子命令时，获得的锁将是子...
Table
table 的时间戳 1608707407 LastAnalyzedTime integer 上一次做列级别的统计信息计算的时间戳 1608707407 Owner string 负责人名称 zhangsan OwnerType string 负责人类型，填 USER 或 ROLE 或 GROUP USER Parameters Parameters 与表相关...
TableInput
名称 类型 描述 示例值 object Table Cascade boolean 是否级联删除 false CreatedBy string 创建者名称 zhangsan DatabaseName string 元数据库名称 database_test LastAccessTime integer 上一次访问这个 table 的时间戳 1608707407 ...
FROM 子句
此外，USING 意味着联接输出中只包含每对等效列中的一个，而不是包含这两个列。NATURAL NATURAL 是 USING 列表的简写形式，其中提到两个表中具有相同名称的所有列。如果指定了多个源，则结果是所有源的笛卡尔积（交叉联接）。通常会添加...
使用建议
单个Table Group中的表（包括分区子表，不包括外部表）数量 10,000 说明 可以使用如下SQL查看当前数据库中每个Table Group有多少张表：SELECT property_value,count(1)FROM hologres.hg_table_properties WHERE property_key='table_group'...
SELECT
UNION操作符返回位于一个或者两个结果集中的全部行。INTERSECT操作符返回同时位于两个结果集中的所有行。EXCEPT操作符返回位于第一个结果集但不在第二个结果集中的行。在所有三种情况下，重复行都会被消除（除非指定ALL）。可以增加...
Table Group与Shard Count操作指南
若是因为业务需求需要建立多个Table Group，建议合理设置每个Table Group的Shard数。表迁移时分区表只需要操作父表即可。V1.1及以上版本命令语法 CALL HG_MOVE_TABLE_TO_TABLE_GROUP('<table_name>','<new_table_group_name>');V0.10版本...
计算组Table Group授权管理
本文为您介绍Hologres中查看计算组访问Table Group权限、计算组加载Table Group、设置Table Group的主计算组等计算组Table Group授权相关命令。注意事项 开启计算组实例需要后台配置，如需使用，请您使用 实例升级 或加入Hologres钉钉交流...
表索引诊断
每个TG对应的内表数量 展示每个Table Group的内部表数量（包括分区子表）。Hologres中，一个Table Group的内部表总数不建议超过1W，如果数量太多，会导致DDL执行变慢，且影响版本升级速度。建议使用Resharding功能对Table Group进行治理，...
- 产品推荐
- 这些文档可能帮助您