单元测试要求 用例小类 测试要点 说明 是否已检查(Y/N)规范性 命名规范检查(表、视图、工作流、字段)是否符合 MaxCompute数仓建设规范管理指南 中命名规范的表命名规范。代码格式和注释规范性 是否符合 MaxCompute数仓建设规范管理指南...
选择将 DeviceID、SellerID 和 CardID 拼接成分区键,而不选择将 DeviceID 和 SellerID 进行拼接的原因是,前一节提到的消费记录表约定所有 DeviceID 相同的消费记录其 SellerID 也相同,因此仅仅拼接 DeviceID 和 SellerID 并不能解决单个...
表管理 进入HoloWeb开发页面,详情请参见 连接HoloWeb。在HoloWeb开发页面的顶部菜单栏,单击 诊断与优化。在 诊断与优化 页面,单击左侧导航栏的 表管理。在 表管理 页面,配置如下筛选信息。参数 是否必选 说明 实例名 是 需要进行表管理...
描述 Ha3的子表生成是会注册为一个复合字段(可以理解为Struct)。...如果WHERE语句中不带有子表字段的条件,则查询结果的主表记录和子表记录join方式默认为LEFT_JOIN,可通过hint修改,具体见 Hint 配置主子表的场景下,支持单独查询主表。
分支事务记录表:CREATE TABLE `dtx_branch_info`(`action_id` varchar(128)NOT NULL COMMENT '分支事务号',`tx_id` varchar(128)NOT NULL COMMENT '主事务号',`status` varchar(4)COMMENT '事务状态',`log_info` blob DEFAULT NULL ...
合并成为一张宽表,所有更新操作均在宽表里进行 当更新主键记录时,由于主表的主键是唯一的,主表更新一条记录,对应宽表更新一条记录 当更新辅表记录时,由于辅表对应的主键,在主表中可以join上多条记录(即N:1,N的值),则辅表 更新一...
目录 pg_class 记录表和几乎所有具有列或者像表的东西。这包括索引(但还要参见 pg_index)、序列(但还要参见 pg_sequence)、视图、物化视图、组合类型和 TOAST 表,参见 relkind。下面,当我们提及所有这些类型的对象时我们使用“关系”...
语法 CREATE[UNIQUE]INDEX name ON table({ column|(expression)})[TABLESPACE tablespace]参数 参数名称 描述 UNIQUE 当创建索引(如果数据已经存在)和每一次添加数据的时候,这个参数会让系统去检查表中的重复值。如果进行的插入或更新...
有损性导致的性能下降归因于不必要的表记录(即被证实为假匹配的记录)获取。因为表记录的随机访问是较慢的,这限制了 GiST 索引的可用性。假匹配的可能性取决于几个因素,特别是唯一词的数量,因此推荐使用词典来缩减这个数量。注意 GIN ...
辅表个数不超过10个 支持 表A(主表)、表B、表C、表D 表A(主表)->表B->表C->表D 超过2层多表数据关联 不支持(独享型可支持3层)表A(主表)、表B 表A->表B,表B->表A 环状多表数据关联 不支持 表A(主表)、表B、表C…表K 表A(主表)-...
Quick Audience接入数据源后,您就可以将要导入的数据表存储在计算源,然后在Quick Audience声明数据表的表结构,执行调度任务,将表中的数据导入到Quick Audience,准备用于后续的分析、应用。数据导入流程 进行 ID类型管理,设置Quick ...
RDS PostgreSQL支持通过插件pg_repack在线清理表空间,有效解决因对全表大量更新等操作引起的表膨胀问题。pg_repack无需获取排它锁,相比CLUSTER或VACUUM FULL更加轻量化。前提条件 请确保实例大版本满足要求,本插件具体支持的实例大版本...
背景信息 ETL支持的转换组件如下:表JOIN 字段计算器 表记录过滤 使用限制 ETL支持的转换组件存在如下限制:表JOIN:仅支持两个表之间做JOIN操作。字段计算器 和 表记录过滤:仅支持单个表结构。前提条件 已完成数据源信息的配置。配置表...
在您建设明细事实表时,需要选择基于现有的表进行明细层数据的开发,清楚所建表记录存储的是什么粒度的数据。明细粒度事实层(DWD)规范 通常您需要遵照的命名规范为:dwd_{业务板块/pub}_{数据域缩写}_{业务过程缩写}[_{自定义表命名标签...
在您建设明细事实表时,需要选择基于现有的表进行明细层数据的开发,清楚所建表记录存储的是什么粒度的数据。明细粒度事实层(DWD)规范 通常您需要遵照的命名规范为:dwd_{业务板块/pub}_{数据域缩写}_{业务过程缩写}[_{自定义表命名标签...
一个用于审计的 PL/SQL 触发器函数 这个例子触发器保证了在 emp 表上的任何插入、更新或删除一行的动作都被记录(即审计)在 emp_audit 表中。当前时间和用户名会被记录到行中,还有在其上执行的操作类型。CREATE TABLE emp(empname text ...
说明 时态表,也称动态表,是指基于表的(参数化)视图概念,根据时间记录数据变更历史,分为版本表(可显示数据的历史版本)和普通表(仅显示数据的最新版本)。时态JOIN要求流表定义时间属性,右表要有主键;如右表是维表,则您所设置的 ...
本章节介绍对于导入Quick Audience的用户标签表的数据要求。说明 由于您存储原始数据的 计算源 类型为MaxCompute,Quick Audience使用的 分析源 类型为ADB3.0或Hologres,为了数据能在计算源和分析源之间正常流转,Quick Audience不支持...
订单汇总表记录将近N天内的订单数据按用户粒度进行汇总而成的数据。MaxCompute大宽表示例:字段要求:字段分类 字段类型 说明 用户ID 文本型 用户ID可用于营销、推送等。user_id是表的主键,必选字段。其他用户ID请根据业务需要设置。ID...
查看当前Parquet表的数据%spark.sql-查看某个StockCode下的数据 SELECT*FROM current_inventory WHERE StockCode IN('21877','21876')步骤1:向Parquet表中插入记录%pyspark#创建2条记录,准备插入到表中并转换为DataFrame items=[('...
应用场景 记录并管理数据:可以通过手工表记录和管理数据。例如,业务人员在客户维表中手动更新客户状态,供下游任务使用。同时数据开发、运维人员可以使用手工表快速更新数据,提高各类业务的生产效率。手工表开发页面概述 手工表开发页面...
字段计算器 和 表记录过滤:仅支持单个表结构。配置流程 您可以选择需要的源库(支持多个源库),转换组件和需要写入的目标库即可实现ETL处理。创建ETL任务具体如下:任务 说明 参考文档 配置源库信息 您可以选择 输入/维表 节点的一个或多...
查询目标AnalyticDB MySQL集群中的表信息统计详情。接口说明 说明 更多关于表信息统计的详情,请参见 监控信息。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码...
多表记录数波动率 源表对应分区的表行数,同目标表的表行数进行比较,计算波动率。再与期望阈值进行比较,只要符合规则则通过。波动率计算公式=【(源表当前分区的表行数-对比指定分区的表行数)/源表当前分区的表行数】*100%。比较方式...
基于MaxCompute 2.0计算引擎,MaxCompute在UDF框架中引入了新的扩展机制UDJ(User Defined Join),来实现灵活的跨表、多表自定义操作,同时减少通过MapReduce等方式对分布式系统底层细节的操作。背景信息 MaxCompute内置了多种 Join 操作...
统计表记录用户执行相关操作的统计数据。基于统计表数据,可以进行 人群筛选。前提条件 已在您配置的 计算源 中存储统计表,数据格式请参考 统计表数据要求。确保您的统计表中的所有用户ID类型均已在本空间的 ID类型列表中。若用户ID字段已...
本章节介绍对于导入Quick Audience的统计表的数据要求。说明 由于您存储原始数据的 计算源 类型为MaxCompute,Quick Audience使用的 分析源 类型为ADB3.0或Hologres,为了数据能在计算源和分析源之间正常流转,Quick Audience不支持...
如果您仅需要重新校验表中不一致的数据,请单击 再次校验>仅校验不一致的表记录。重要 如果源端为空,则不支持订正操作。在 全量校验性能 页签,您可以图形化查看 源端 RPS、目标端 RPS、源端迁移流量 和 目标端迁移流量,以及性能基准等...
通过设置逻辑表质量规则并运行质量检测计划后,您可以查看逻辑表质量检查结果,方便用户掌握当前逻辑表的质量状况,您可以通过可视化方式与自定义SQL方式制定表级与字段级质量规则。本文以可视化方式为例介绍如何设置逻辑表表规则和字段...
通过设置逻辑表质量规则并运行质量检测计划后,您可以查看逻辑表质量检查结果,方便用户掌握当前逻辑表的质量状况,您可以通过可视化方式与自定义SQL方式制定表级与字段级质量规则。本文以可视化方式为例介绍如何设置逻辑表表规则和字段...
本章节介绍对于导入Quick Audience的用户行为表的数据要求。说明 由于您存储原始数据的 计算源 类型为MaxCompute,Quick Audience使用的 分析源 类型为ADB3.0或Hologres,为了数据能在计算源和分析源之间正常流转,Quick Audience不支持...
操作审计记录了用户通过OpenAPI或控制台等方式操作云资源时产生的管控事件,蚂蚁隐私计算服务平台支持在操作审计中查询的事件如下表所示。事件名称 事件含义 CheckAntppcOpenProductStatus 查询隐私计算平台开通情况。...
用户行为表记录用户的浏览、加购、收藏、购买等行为。基于用户行为数据,可以进行 人群筛选,还可以生成 AIPL模型、偏好类标签 等自定义标签,AIPL模型可用于 AIPL用户分析、AIPL流转分析、人群筛选 等。前提条件 已在您配置的 计算源 中...
600 answer_type DNS响应的记录类型,以下是常见的DNS响应类型取值:1:A记录 2:NS记录 5:CNAME记录 6:SOA记录 10:NULL记录 12:PTR记录 15:MX记录 16:TXT记录 25:KEY记录 28:AAAA记录 33:SRV记录 41:OPT记录 43:DS记录 44:...
说明 使用宽表可以减少跨表查询:如A表格主要记录学生学习成绩信息,B表格主要记录学生兴趣爱好信息,通过将A表和B表结合为宽表C,通过C表既可以查询学生信息,也可以查询学生兴趣爱好。宽表并非“越宽越好”,当表格中的列过多,对应表格...
Parallel Hints可以指定优化器是否选择并行执行,还支持指定并行度以及需要并行的表,以及各个算子的并行执行方式。PolarDB MySQL版 8.0.1版本目前支持在并行查询中使用 PARALLEL 和 NO_PARALLEL 两种Hints。PolarDB MySQL版 8.0.2版本除了...
用户标签表记录用户的一系列特征属性。通过为字段配置标签别名的方式给用户打标签,在使用标签时,实质上是在使用对应的字段。基于用户标签数据,可以形成 用户画像,可以进行 透视分析、人群筛选 等。导入完成后,用户标签表中的标签将...
ANALYZE 收集一个数据库中的表的内容的统计信息,并且将结果存储在pg_statistic系统目录中。简介 ANALYZE 收集一个数据库中的表的内容的统计...如果被分析的表不完全为空,ANALYZE 将不会为该表记录新统计信息。任何现有统计信息将会被保留。
拉链表是数据仓库设计中用来处理数据变化的一种技术,它允许保存历史数据,记录一个事物从开始到当前状态的所有变化信息,可以反映任意时间点数据的状态。本文将为您介绍基于MaxCompute引擎在DataWorks上实现拉链表ETL的案例。前提条件 已...
索引失效 索引失效时,SQL语句直接以扫描的方式进行查询,如果表记录数非常大,会导致查询缓慢。以下情形容易引起索引失效:函数转换(列)。类型转换。like条件,例如:like '%abc%'。SQL示例:以下SQL中的函数转换导致索引失效。time为...