单元测试报告

单元测试要求 用例小类 测试要点 说明 是否已检查(Y/N)规范性 命名规范检查、视图、工作流、字段)是否符合 MaxCompute数仓建设规范管理指南 中命名规范的命名规范。代码格式和注释规范性 是否符合 MaxCompute数仓建设规范管理指南...

操作篇

选择将 DeviceID、SellerID 和 CardID 拼接成分区键,而不选择将 DeviceID 和 SellerID 进行拼接的原因是,前一节提到的消费记录表约定所有 DeviceID 相同的消费记录其 SellerID 也相同,因此仅仅拼接 DeviceID 和 SellerID 并不能解决单个...

管理

管理 进入HoloWeb开发页面,详情请参见 连接HoloWeb。在HoloWeb开发页面的顶部菜单栏,单击 诊断与优化。在 诊断与优化 页面,单击左侧导航栏的 表管理。在 表管理 页面,配置如下筛选信息。参数 是否必选 说明 实例名 是 需要进行表管理...

查询

描述 Ha3的子生成是会注册为一个复合字段(可以理解为Struct)。...如果WHERE语句中不带有子字段的条件,则查询结果的主表记录和子表记录join方式默认为LEFT_JOIN,可通过hint修改,具体见 Hint 配置主子的场景下,支持单独查询主

FMT 模式参与者

分支事务记录表:CREATE TABLE `dtx_branch_info`(`action_id` varchar(128)NOT NULL COMMENT '分支事务号',`tx_id` varchar(128)NOT NULL COMMENT '主事务号',`status` varchar(4)COMMENT '事务状态',`log_info` blob DEFAULT NULL ...

join引发的数据同步延迟

合并成为一张宽,所有更新操作均在宽表里进行 当更新主键记录时,由于主的主键是唯一的,主更新一条记录,对应宽更新一条记录 当更新辅表记录时,由于辅对应的主键,在主中可以join上多条记录(即N:1,N的值),则辅 更新一...

pg_class

目录 pg_class 记录表和几乎所有具有列或者像表的东西。这包括索引(但还要参见 pg_index)、序列(但还要参见 pg_sequence)、视图、物化视图、组合类型和 TOAST 表,参见 relkind。下面,当我们提及所有这些类型的对象时我们使用“关系”...

创建索引

语法 CREATE[UNIQUE]INDEX name ON table({ column|(expression)})[TABLESPACE tablespace]参数 参数名称 描述 UNIQUE 当创建索引(如果数据已经存在)和每一次添加数据的时候,这个参数会让系统去检查表中的重复值。如果进行的插入或更新...

GIN和GiST索引类型

有损性导致的性能下降归因于不必要的表记录(即被证实为假匹配的记录)获取。因为表记录的随机访问是较慢的,这限制了 GiST 索引的可用性。假匹配的可能性取决于几个因素,特别是唯一词的数量,因此推荐使用词典来缩减这个数量。注意 GIN ...

创建多join

个数不超过10个 支持 A(主)、B、C、D A(主)->B->C->D 超过2层多数据关联 不支持(独享型可支持3层)A(主)、B A->B,B->A 环状多数据关联 不支持 A(主)、B、C…K A(主)-...

数据导入概述

Quick Audience接入数据源后,您就可以将要导入的数据存储在计算源,然后在Quick Audience声明数据结构,执行调度任务,将中的数据导入到Quick Audience,准备用于后续的分析、应用。数据导入流程 进行 ID类型管理,设置Quick ...

清理空间(pg_repack)

RDS PostgreSQL支持通过插件pg_repack在线清理空间,有效解决因对全大量更新等操作引起的膨胀问题。pg_repack无需获取排它锁,相比CLUSTER或VACUUM FULL更加轻量化。前提条件 请确保实例大版本满足要求,本插件具体支持的实例大版本...

配置转换组件

背景信息 ETL支持的转换组件如下:JOIN 字段计算器 表记录过滤 使用限制 ETL支持的转换组件存在如下限制:JOIN:仅支持两个之间做JOIN操作。字段计算器 和 表记录过滤:仅支持单个结构。前提条件 已完成数据源信息的配置。配置...

明细粒度事实层(DWD)

在您建设明细事实时,需要选择基于现有的进行明细层数据的开发,清楚所建表记录存储的是什么粒度的数据。明细粒度事实层(DWD)规范 通常您需要遵照的命名规范为:dwd_{业务板块/pub}_{数据域缩写}_{业务过程缩写}[_{自定义命名标签...

明细粒度事实层(DWD)

在您建设明细事实时,需要选择基于现有的进行明细层数据的开发,清楚所建表记录存储的是什么粒度的数据。明细粒度事实层(DWD)规范 通常您需要遵照的命名规范为:dwd_{业务板块/pub}_{数据域缩写}_{业务过程缩写}[_{自定义命名标签...

触发器函数

一个用于审计的 PL/SQL 触发器函数 这个例子触发器保证了在 emp 上的任何插入、更新或删除一行的动作都被记录(即审计)在 emp_audit 中。当前时间和用户名会被记录到行中,还有在其上执行的操作类型。CREATE TABLE emp(empname text ...

使用ETL分析实时订单

说明 时态,也称动态,是指基于的(参数化)视图概念,根据时间记录数据变更历史,分为版本(可显示数据的历史版本)和普通(仅显示数据的最新版本)。时态JOIN要求流定义时间属性,右要有主键;如右是维,则您所设置的 ...

用户标签数据要求

本章节介绍对于导入Quick Audience的用户标签的数据要求。说明 由于您存储原始数据的 计算源 类型为MaxCompute,Quick Audience使用的 分析源 类型为ADB3.0或Hologres,为了数据能在计算源和分析源之间正常流转,Quick Audience不支持...

订单汇总数据要求

订单汇总表记录将近N天内的订单数据按用户粒度进行汇总而成的数据。MaxCompute大宽表示例:字段要求:字段分类 字段类型 说明 用户ID 文本型 用户ID可用于营销、推送等。user_id是的主键,必选字段。其他用户ID请根据业务需要设置。ID...

使用OPTIMIZE和Z-ORDER优化商品库存查询性能

查看当前Parquet的数据%spark.sql-查看某个StockCode下的数据 SELECT*FROM current_inventory WHERE StockCode IN('21877','21876')步骤1:向Parquet中插入记录%pyspark#创建2条记录,准备插入到中并转换为DataFrame items=[('...

手工概述

应用场景 记录并管理数据:可以通过手工表记录和管理数据。例如,业务人员在客户维中手动更新客户状态,供下游任务使用。同时数据开发、运维人员可以使用手工快速更新数据,提高各类业务的生产效率。手工开发页面概述 手工开发页面...

配置流程

字段计算器 和 表记录过滤:仅支持单个结构。配置流程 您可以选择需要的源库(支持多个源库),转换组件和需要写入的目标库即可实现ETL处理。创建ETL任务具体如下:任务 说明 参考文档 配置源库信息 您可以选择 输入/维 节点的一个或多...

DescribeTableStatistics-查询统计信息

查询目标AnalyticDB MySQL集群中的信息统计详情。接口说明 说明 更多关于信息统计的详情,请参见 监控信息。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码...

数据建模

表记录数波动率 源对应分区的行数,同目标行数进行比较,计算波动率。再与期望阈值进行比较,只要符合规则则通过。波动率计算公式=【(源当前分区的行数-对比指定分区的行数)/源当前分区的行数】*100%。比较方式...

自定义Join(UDJ)

基于MaxCompute 2.0计算引擎,MaxCompute在UDF框架中引入了新的扩展机制UDJ(User Defined Join),来实现灵活的跨、多自定义操作,同时减少通过MapReduce等方式对分布式系统底层细节的操作。背景信息 MaxCompute内置了多种 Join 操作...

统计

统计表记录用户执行相关操作的统计数据。基于统计数据,可以进行 人群筛选。前提条件 已在您配置的 计算源 中存储统计,数据格式请参考 统计数据要求。确保您的统计中的所有用户ID类型均已在本空间的 ID类型列表中。若用户ID字段已...

统计数据要求

本章节介绍对于导入Quick Audience的统计的数据要求。说明 由于您存储原始数据的 计算源 类型为MaxCompute,Quick Audience使用的 分析源 类型为ADB3.0或Hologres,为了数据能在计算源和分析源之间正常流转,Quick Audience不支持...

查看数据迁移项目的详情

如果您仅需要重新校验中不一致的数据,请单击 再次校验>仅校验不一致的表记录。重要 如果源端为空,则不支持订正操作。在 全量校验性能 页签,您可以图形化查看 源端 RPS、目标端 RPS、源端迁移流量 和 目标端迁移流量,以及性能基准等...

设置逻辑质量规则

通过设置逻辑质量规则并运行质量检测计划后,您可以查看逻辑质量检查结果,方便用户掌握当前逻辑的质量状况,您可以通过可视化方式与自定义SQL方式制定级与字段级质量规则。本文以可视化方式为例介绍如何设置逻辑表表规则和字段...

设置逻辑质量规则

通过设置逻辑质量规则并运行质量检测计划后,您可以查看逻辑质量检查结果,方便用户掌握当前逻辑的质量状况,您可以通过可视化方式与自定义SQL方式制定级与字段级质量规则。本文以可视化方式为例介绍如何设置逻辑表表规则和字段...

用户行为数据要求

本章节介绍对于导入Quick Audience的用户行为的数据要求。说明 由于您存储原始数据的 计算源 类型为MaxCompute,Quick Audience使用的 分析源 类型为ADB3.0或Hologres,为了数据能在计算源和分析源之间正常流转,Quick Audience不支持...

蚂蚁隐私计算服务平台的审计事件

操作审计记录了用户通过OpenAPI或控制台等方式操作云资源时产生的管控事件,蚂蚁隐私计算服务平台支持在操作审计中查询的事件如下所示。事件名称 事件含义 CheckAntppcOpenProductStatus 查询隐私计算平台开通情况。...

用户行为

用户行为表记录用户的浏览、加购、收藏、购买等行为。基于用户行为数据,可以进行 人群筛选,还可以生成 AIPL模型、偏好类标签 等自定义标签,AIPL模型可用于 AIPL用户分析、AIPL流转分析、人群筛选 等。前提条件 已在您配置的 计算源 中...

日志类别及字段说明

600 answer_type DNS响应的记录类型,以下是常见的DNS响应类型取值:1:A记录 2:NS记录 5:CNAME记录 6:SOA记录 10:NULL记录 12:PTR记录 15:MX记录 16:TXT记录 25:KEY记录 28:AAAA记录 33:SRV记录 41:OPT记录 43:DS记录 44:...

数据问答最佳实践

说明 使用宽可以减少跨查询:如A表格主要记录学生学习成绩信息,B表格主要记录学生兴趣爱好信息,通过将A和B结合为宽C,通过C既可以查询学生信息,也可以查询学生兴趣爱好。宽并非“越宽越好”,当表格中的列过多,对应表格...

并行查询Hint语法

Parallel Hints可以指定优化器是否选择并行执行,还支持指定并行度以及需要并行的,以及各个算子的并行执行方式。PolarDB MySQL版 8.0.1版本目前支持在并行查询中使用 PARALLEL 和 NO_PARALLEL 两种Hints。PolarDB MySQL版 8.0.2版本除了...

用户标签

用户标签表记录用户的一系列特征属性。通过为字段配置标签别名的方式给用户打标签,在使用标签时,实质上是在使用对应的字段。基于用户标签数据,可以形成 用户画像,可以进行 透视分析、人群筛选 等。导入完成后,用户标签中的标签将...

ANALYZE

ANALYZE 收集一个数据库中的的内容的统计信息,并且将结果存储在pg_statistic系统目录中。简介 ANALYZE 收集一个数据库中的的内容的统计...如果被分析的不完全为空,ANALYZE 将不会为该表记录新统计信息。任何现有统计信息将会被保留。

基于MaxCompute实现拉链

拉链是数据仓库设计中用来处理数据变化的一种技术,它允许保存历史数据,记录一个事物从开始到当前状态的所有变化信息,可以反映任意时间点数据的状态。本文将为您介绍基于MaxCompute引擎在DataWorks上实现拉链ETL的案例。前提条件 已...

数据查询最佳实践

索引失效 索引失效时,SQL语句直接以扫描的方式进行查询,如果表记录数非常大,会导致查询缓慢。以下情形容易引起索引失效:函数转换(列)。类型转换。like条件,例如:like '%abc%'。SQL示例:以下SQL中的函数转换导致索引失效。time为...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
负载均衡 VPN网关 共享流量包 高速通道 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用