小程序内嵌H5数据上报
各个小程序的业务希望用户在商城小程序浏览该H5时数据与商城小程序一起分析，用户在会员小程序浏览该H5时数据与会员小程序一起分析，而通过浏览器直接访问H5的数据由H5业务自己分析。在QuickTracking的后台中为该H5创建独立的应用和appkey ...
App内H5数据上报
场景举例：App业务、运营和PD等不希望在App中看到H5的数据 操作说明：创建两个应用：一个App应用，该App有自己的Appkey_app 一个Web/H5应用，该Web/H5有自己的Appkey_h5 不进行任何API的调用 上报日志：仅H5报一条日志：Appkey是H5的...
轮播页面
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
时空引擎版本发布记录
修复栅格对部分数据统计时失败的问题。4.4 新特性 ST_LinearStretch：将影像进行线性拉伸，作为一个新的raster返回。ST_BuildPercentiles：统计影像的像素值百分比。ST_ComputeStatistics：一次性计算栅格数据的统计值，直方图以及百分比。...
时空数据库版本发布记录
本文介绍PolarDB PostgreSQL版时空数据库（Ganos）的版本更新说明。6.X 6.3 类别 说明 新增特性 Trajectory SQL 新增 ST_InsertAttr 函数，支持为轨迹增加新的属性。GeomGrid SQL 新增 ST_Degeneralize 函数，支持将低层级网格分解成高层级...
时空数据库版本发布记录
本文介绍PolarDB PostgreSQL版（兼容Oracle）时空数据库（Ganos）的版本更新说明。6.X 6.3 类别 说明 新增特性 Trajectory SQL 新增 ST_InsertAttr 函数，支持为轨迹增加新的属性。GeomGrid SQL 新增 ST_Degeneralize 函数，支持将低层级...
PolarDB HTAP实时数据分析技术解密
其在大数据量上运行复杂查询的性能可以与Oracle、SQL Server等业界商用数据库系统处在同一水平。In-Memory Column Index的技术架构 行列混合的优化器 PolarDB原生有一套面向行存的优化器组件。在引擎层增加列存功能后，此部分需要进行功能...
时空服务介绍
GeoMesa接口 Lindorm Ganos时空服务GeoMesa接口兼容开源GeoMesa、GeoServer等生态，可广泛应用于空间或时空数据存储、查询、分析与数据挖掘等场景。流引擎接口 功能特性 特性 描述 时空内存索引 Lindorm Ganos时空服务在Lindorm流引擎中...
在EMR集群运行TPC-DS Benchmark
TPC-DS是大数据领域最为知名的Benchmark标准。阿里云E-MapReduce多次刷新TPC-DS官方最好成绩，并且是第一个通过认证的可运行TPC-DS 100 TB的大数据系统。本文介绍如何在EMR集群完整运行TPC-DS的99个SQL，并得到最佳的性能体验。背景信息 ...
发现并处理大Key和热Key
在使用 云原生内存数据库Tair 的过程中，如果未能及时发现并处理Big keys（下文称为“大Key”）与Hotkeys（下文称为“热Key”），可能会导致服务性能下降、用户体验变差，甚至引发大面积故障。本文将介绍大Key与热Key产生的原因、其可能...
发现并处理Redis的大Key和热Key
bigkeys 参数能够使redis-cli以遍历的方式分析Redis实例中的所有Key，并返回Key的整体统计信息与每个数据类型中Top1的大Key，bigkeys 仅能分析并输入六种数据类型（STRING、LIST、HASH、SET、ZSET、STREAM），命令示例为 redis-cli-h r-*....
查询场景
1055.33 1127.07 测试结果（单位：秒，测试数据量为：10GB）TPC-H查询 弹性（8core）查询耗时 Q1 12.916 Q2 0.905 Q3 3.693 Q4 5.589 Q5 5.156 Q6 0.169 Q7 2.910 Q8 4.815 Q9 14.284 Q10 3.747 Q11 0.892 Q12 1.347 Q13 3.613 Q14 0.404 Q...
数仓场景：增量数据实时统计
适用场景 实时需求简单，数据量不大，以埋点数据统计为主的数据，实时性最强。操作流程 示例操作如下：步骤一：创建MySQL源数据表 步骤二：创建Kafka的Topic 步骤三：创建StarRocks表和导入任务 步骤四：执行Flink任务，启动数据流 步骤五...
TPC-H测试
测试设计 测试数据量 测试基于100 GB数据量（Scalar Factor=100），其中主要表数据量如下：LINEITEM表约6亿行 ORDERS表1.5亿行 PART_SUPP表8000万行 测试所用实例规格 节点规格 节点数 数据集大小 8C64G 6 100 GB 测试所用压力机规格 ecs.g...
TPC-H测试
测试设计 测试数据量 测试基于100 GB数据量（Scalar Factor=100），其中主要表数据量如下：LINEITEM表约6亿行 ORDERS表1.5亿行 PART_SUPP表8000万行 测试所用实例规格 节点规格 节点数 数据集大小 8C64G 6 100 GB 测试所用压力机规格 ecs.g...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
时序异常检测
例如新插入的时序数据有一个非常大的尖刺，检测结果可能为异常。时序异常检测搭配 SAMPLE BY 语句可以实现以下功能：搭配 SAMPLE BY 0 子句，针对每条时间线上的数据逐点检测。使用示例，请参见 示例一、示例二 和 示例三。在 SAMPLE BY ...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
RDS MySQL如何使用Percona Toolkit
通过bulk insert加速归档过程 当需要归档的数据量很大，比如第一次做归档的时候，可以考虑通过尝试bulk insert的方式来加速归档过程，命令如下所示。pt-archiver-source h=rds01.mysql.rds.aliyuncs.com,P=3306,u=jacky,p=xxx,D=rd_test,t=...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
分区表达式介绍
Dataphin数据质量分区表达式，用于控制质量规则按照数据产出日期匹配触发，系统内置了常用的分区表达式，也允许通过自定义方式进行个性化控制。本文为您介绍分区表达式格式说明、分区表达式计算逻辑、内置分区表达式类型以及常用业务示例...
分区表达式介绍
Dataphin数据质量分区表达式，用于控制质量规则按照数据产出日期匹配触发，系统内置了常用的分区表达式，也允许通过自定义方式进行个性化控制。本文为您介绍分区表达式格式说明、分区表达式计算逻辑、内置分区表达式类型以及常用业务示例...
pg_dump
pg_dump-Fc mydb>db.dump 执行以下命令，将数据库备份到目录格式的存档文件中：pg_dump-Fd mydb-f dumpdir 执行以下命令，将数据库与5个辅助作业并行备份到目录格式的存档文件中：pg_dump-Fd mydb-j 5-f dumpdir 执行以下命令，将存档文件...
通过文件管理优化性能
Data skipping的原理：我们以一张Delta表的x列为例，假设给定的表文件x列的最小值为5，最大值为10，如果查询条件为 where x，则根据表文件的统计信息，我们可以得出结论：该表文件中一定不包含我们需要的数据，因此我们可以直接跳过该表...
相比OpenTSDB优势
施压机数量 5 单台施压机 TPS 值 1000 获取 Connection 超时时间（毫秒）600000 连接建立超时时间（毫秒）600000 请求获取数据超时时间（毫秒）600000 考虑到大查询会很耗时，一旦 timeout 可能会导致 TPS 统计误差。调用方式 同步 每次...
写入与查询
本文介绍 AnalyticDB MySQL 中写入与查询的常见问题及解决方法。说明 当常见问题场景中未明确产品系列时，表明该问题仅适用于 AnalyticDB MySQL 数仓版（3.0）。常见问题概览 湖仓版（3.0）集群是否支持通过JDBC方式查询Hudi表的数据？湖仓...
相关的云服务
DataWorks作为阿里云一站式大数据开发与治理平台，通常会与计算引擎产品联合使用，此外使用DataWorks进行数据集成时通常联合进行数据传输的数据源产品一起使用。本文为您介绍典型场景下，使用DataWorks时通常会使用到的其他云产品。计算...
数据量
在数据库备份场景下，有4个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为：购买时选择的存储...
播放数据统计常见问题
H5播放器会因为用户终端的更新而发生key的变化，从而导致该终端会被识别为一个新用户，进而产生一个新的UV计数，造成播放用户数的统计误差。我只使用了阿里云的官方播放器SDK作为视频播放渠道，但是从播放数据去估算时，流量和播放次数对不...
大数据AI公共数据集分析
本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等公共数据），指导您如何快速进行大数据分析，快速熟悉DataWorks的操作界面与最基础的数据分析能力。DataWorks的更...
H5 性能
统计应用 H5 页面的整体浏览量（PV）、页面加载时长、慢加载占比、JS 错误数及白屏率，并监控 H5 页面的 JS 异常情况。查看 H5 性能分析报告的步骤如下：登录控制台，进入 产品与服务>移动开发平台 mPaaS 后，选择应用。在左侧的导航栏，...
H5 容器自动化埋点
使用 mPaaS 提供的 Nebula 容器加载 H5 页面时，Nebula 容器会自动统计页面的行为数据、加载性能，捕获异常报错等数据，方便您更好地跟踪 H5 页面加载时的各项数据。本文将引导您集成 Nebula 容器自动化埋点能力及查看埋点数据。前置条件 ...
阿里云流播放器
过滤器 打开 过滤器，选择已创建的数据过滤器或新建数据过滤器，并配置数据过滤器脚本，实现数据的筛选功能。详情请参见 管理数据过滤器。数据响应结果 实时展示了组件所使用的数据。当组件数据源发生变化时，数据响应结果会对应展示最新的...
阿里云流播放器
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
MaxCompute表数据
查看数据统计信息和分布情况 查看表基本信息 您可以在表详情页左侧的 表基础信息 区域查看表的 浏览次数、读取次数、收藏次数 等信息。图标表示当前表为DataWorks智能数据建模生成的模型表。如果您需要使用智能建模功能，请参考 概述。浏览...
高性能版实例
对数据集总大小为100 GB的TPC-H数据集进行基准测试，TPC-H的22个SQL结果如下图所示。由于I/O性能的提升，相比较高可用版，高性能版的TPC-H集群测试用时降低了40%左右。可用性 数据可靠性 AnalyticDB PostgreSQL版 使用阿里云ESSD云盘作为...
公共规范
公共字段定义规范 数据统计日期的分区字段按以下标准：按天分区：ds(YYYYMMDD)。按小时分区：hh(00~23)。按分钟：mi(00~59)。is_{业务}：表示布尔型数据字段。以 Y 和 N 表示，不允许出现空值域。原则上不需要冗余分区字段。数据冗余 一个...
东软案例
目前，东软在物联网、互联网等新场景下面临的IT系统运维主要问题与挑战有：多模型数据融合分析困难，面向海量数据采集终端同时写入数据的并发能力弱，数据量大且价值密度低导致存储成本高，基于开源软件自建数据存储集群稳定性低运维成本...
实例画像
数据库自治服务DAS（Database Autonomy Service）提供实例画像功能，基于数据库实例的运行特征表现，通过AI大数据分析构建的一种“千人千面”画像服务。实例画像可以帮助您直观地了解数据库实例全貌，快速确认数据库实例是否存在异常与缺陷...
实例画像
数据库自治服务DAS（Database Autonomy Service）提供实例画像功能，基于数据库实例的运行特征表现，通过AI大数据分析构建的一种“千人千面”画像服务。实例画像可以帮助您直观地了解数据库实例全貌，快速确认数据库实例是否存在异常与缺陷...
- 产品推荐
- 这些文档可能帮助您