后续指引
介绍：数据迁移 实践：数据迁移最佳实践 常见问题：数据上传下载常见问题 大规模数据迁移 MaxCompute提供MMA（MaxCompute Migration Assist）迁移工具支撑大规模数据迁移。开发与分析 数据类型 MaxCompute支持三种数据类型版本，为您介绍各...
Quick BI如何实现TopN展示
解决方案 如下图所示，先对数据进行全局排序，然后在右边编辑栏，结果展示选择只需要的展示的前多少名，就可以解决Top N问题，同样的，此方法还可以解决展示按时间最新的数据，只需要按照时间维度降序，即可展示。适用于 Quick BI
SELECT
流引擎兼容Apache Flink SQL的SELECT语句。Apache Flink V1.17.1 SELECT语句详情如下表所示。...Top-N 去重 从数据流中去除重复的行数据。Deduplication 说明 如果您需要查看其它版本Queries语句，请注意切换到对应版本。
监控类型概述
单笔数据 Top 常用 对单条日志的数值维度进行排序，查看最高 N 个单笔业务，如统计耗时前 10 的单笔订单。匹配查找告警 高级 统计日志中固定位置的关键字出现次数，达到一定量后进行告警。例如：日志中，打印日期后出现 Error 关键字就发送...
大数据AI公共数据集分析
本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等公共数据），指导您如何快速进行大数据分析，快速熟悉DataWorks的操作界面与最基础的数据分析能力。DataWorks的更...
单笔数据 Top
背景信息 单笔数据 Top 是通过对单条日志的数值维度进行排序，查看最高 N 个单笔业务，如统计耗时前 10 的单笔订单。更多监控类别应用场景，请参见 监控类型概述。配置自定义监控主要包括如下的步骤：选择监控产品 填写基本信息 配置日志...
大数据安全治理的难点
数据安全治理的关键问题 数据安全治理能否清楚、准确地回答如下问题，将从侧面反映安全治理项目是否能有效地落地。哪些资产需要被保护？您有哪些资产？这些资产分布在哪里、承载着什么样的业务？资产内有哪些数据？数据业务属性及重要程度...
数据治理中心概述
您可直接使用该模板检测问题数据，若模板的配置项无法满足需要，则也可自定义检查项及治理项。健康分：基于治理项，按照系统预先定义的模型计算得出，用于评估治理成效。治理单元：由一个或多个工作空间组成，用于集中统计指定工作空间的...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
从RDS同步至MaxCompute
大数据计算服务（MaxCompute，原名ODPS）是一种快速、完全托管的EB级数据仓库解决方案。通过数据传输服务DTS（Data Transmission Service），您可以将 RDS MySQL 或RDS MySQL Serverless 的数据同步至MaxCompute，帮助您快速搭建数据实时...
从RDS同步至MaxCompute
大数据计算服务（MaxCompute，原名ODPS）是一种快速、完全托管的EB级数据仓库解决方案。通过数据传输服务DTS（Data Transmission Service），您可以将 RDS MySQL 或RDS MySQL Serverless 的数据同步至MaxCompute，帮助您快速搭建数据实时...
常见Latency（时延）事件的处理建议
本文向您介绍常见Latency事件超过阈值时间的原因及处理建议，您可参考本文了解并处理对应的时延问题。背景信息 原生Redis在2.8.13版引入时延监控...相关文档 设置实例参数 发现并处理Redis的大Key和热Key 实时Top Key统计 清除数据 扩容实例
常见Latency（时延）事件的处理建议
本文向您介绍常见Latency事件超过阈值时间的原因及处理建议，您可参考本文了解并处理对应的时延问题。背景信息 原生Redis在2.8.13版引入时延监控（Latency...相关文档 设置实例参数 发现并处理大Key和热Key 实时Top Key统计 清除数据 扩容实例
某网约车公司车辆轨迹数据
随着车辆数量的快速增长，每辆车每分钟上传轨迹、位置等信息到MySQL导致MySQL库数据量过大，将全量数据写到 云原生多模数据库 Lindorm 中可以解决数据量过多和成本问题。业务挑战 目前线下有7万+辆车，车辆数量在快速增长，每辆车每分钟...
发现并处理大Key和热Key
在使用 云原生内存数据库Tair 的过程中，如果未能及时发现并处理Big keys（下文称为“大Key”）与Hotkeys（下文称为“热Key”），可能会导致服务性能下降、用户体验变差，甚至引发大面积故障。本文将介绍大Key与热Key产生的原因、其可能...
发现并处理Redis的大Key和热Key
Redis提供了 bigkeys 参数能够使redis-cli以遍历的方式分析Redis实例中的所有Key，并返回Key的整体统计信息与每个数据类型中Top1的大Key，bigkeys 仅能分析并输入六种数据类型（STRING、LIST、HASH、SET、ZSET、STREAM），命令示例为 redis...
常见问题
本文介绍大数据专家服务常见问题。1.售前咨询渠道 尊敬的“准”大数据专家服务用户您好：如果您准备购买阿里云大数据专家服务，但是遇到如服务范围、规格、服务选择等售前方面的问题，您可以通过钉钉与我们联系，您将“当面”获得阿里云大...
确定需求
您在构建数据仓库之前，首先需要确定构建数据仓库的目标与需求，并进行全面的业务调研。您需要了解真实的业务需求，以及确定数据仓库要解决的问题。业务调研 充分的业务调研和需求分析是数据仓库建设的基石，直接决定数据仓库能否建设成功...
确定需求
您在构建数据仓库之前，首先需要确定构建数据仓库的目标与需求，并进行全面的业务调研。您需要了解真实的业务需求，以及确定数据仓库要解决的问题。业务调研 充分的业务调研和需求分析是数据仓库建设的基石，直接决定数据仓库能否建设成功...
云数据库Redis开发运维规范
如果频繁执行时间复杂度为 O(N)及以上的命令，且Key中的子Key数量过多容易引发慢请求、数据倾斜或热点Key问题。推荐使用串行化方法将Value转变为可读的结构。由于编程语言的字节码随着版本可能会变化，如果存储裸对象（例如Java Object、C#...
Tair开发运维规范
如果频繁执行时间复杂度为 O(N)及以上的命令，且Key中的子Key数量过多容易引发慢请求、数据倾斜或热点Key问题。推荐使用串行化方法将Value转变为可读的结构。由于编程语言的字节码随着版本可能会变化，如果存储裸对象（例如Java Object、C#...
数据组织优化
Clustering 当前痛点 Transactional Table 2.0支持分钟级近实时增量数据导入，高流量场景下可能会导致增量小文件数量膨胀，从而引发存储访问压力大、成本高，并且大量的小文件还会引发Meta更新以及分析执行慢，数据读写I/O效率低下等问题，...
备份恢复计费说明
计费项 免费额度 15 天内免费项说明 区域 数据备份 2*N N 为您购买集群时所选择的存储大小数值 备份存储大小集群存储大小（N）*2 倍，无需支付额外的备份费用 中国内地、中国香港、新加坡、马来西亚（吉隆坡）、印度尼西亚（雅加达）、德国...
选择函数
语法 SELECT BOTTOM([,(s)>],<N>)[,(s)>|(s)>][INTO_clause]FROM_clause[WHERE_clause][GROUP_BY_clause][ORDER_BY_clause][LIMIT_clause][OFFSET_clause][SLIMIT_clause][SOFFSET_clause]语法说明 BOTTOM(field_key,N)：返回field key对应...
导入与导出
数据同步过程中，可以修改源表中的字段类型，目前仅支持整型数据类型之间、浮点数据类型之间的列类型更改，并且只能将取值范围小的数据类型更改为取值范围大的数据类型，或者将单精度数据类型更改为双精度数据类型。整型数据类型：支持...
解读实例诊断报告
实时Top Key统计 离线全量Key分析 TOP 10 节点慢请求 展示发生慢请求次数排名前十的数据节点，并展示对应的慢请求信息，统计来源如下：系统审计日志中保存的数据节点慢日志（仅保留4天）。数据节点本身记录的慢日志（仅保存最近的1024条）...
解读实例诊断报告
离线全量Key分析 实时Top Key统计 TOP 10 节点慢请求 展示发生慢请求次数排名前十的数据节点，并展示对应的慢请求信息，统计来源如下：系统审计日志中保存的数据节点慢日志（仅保留4天）。数据节点本身记录的慢日志（仅保存最近的1024条）...
发展历程
2019大数据“星河（Galaxy）”奖 最佳大数据产品奖（TOP10）。2018年 MaxCompute的多个客户案例荣获“2017大数据优秀产品和应用解决方案案例”奖。基于公共云的BigBench在100 TB规模上，MaxCompute的性能指标较2017年10月提升了一倍，达到...
确定需求
数据需求为最近一天某个商品类目（例如厨具）在各省的销售总额、该类目销售额Top10的商品名称、各省用户购买力分布（人均消费额）等，用于营销分析。最终的业务需求是通过营销分析完成该商品类目的精准营销，提升销售总额。通过业务调研，...
RDS SQL Server CPU使用率高问题排查
IOMGR_IOCOMPLETION',N'HADR_LOGCAPTURE_WAIT',N'HADR_NOTIFICATION_DEQUEUE',N'HADR_TIMER_TASK',N'HADR_WORK_QUEUE',N'KSOURCE_WAKEUP',N'LAZYWRITER_SLEEP',N'LOGMGR_QUEUE',N'MEMORY_ALLOCATION_EXT',N'ONDEMAND_TASK_QUEUE',N'...
Top N应用监控
应用托管到 Serverless 应用引擎 SAE（Serverless App Engine）后，SAE 会采集并分析应用数据，包括异常实例数、发布单失败率等，并在概览页显示每个指标Top N的应用列表，方便您实时、直观地了解应用的状态。操作步骤 登录 SAE控制台。在 ...
常见问题
这种场景下，如果数据量很大且存在查询性能问题，可以考虑合理设置分片数量，或在业务上进行分表操作。如果您想要更深入的了解分区索引对查询性能的影响，请参见 分区索引是如何提升查询RT和QPS的？如果在创建分区索引时对参数的设置有疑问...
成本分析
在 费用分析 页签，通过如下维度进行费用分析：按实例分析：账期总费用：以饼图方式展示指定账期内总的费用，光标悬停到饼图上可快速获知Top N（最大为Top 7+其他）实例的费用占比，需要注意的是因为精度和取近似值的原因，数据可能会出现...
基于Delta lake的一站式数据湖构建与分析实战
这些数据湖格式有自己的数据meta管理能力，能够支持Update、Delete等操作，以批流一体的方式解决了大数据场景下数据实时更新的问题。数据湖构建与管理 1.数据入湖 企业的原始数据存在于多种数据库或存储系统，如关系数据库MySQL、日志系统...
补数据
本文为您介绍补数据的相关问题。补数据功能说明 为什么小时分钟任务补数据选择了并行但实际不生效？为什么补数据选择业务时间后不运行，实例显示黄色，实例状态显示等待时间？为什么补数据选择业务时间昨天和今天，也会出现等待时间的情况...
查看集群日报与分析
Hive文件大小分布Top信息提供以下数据：Hive库空文件个数Top Hive库极小文件个数Top Hive库小文件个数Top Hive库中等文件个数Top Hive库大文件个数Top 说明 Hive小文件会导致NameNode压力以及分片问题，大量的小文件会严重拖累计算流程，...
Transaction Table2.0概述
针对这些问题近几年大数据开源生态也推出了各种解决方案，最流行的就是Spark/Flink/Presto开源数据处理引擎，深度集成开源数据湖Hudi、Delta Lake和Iceberg三剑客，践行统一的计算引擎和统一的数据存储思想来综合提供解决方案，解决Lamdba...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
- 产品推荐
- 这些文档可能帮助您