公开数据集概述
本文为您介绍公开数据集信息，并指导您如何通过MaxComputeSQL分析连接查询并分析数据。简介 MaxCompute开放的公开数据集类别包括：GitHub公开事件数据、国家统计数据、TPC性能测试数据、数字商业类数据、生活服务类数据、金融股票类数据。...
一键导入公共数据集
其中：tpch_10g 和 tpch_100g 公共数据集：模拟零售场景的公开数据集，两个数据集数据量分别为10 GB和100 GB，详情请参见 测试方案介绍。github_event 公共数据集：GitHub官方公开事件数据集，详情请参见 业务与数据认知。前提条件 ...
管理内置数据集
AnalyticDB for MySQL 湖仓版（3.0）支持加载内置数据集，方便您快速体验或测试 AnalyticDB for MySQL 集群。您可以在创建集群时自动加载内置数据集，或通过控制台手动加载内置数据集。本文介绍如何加载和删除内置数据集。注意事项 仅 湖仓...
快速体验MaxCompute
本文指导您基于MaxCompute提供的公开数据集，通过 MaxCompute控制台，快速体验在MaxCompute上执行SQL语句查询数据及下载查询结果到本地的操作。前提条件 已创建一个MaxCompute项目。操作详情请参见 创建MaxCompute项目。已拥有对应...
管理样本数据集
AnalyticDB PostgreSQL版 提供了样本数据集，方便您快速体验或测试 AnalyticDB PostgreSQL版 实例。样本数据集的相关查询语句，请参见 示例查询。注意事项 存储弹性模式实例内核小版本需为V6.3.10.3及以上，Serverless模式实例内核小版本需...
加载样本数据集
为方便您快速体验或测试 AnalyticDB PostgreSQL版 实例，您可以将样本数据集加载至数据库中。如果您在创建实例时选择了 加载 样本数据，则可跳过此步骤。前提条件 已根据快速入门，完成了 创建实例。已根据快速入门，完成了 登录数据库。...
使用SQL分析连接
公开数据集 展示系统提供的 公开数据集 的表元数据信息。使用SQL分析 登录 MaxCompute控制台，在左上角选择地域。在左侧导航栏选择 工作区>SQL分析。在 SQL分析 页面，新建SQL文件。首次访问SQL分析，默认会打开一个 untitled_x 的文件您可...
TPC-H
本次测试的挑战主要有：30 TB大数据集：本次选用30 TB数据集，最大表1800亿行，对数据的导入、存储、计算性能都是巨大的挑战。复杂关联分析：多表Join、相关查询、数据多维过滤和高精度数值计算等，不仅对优化器是挑战（如何解相关、选择最...
创建湖仓版集群
加载内置数据集 集群创建成功后是否自动加载内置数据集。选择 是，将在集群创建成功后自动加载内置数据集。选择 否，不会自动加载内置数据集。后续如有需求可手动加载内置数据集。详情请参见 手动加载内置数据集。说明 仅当 默认分配行为 ...
2024年
同时内置公共数据集Demo，可以直接打开公共数据集Demo的SQL文件执行代码，基于公开数据集体验及测试MaxCompute。2024-03-14 全部地域 使用SQL分析连接 2024-02 功能名称 功能描述 发布时间 发布地域 相关文档 跨地域灾备邀测发布 ...
SSB性能测试说明
sh ssb_dataload.sh 该命令将自动完成SSB数据加载过程，包括数据库、表和数据集的生成以及加载。步骤三：执行查询并 查看测试 结果 通过执行以下命令，您可以方便地查看SSB测试的概览结果，并在当前目录下生成result.csv文件，您可以了解...
查询报错问题
提示 scanRows exceed limit 分析型数据库MySQL版查询时报错，错误信息为：ErrMsg:ErrCode:2001 ErrType:QUERY_EXCEED_LIMIT ErrMsg:scanRows exceed limit:xxx>为避免用户输入的SQL误写或性能较差，从而导致扫描表的大量数据集，分析型...
文档修订记录
Check节点 2024.1.12 新增功能 最佳实践 新增DataWorks大数据安全治理实践新增指南，为您介绍数据安全治理的常见思路、DataWorks产品的安全能力，以及在DataWorks上基于“基础防护建设”、“数据安全防护措施”、“数据安全持续运营”三个...
TPC-DS性能测试
MaxCompute适用于TB、PB和EB等各个数量级的数据查询场景，并在业界具有较大的性能优势，本文基于MaxCompute提供的公开数据集及测试工具，以大数据基准测试TPC-DS为例为您验证MaxCompute的性能。准备工作 环境准备。在进行TPC-DS测试前，您...
2023年
时间 特性 类别 描述 产品文档 2023-09-27 新增TPC-DS性能测试 新说明 MaxCompute适用于TB、PB和EB等各个数量级的数据查询场景，并在业界具有较大的性能优势，本文基于MaxCompute提供的公开数据集及测试工具，以大数据基准测试TPC-DS为例为...
模型评测
简介 模型评测功能支持从两个维度对大语言模型进行评测：基于规则和公开数据集评测。基于规则的评测是用ROUGE和BLEU系列指标计算模型预测结果和真实结果之间的差距；基于公开数据集的评测是通过在多种公开数据集上加载并执行模型预测，根据...
E-MapReduce本地盘实例大规模数据集测试
本文介绍如何使用阿里云E-...详情请参见 E-MapReduce本地盘实例大规模数据集测试最佳实践。说明 本文的TPC-DS的实现基于TPC-DS的基准测试，并不能与已发布的TPC-DS基准测试结果相比较，本文中的测试并不符合TPC-DS的基准测试的所有要求。
Paimon概述
支持在流模式与批模式下读写大规模数据集。支持分钟级到秒级数据新鲜度的批查询和OLAP查询。支持消费与产生增量数据，可作为传统数仓与流式数仓的各级存储。支持预聚合数据，降低存储成本与下游计算压力。支持历史版本回溯。支持高效的数据...
索引优化
大数据集场景下优先考虑稀疏索引：如果您的数据量非常地大，并且您的查询限定条件为<、、=、>=、>，需要从大数据量的表中取出少于50%的数据，那么使用稀疏索引（BRIN Index或者AOCS表的metascan）可以极大地减少无效数据的加载。...
在EMR集群运行TPC-DS Benchmark
A：Spark ThriftServer服务的默认内存不适合较大规模数据集测试，如果在测试过程中出现Spark SQL作业提交失败，原因可能是Spark ThriftServer出现OutOfMemory异常。针对这种情况的解决方法为调整Spark服务配置 spark_thrift_daemon_memory ...
基本概念
栅格数据集越大，创建金字塔集所花费的时间就越长。但是，这也就意味着可以为将来节省更多的时间。Ganos Raster 数据分块模式（Layout Scheme）Layout Definition与Layout Scheme用来定义Layer的分块方式。给定数据图幅范围和像元大小...
数据服务集群
特别适用于需要实时读写随机访问超大规模数据集的场景。Apache HBase和Apache Hadoop生态系统无缝集成，并且可以和Apache Phoenix搭配使用以对HBase表进行类似于SQL的查询。Apache HBase基于HDFS作为底层存储系统，在云上的场景可以使用...
恢复MySQL物理备份
登录 DBS控制台，在 备份计划>备份计划列表 页面单击备份计划名称，在 备份任务>全量数据备份 页面中查看全量数据集的大小，详情请参见 查看备份计划。在 配置恢复对象 页面，单击 恢复整个实例，并单击页面右下角的 预检查并启动。说明 ...
恢复Oracle物理备份
登录 DBS控制台，在 备份计划>备份计划列表 页面单击备份计划名称，在 备份任务>全量数据备份 页面中查看全量数据集的大小，详情请参见 查看备份计划。数据库程序目录 填入 ORACLE_HOME 的绝对路径。数据跨境合规承诺 阅读并勾选合规承诺。...
恢复MySQL逻辑备份
登录 DBS控制台，在 备份计划>备份计划列表 页面单击备份计划名称，在 备份任务>全量数据备份 页面中查看全量数据集的大小，详情请参见 查看备份计划。数据跨境合规承诺 请阅读并勾选合规声明。在 配置恢复对象 页面，配置以下信息，并单击...
概述
背景信息 DMS数据分析提供典型的数据集、仪表盘和大屏模型，在仪表盘或大屏中提供丰富的可视化图表和组件来展示数据。您可以将数据库中的表或单条SQL查询结果作为数据集，在仪表盘或大屏中对数据集中的数据以表格、交叉表、折线图、柱条形...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
支持字符集 数据库的字符集。Collate 字符串排序规则。Ctype 字符分类。授权账号 设置数据库的所有者，对数据库拥有ALL权限。备注说明 填写备注信息。为RDS数据库创建表并插入少量测试数据，具体操作请参见 通过DMS登录RDS MySQL。如表名为...
数据集常见问题
本地上传数据集支持的格式和大小是多少 文件支持扩展名：.xlsx。文件大小：不超过50M。最大行数：10万行。最大列数：50列。数据集配额是多少 最大支持上传10个数据集。
功能发布记录（2023年）
2023.4.18 所有地域 所有DataWorks用户 SQL查询 大数据公共数据集上线 基于大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等），通过DataWorks与MaxCompute快速完成TB级别大数据分析。2023.4.11 所有地域 所有DataWorks用户 SQL...
数据集管理
本文介绍数据集的一般操作，包括新建、搜索、重命名、编辑和删除等操作。新建数据集 具体操作请参见 添加适配数据集。搜索数据集 登录 DataV控制台。在 功能导航 模块单击 数据集，进入数据集管理页面。在数据集卡片页右上角可以做以下操作...
GetPublicDataset-查询公共数据集详情
Copyright string 公共数据集版权信息 此数据集公开提供给所有人使用，但使用者需遵循数据集来源规定的条款(Fort Lauderdale principles)AccessRequirements string 公共数据集访问要求 阿里云“按原样”提供数据集，对此不作任何明示或...
步骤六：可视化分析
本文将使用Quick BI指导您完成本教程的可视化分析步骤，包括数据源、数据集的创建和数据大屏图表的配置。步骤一：创建数据源 登录 Quick BI控制台。按照下图操作指引，进入 创建数据源 对话框。在 MySQL-阿里云 区域，配置连接参数。参数 ...
步骤六：可视化分析
本文将使用Quick BI指导您完成本教程的可视化分析步骤，包括数据源、数据集的创建和数据大屏图表的配置。步骤一：创建数据源 登录 Quick BI控制台。按照下图操作指引，进入 创建数据源 对话框。在 MySQL-阿里云 区域，配置连接参数。参数 ...
编辑数据集
本文为您介绍在DataV中数据集管理面板内如何编辑已创建的数据集。背景信息 数据集管理面板中已存在数据集且需要重新编辑修改该数据集内容。操作步骤 登录 DataV控制台。选择 我的数据 页签，在左侧列表中单击 数据集管理。在 数据集管理 ...
删除数据集
本文为您介绍如何在DataV中数据集管理面板内删除数据集。操作步骤 登录 DataV控制台。选择 我的数据 页签，在左侧列表中单击 数据集管理。在 数据集管理 页面，将鼠标移至页面内某个待删除的数据集上，单击左侧的 图标。在弹出的确认删除...
SQL查询
我的收藏为展示您个人收藏的表，您在数据集下，右键单击目标表选择 收藏，收藏后文件将展示在该目录下。公共数据 在区域②，公共数据 目录需要通过单击 图标进行添加。公共数据为您展示数据分析默认提供且不需要申请权限的表，您可使用该表...
管理数据集
本文为您介绍可视分析创作间中数据集的预览、复制、重命名、删除和编辑操作。前提条件 已完成数据集创建。操作步骤 输入账户和密码，登录 可视分析创作间。在左侧导航栏，单击分析图标，进入 分析 页面。（可选）在搜索框中输入关键字，...
添加适配数据源
在使用数据集前需要先添加支持的数据源内容，本文介绍添加适配数据源的方法。如果通过上传本地数据源文件方式创建数据集请跳过本章节。背景信息 说明 当前数据集功能支持以下数据源类型：RDS for PostgreSQL、RDS for MySQL、兼容MySQL数据...
列存索引中TopK算子的实现
测试结果 在TPCH 100 GB的数据集上对方案进行简单的验证：select l_orderkey,sum(l_quantity)from lineitem group by l_orderkey order by sum(l_quantity)desc limit 1000000,100;测试结果如下：PolarDB IMCI ClickHouse MySQL 11.63 sec ...
查看数据集
在数据集管理页面，单击 目标数据表卡片，查看数据集详情信息。说明 另一入口：单击全部资源页面左上角的 图标，在 操作 列单击 探查。在 数据预览 页签，查看数据集的表数据信息。单击列名称后的 图标，可对数据集列值进行排序或者筛选。...
- 产品推荐
- 这些文档可能帮助您