JindoFS实战演示
Impala如何高效查询OSS数据 Impala如何高效查询OSS数据 2021-06-08 Apache Impala是一个开源的大数据查询分析引擎，能够快速查询分析存储在Hadoop集群的PB级数据。如果您已将HDFS数据迁移至OSS中，可通过在Impala中使用JindoFS SDK，高效...
时序引擎应用开发简介
如果需要使用SQL查询数据，可以手动创建时序数据表或将Schema约束策略设置为弱约束。时序引擎基于SQL提供了更多的时序特性功能和更好的性能，推荐开发者使用SQL查询数据。使用OpenTSDB或单值模型写入：Schema约束策略为无约束，即无法创建...
Github实时数据同步与分析
最终效果如下：（可选）历史离线数据分析 实时数仓Hologres与大数据计算服务MaxCompute深度融合，可以组成一体化的大数据查询与分析架构。在MaxCompute公共数据集中，存储了历史GitHub全量数据。如果想要做更长时间的数据分析，有两种方式...
功能发布记录（2023年）
2023.4.18 所有地域 所有DataWorks用户 SQL查询 大数据公共数据集上线 基于大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等），通过DataWorks与MaxCompute快速完成TB级别大数据分析。2023.4.11 所有地域 所有DataWorks用户 SQL...
Superset（仅对存量用户开放）
查询数据库。选择 SQL工具箱>SQL编辑器。选择添加的数据库Hive JDBC Server。选择 default 模式。您可以执行Hive命令查看数据库信息。如下图所示。常见问题 问题现象：EMR-4.6和EMR-3.33之前版本的集群，使用admin用户第一次登录Superset的...
风险识别管理（新版）
规则名称 规则类型 规则等级 规则配置 非工作时间查询大数据量敏感数据 数据访问风险 低 如下时间段查询数据量大于10000时命中该规则。周一至周五：22:00～24:00。周六至周日：00:00～24:00。相似SQL查询 数据访问风险 低 十分钟内查询相似...
自媒体：易撰
所属行业：自媒体 网站地址：易撰 客户介绍 长沙营智信息技术有限公司是专业的新媒体大数据服务商，其旗下知名品牌易撰，基于新媒体大数据挖掘技术及NLP算法分析，为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构...
聚合支付方案
阿里云从业务扩展性、数据流动性、服务高可用三方面入手，通过多款云数据库产品为利楚扫呗制定聚合支付方案，解决利楚扫呗在业务扩展期遇到的数据存储空间不足、读写性能下降以及大数据分析空缺等问题。业务痛点 武汉利楚商务服务有限公司...
时序引擎版本说明
为提升用户体验，云原生多模数据库 Lindorm会不定期地发布版本，用于丰富云产品功能或修复已知缺陷。您可以参阅本文了解Lindorm时序引擎的版本更新说明，选择在业务低峰期升级实例的时序引擎版本。如何查看或升级实例的时序引擎版本 您可以...
性能优化
当查询数据量大时，您可以指定查找数据的范围（特定的label，查询属性的起始范围、终止范围、迭代次数等）。示例：推荐方案（将过滤属性限制在10~30内）g.V().hasLabel("person").has("age",P.gt(10).and(lt(30))).limit(5)普通方案 g.V()....
如何减少查询数据点提高查询效率
本文介绍如何通过减少单次查询数据点来提升查询效率。时序查询优化的其中一个原则就是，查询命中的数据点越少，查询效率越高。因此来说查询条件尽量精确。如何减少扫过的数据点数 查询周期与写入的采集周期强相关，尽量减少毫秒级采集周期...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
数据模型
这意味着Aggregate模型可以通过预聚合，极大地降低聚合查询时所需扫描的数据量和查询的计算量，非常适合报表类统计分析场景。该模型对 count(*)查询不友好，因为固定了Value列上的聚合方式，在进行其他类型的聚合查询时，需要考虑语义正确...
跨实例查询
大数据场景（例如TPC-H 1 TB数据）下，跨实例查询数据性能约为本地查询数据性能的50%。跨实例查询数据需要跨网络传输数据，为了减少网络IO，请尽量增加外表的WHERE过滤条件。相关文档 AnalyticDB PostgreSQL版 也支持跨库查询，详情请参见 ...
查询用户OSS或专属存储的归档数据
说明 系统默认限制返回20条查询数据，您可根据业务需求修改限制条件，返回更多数据。常见问题 Q：逻辑库进行数据归档查询时会将所有逻辑库的表合并到一个物理表中吗？A：会。逻辑库在进行数据归档时，会将所有逻辑库的表都合并到一个物理库...
SELECT MATERIALIZED VIEW
背景信息 物化视图状态分为如下两种：物化视图有效 执行查询语句时，MaxCompute会从物化视图中直接查询数据，不会从源数据中查询数据。物化视图无效 执行查询语句时，MaxCompute无法从物化视图中直接查询数据，会从源数据中查询数据，无法...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
备份集查询功能概览
DBS备份数据查询功能，可以在不恢复备份数据的情况下，直接查询云存储中备份集的数据。背景信息 传统的备份数据查询有两种方式：将备份数据文件导入至数据库，再通过数据库操作对数据进行查询，但是这种方式耗费时间长，且可能会导致数据...
产品功能
您也可以通过 TSDB 产品控制台的数据查询功能进行数据分组、降采样、空间聚合的可视化数据查询展现。数据管理 数据时效设置 您可以通过控制台或者 API 设置数据的有效期。数据时效开启并设置完成后，系统对于定义的过期数据将立即标记失效...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
发展历程
关键性里程碑 2009年9月，ODPS（即现在的MaxCompute）大数据平台飞天项目正式启动。2010年10月，阿里巴巴集团自主研发的第一代云计算平台稳定运行。2013年8月，平台的单集群规模已达到5000台。2014年7月，平台开始对外提供服务，完全替换...
查询物理表数据
数据查询提供通过SQL查询预览数据资源，为开发人员和数据应用人员提供全面直观的数据呈现。本文介绍如何查询物理表数据。前提条件 已新建云计算资源，具体操作，请参见 新建云计算资源。操作步骤 登录企业数据智能平台。在页面左上角，单击...
创建数据脱敏场景
在 数据分析 通过 SQL查询 功能查询数据时，查询的敏感数据会按照配置的脱敏规则进行脱敏。说明 EMR引擎暂不支持使用数据开发展示脱敏，Hologres引擎暂不支持使用数据开发/数据地图展示脱敏。数据分析展示脱敏 在 数据分析 通过 SQL Notes ...
查询物理表数据
数据查询提供通过SQL查询预览数据资源，为开发人员和数据应用人员提供全面直观的数据呈现。本文介绍如何查询物理表数据。前提条件 已新建云计算资源，具体操作，请参见 新建云计算资源。操作步骤 登录 数据资源平台控制台。在页面左上角，...
新建SQL查询
查询数据 支持项目数据和数据源。项目数据：即查询当前项目计算源的数据。数据源：即查询数据源的数据。包括MySQL和Oracle数据源。查询数据源数据需要选择对应数据源。若无可选数据源，可以单击+新建数据源 进行新建。单击 确定，完成SQL...
新建SQL查询
查询数据 支持项目数据和数据源。项目数据：即查询当前项目计算源的数据。数据源：即查询数据源的数据。包括MySQL和Oracle数据源。查询数据源数据需要选择对应数据源。若无可选数据源，可以单击+新建数据源 进行新建。单击 确定，完成SQL...
引擎功能
数据查询 支持通过SQL进行数据查询，兼容基于OpenTSDB协议的查询API等方式进行数据查询。用户也可以通过产品控制台的数据查询功能进行数据分组、降采样、空间聚合等可视化数据查询展现。数据管理 数据库管理 时序数据的存储以Database为...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
相关的云服务
DataWorks作为阿里云一站式大数据开发与治理平台，通常会与计算引擎产品联合使用，此外使用DataWorks进行数据集成时通常联合进行数据传输的数据源产品一起使用。本文为您介绍典型场景下，使用DataWorks时通常会使用到的其他云产品。计算...
基本操作
Transaction Table2.0 支持更多能力，同时在DDL，DML和DQL以及数据管理上都...DDL操作 表操作 分区和列操作 CLONE TABLE 数据写入 SQL写入 Flink近实时写入 数据查询：Time travel查询与Incremental查询 数据合并：COMPACTION 数据备份与恢复
数据标准
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有...说明 目前使用DDM进行数据建模可以进行逻辑建模和物理建模，但物理建模仅支持MaxCompute和Hive两种大数据引擎，不支持自定义数据源类型。
友盟数据分析
查询数据 服务开通成功之后，等待一段时间您就可以看到友盟自动为您的阿里云账号创建了一个名为 integration_biz_ump_databank 的数据库，这个数据库下面会有各种不同的数据明细表。您可以在DLA的 SQL执行 页面进行数据查询了。如果您要...
API概览
DescribeColumnsV2 查询数据资产表中列的数据V2 调用DescribeColumns接口查询数据安全中心连接授权的MaxCompute、RDS等数据资产表中列的数据。DescribeOssObjects 查询OSS的存储对象列表 调用本接口查询连接授权的OSS的存储对象列表。...
查询账单
本文介绍如何查看在使用DAS过程中产生的费用明细。消费类型说明 账单中存在两种消费类型，下表列出两种消费类型包含的具体费用，详细的费用说明，请参见 产品计费。...在 计费项 为 查询数据量 的消费明细中，查看数据查询的费用。
查询并下载数据
根据项目的计算源或数据库SQL类型，编写查询数据的代码，单击 运行。如下图所示：查询语句执行成功后，可以在 结果 页签查看数据。下载结果数据 查询语句执行成功后，按照下图操作指引，可下载查询到的结果数据。支持完整数据下载或样例...
数据归档至专属存储
注意事项 删除归档数据后，不可进行归档后查询数据、恢复已归档数据至源库操作。操作步骤 进入 数据归档工单列表 页面，视图 选择 工单视图。选择目标工单，单击 操作 列下的 详情。进入 数据归档工单列表 页面，在 执行 区域，单击目标...
开发Dataphin数据源并加速数据查询
开发Dataphin数据源即将Dataphin中的逻辑表和物理表配置为供应用调用的Dataphin数据源，同时您可以为已开发的Dataphin数据源所在的计算空间添加Hologres加速计算源，以满足对查询速度有要求的业务场景。本文为您介绍如何开发Dataphin数据源...
查询并下载数据
根据项目的计算源或数据库SQL类型，编写查询数据的代码，单击 运行。如下图所示：查询语句执行成功后，可以在 结果 页签查看数据。下载结果数据 查询语句执行成功后，按照下图操作指引，可下载查询到的结果数据。支持完整数据下载或样例...
新建及管理动态脱敏规则
动态脱敏是在不更改基础数据的情况下，仅改变最终展示的查询结果数据；脱敏规则用于管理脱敏的数据范围及具体的脱敏方式。本文为您介绍如何新建及管理动态脱敏规则。背景信息 动态脱敏规则常用于查询某些敏感的生产数据场景。对满足条件的...
- 产品推荐
- 这些文档可能帮助您