JindoFS实战演示
Impala如何高效查询OSS数据 Impala如何高效查询OSS数据 2021-06-08 Apache Impala是一个开源的大数据查询分析引擎，能够快速查询分析存储在Hadoop集群的PB级数据。如果您已将HDFS数据迁移至OSS中，可通过在Impala中使用JindoFS SDK，高效...
Superset（仅对存量用户开放）
使用Superset访问Hive数据库 Superset提供了SQLAlchemy以多种语言支持各种各样的数据库，包括MySQL、Oracle、PostgreSQL和Microsoft SQL Server等关系型数据库，以及Hive、Presto和Druid等大数据查询引擎。这里以E-MapReduce Hadoop集群...
Github实时数据同步与分析
最终效果如下：（可选）历史离线数据分析 实时数仓Hologres与大数据计算服务MaxCompute深度融合，可以组成一体化的大数据查询与分析架构。在MaxCompute公共数据集中，存储了历史GitHub全量数据。如果想要做更长时间的数据分析，有两种方式...
性能优化
查询请求示例：g.V().out().limit(10).profile()返回数据示例：=>Traversal Metrics Step Count Traverses Time(ms)%Dur=GraphDbGraphStep(vertex,[])29 29 1.657 77.43 VertexStep(OUT,vertex)11 11 0.410 19.18 RangeGlobalStep(0,10)10 ...
风险识别管理（新版）
规则名称 规则类型 规则等级 规则配置 非工作时间查询大数据量敏感数据 数据访问风险 低 如下时间段查询数据量大于10000时命中该规则。周一至周五：22:00～24:00。周六至周日：00:00～24:00。相似SQL查询 数据访问风险 低 十分钟内查询相似...
数据模型
在数据查询时，对于查询涉及到的数据，会进行对应的聚合。数据在不同时间聚合的程度可能不一致。比如一批数据刚导入时，可能还未与之前已存在的数据进行聚合。但是对于您而言，您只能查询到聚合后的数据。即不同的聚合程度对于您的查询而言...
时序引擎版本说明
为提升用户体验，云原生多模数据库 Lindorm会不定期地发布版本，用于丰富云产品功能或修复已知缺陷。您可以参阅本文了解Lindorm时序引擎的版本更新说明，选择在业务低峰期升级实例的时序引擎版本。如何查看或升级实例的时序引擎版本 您可以...
个人隐私保护
全密态数据库可以用于个人隐私保护，防止用户隐私泄露，本文介绍将全密态数据库用于个人隐私保护的最佳实践。场景介绍 以某保险公司业务场景为例，保险公司投保人员信息表（person）如下，记录了用户隐私数据，现需对这些隐私数据进行加密...
个人隐私保护
全密态数据库可以用于个人隐私保护，防止用户隐私泄露，本文介绍将全密态数据库用于个人隐私保护的最佳实践。场景介绍 以某保险公司业务场景为例，保险公司投保人员信息表（person）如下，记录了用户隐私数据，现需对这些隐私数据进行加密...
时序引擎应用开发简介
5.连续查询 连续查询应用于大数据查询的场景。通过创建连续查询对新写入的数据预聚合处理，减少实时查询的数据量，从而减少计算量并降低查询延迟。6.预降采样 预降采样应用于较长时间范围的数据查询场景。在数据写入时按照设置的规则将原始...
互联网、电商行业离线大数据分析
DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景 电商网站数据看板。全国、全球业务的态势分析。互联网、金融行业的风险数据监控。方案介绍 实现互联网、电商行业离线大数据分析的...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
简介
系统兼容开源GeoMesa、GeoServer等生态，内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等，结合云数据库HBase强大的分布式存储能力以及Spark分析平台能力，广泛应用于空间、时空、遥感大数据存储、查询、分析与数据挖掘...
Query级别诊断结果
查询返回客户端的数据量较大 查询消耗的内存资源较大 查询生成的Stage个数较多 查询读取的数据量较大 查询返回客户端的数据量较大 问题 大量数据返回到客户端会导致慢查询，还会占用部分网络前端资源。说明 您可以在查询详情页面的 查询...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
功能特性
适用于查询频率高、查询数据量较大的场景，同时也能够给您使用DLA的费用预算带来一定的确定性。创建虚拟集群 元数据管理 可视化全局管理视图，可以进行元数据的操作，例如创建Schema、查看库表信息、查询数据等。查询Schema详情 元信息发现...
配置安全规则
将数据库添加到数据库审计系统后，您可以为数据库配置安全规则（即审计规则），当数据库的审计记录命中审计规则时，数据库审计系统会触发告警。本文介绍如何配置审计规则。背景信息 审计规则支持内置规则和自定义规则。内置规则即数据库...
资产安全概述
Dataphin内置了 公司数据（如公司财务报告）、业务数据（如业务客户数量）、个人数据（如消费者隐私数据）三种数据分类；同时也支持客户根据企业情况进行自定义分级。识别规则 识别规则是自动化识别敏感字段的策略。因为在实际的生产过程中...
资产安全概述
Dataphin内置了 公司数据（如公司财务报告）、业务数据（如业务客户数量）、个人数据（如消费者隐私数据）三种数据分类；同时也支持客户根据企业情况进行自定义分级。识别规则 识别规则是自动化识别敏感字段的策略。因为在实际的生产过程中...
并行查询
在低并发场景下，开启并行查询，对大数据量单表聚合查询，能够减少约50%的查询时间。功能说明 如果您的实例Segment节点是4核及以上规格，单表查询将自动开启并行查询，提升多核并发能力、降低查询时间。系统会通过当前并发数、Segment配置...
客户案例
南京银行 公司介绍 南京银行成立于 1996 年 2 月 8 日，是一家具有由国有股份、中资法人股份、外资股份及众多个人股份共同组成独立法人资格的股份制商业银行，实行一级法人体制。先后于 2001 年、2005 年引入国际金融公司和法国巴黎银行...
查询报错问题
查询报错 QUERY_EXCEED_LIMIT ErrMsg:groups 100000001 exceed limit=>10000000 用户在执行SQL查询用limit处理分页时，如果start值限制10000无法获取10000以后的数据，如：LIMIT 1000000,20。分析型数据库MySQL版对分页数量有限制，即查询...
常见问题
分词查询：数据查询时，搜索引擎会先对原始字符串进行分词，再对分词字段执行关键词匹配操作，例如在通用搜索引擎产品中进行关键词检索。这种查询方式通常无法保证每次检索都一定能匹配到数据，即使原始写入的数据中包含检索内容，但这些...
产品系列
单机版适用于数据量不大、QPS较低、无需高可用服务等业务场景，更适合个人开发者测试使用、初创公司或小型企业入门使用。集群版 集群版即多节点部署，具备分布式能力。集群版提供更完整的产品能力，适用于各类型企业在开发测试和生产环境...
01新建模型目录
具有数据量大，查询计算较慢的特点。DWS：全称Data Warehouse Summary，汇总数据层，存储以事实表为基础，以维度为单位的统计度量。DIM：全称Dimension，公共维度层，是在存储层的基础上清洗脏数据、筛选有价值数据，并且对明细数据层的...
创建Impala数据源
通过创建Impala数据源能够实现Dataphin读取Impala的业务数据或向Impala写入数据。本文为您介绍如何创建Impala数据源。背景信息 Impala是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是Impala，在导出Dataphin数据至...
功能优势
当您的数据库中有数据需要被保护时，可以使用RDS MySQL全密态数据库功能，该功能提供的加密解决方案能够在遵守数据保护法规的前提下保障您的数据安全，使被保护数据免受未授权访问。本文将详细介绍RDS MySQL全密态数据库功能的优势，帮助您...
慢日志
慢日志问题极大地影响数据库的稳定性，当数据库出现负载高、性能抖动等问题时，数据库管理员或开发首先会查看是否有慢日志在执行。数据库自治服务DAS（Database Autonomy Service）支持慢日志分析功能，会统计并分析数据库中执行时间超过...
创建Impala数据源
通过创建Impala数据源能够实现Dataphin读取Impala的业务数据或向Impala写入数据。本文为您介绍如何创建Impala数据源。背景信息 Impala是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是Impala，在导出Dataphin数据至...
查询执行模式
适用场景：适用于执行时间长、计算数据量大的查询。例如：清洗类查询（Extract-Transform-Load）。默认执行模式 版本 产品系列 默认执行模式 是否支持Batch模式 数仓版（3.0）预留模式集群版 Interactive 否 弹性模式集群版（新版）是 切换...
DMS数据管理预案助力业务大促
背景信息 大型活动期间，公司业务量可能出现大幅度上涨，数据库的使用与数据安全管理将面临巨大挑战。例如如下场景：临近双十一，数据库即将面临一次访问流量上的大考。筹备业务大促期间，您可评估您现有数据库的使用情况，预估活动期间的...
列存索引（IMCI）发布说明
PolarDB MySQL版 重磅推出的列存索引（In-Memory Column Index，简称IMCI）面向OLAP场景大数据量复杂查询。通过列存索引，PolarDB MySQL版 实现了一体化的实时事务处理和实时数据分析的能力，成为一站式HTAP数据库产品解决方案。通过一套...
慢日志分析
慢日志问题极大地影响数据库的稳定性，当数据库出现负载高、性能抖动等问题时，数据库管理员或开发首先会查看是否有慢日志在执行。数据库自治服务DAS（Database Autonomy Service）支持慢日志分析功能，会统计并分析数据库中执行时间超过...
概述
PolarDB MySQL版 重磅推出的列存索引（In-Memory Column Index，简称IMCI）面向OLAP场景大数据量复杂查询。通过列存索引，PolarDB MySQL版 实现了一体化的实时事务处理和实时数据分析的能力，成为一站式HTAP数据库产品解决方案。通过一套...
创建HBase数据源
通过创建HBase数据源能够实现Dataphin读取HBase的业务数据或向HBase写入数据。本文为您介绍如何创建HBase数据源。背景信息 HBase是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是HBase，在导出Dataphin数据至HBase，您...
管理健康报告
该健康报告提供了前一天（T+1）的数据，并包括SQL查询、表分析和导入任务三个核心部分。查看健康报告 进入EMR Serverless StarRocks实例列表页面。登录 E-MapReduce控制台。在左侧导航栏，选择 EMR Serverless>StarRocks。在顶部菜单栏处，...
使用流程
操作流程概览如下：开通云原生数据湖分析服务 可选：创建虚拟集群：CU版适用于查询频率高、查询数据量较大的场景，同时也能够给您使用DLA的费用预算带来一定的确定性。推荐您使用CU版本来进行数据分析与计算。说明 如果您使用系统默认的...
Presto FAQ
大查询功能并不能让您查询任意大小的数据量和任意复杂的SQL，如果big_query还解决了不了您的问题请联系DLA答疑同学。Schema的Catalog类型必须是Hive，否则会出现如下报错：big_query only support hive catalog.如何调整查询RDS类数据源...
控制台发布记录
11月28日 计算包和Serverless资源包更名说明 支持下载备份文件 支持将集群备份集对应的备份文件下载到您的本地（CSV、SQL或Parquet格式），用于其他用途，例如：查询备份里的数据 查询过去某个时间点的数据 在本地保存一份备份 下载备份...
- 产品推荐
- 这些文档可能帮助您