DataWorks on EMR数据安全方案
数据安全实践：从Hadoop单一账号升级到完善的数据权限管理 很多用户为快速开始大数据业务，使用单一账号Hadoop进行作业开发运行，没有做用户管理和相应的数据权限管理。如何能够快速升级，保障业务正常运转的情况下增加对数据的安全管控...
发展历程
中国数字化转型与创新案例大会：年度大数据创新产品奖。国家大数据博览会十佳产品：最佳案例实践奖。2017年 TPC的benchmark适配MaxCompute，进行了全球首次基于公共云的BigBench大数据基准测试，数据规模拓展到100 TB，成为首个突破7000分...
集群数据盘使用率告警
处理方法 打开 租户管理 页面，查看租户的 已使用磁盘，如果所有租户累计使用磁盘空间很大，表示业务数据量确实很大，需要对集群做扩容处理。登录业务租户，查询是否开启了回收站：show variables like 'recyclebin'，ON 表示开启，OFF ...
步骤二：规划数仓
业务负责人 为板块数据的业务使用稳定性负责，可根据需要进行选择。数据负责人 为板块数据生产质量保障负责，可根据需要进行选择。单击 确定。步骤二：创建 MaxCompute 计算源 按照下图操作指引，进入 新建计算源 页面。在 新建计算源 页面...
步骤二：规划数仓
业务负责人 为板块数据的业务使用稳定性负责，可根据需要进行选择。数据负责人 为板块数据生产质量保障负责，可根据需要进行选择。单击 确定。步骤二：创建 MaxCompute 计算源 按照下图操作指引，进入 新建计算源 页面。在 新建计算源 页面...
产品优势
提高开源组织版本管理效率，快速支持业务创新 更多开源软件支持 更高软件版本支持 覆盖从边缘到AI全场景 企业级的服务支持，降低运维成本，缩短故障处理时间 来自阿里云和Cloudera的7*24小时大数据专家服务支持 快速定位使用中遇到的问题，...
功能简介
极大降低使用数据门槛：几乎每个业务每天都存在业务决策，需要大量的分析报告做决策支撑，传统人工性质的商业分析已远远满足不了巨量的需求。利用智能算法能力自动生成洞察报告，极大降低业务人员分析数据的门槛。智能化深度诊断和建议：...
概述
业务挑战 大部分阿里云用户会将阿里云关系型数据库RDS、PolarDB for MySQL、MongoDB或者云服务器ECS自建数据库作为业务系统数据库，随着业务数据的增长，业务数据库存储的数据也越来越多。但RDS、PolarDB for MySQL、MongoDB或者ECS自建...
DataV读取数据源超时
问题原因 查询超时的原因如下：使用SQL查询的业务数据表数量太大。API接口内部业务调用链路较长。解决方案 执行以下操作，通过优化查询时间的方式进行解决：使用SQL查询的业务数据表数量太大 针对查询条件所使用的字段添加索引，减少扫描行...
外部表概述
随着大数据业务的不断扩展，新的数据使用场景在不断产生，MaxCompute计算框架也在不断演化。MaxCompute原来主要面对内部特殊格式数据的强大计算能力，正一步步地开放给不同的外部数据。现阶段MaxCompute SQL处理的主要是以 cfile 列格式...
数据源读取时间超时的优化思路
使用SQL查询的业务数据表数量太大，查询超时 针对查询条件所使用的字段添加索引，减少扫描行数。在数据库中增加定时任务，定时计算所需要的业务指标并更新结果表。DataV组件直接查询结果表的数据，不需要在每次组件获取数据时，再次执行SQL...
数据源读取时间超时的优化思路
使用SQL查询的业务数据表数量太大，查询超时 针对查询条件所使用的字段添加索引，减少扫描行数。在数据库中增加定时任务，定时计算所需要的业务指标并更新结果表。DataV组件直接查询结果表的数据，不需要在每次组件获取数据时，再次执行SQL...
用户价值
数据运营更高效：遵循应用先行、以用带存、由存而通、因通促用的理念，实现城市数据运营，驱动客户业务创新。用户角色 功能 能力 详述 数据生产方 数据开发 设计数据模型 开发数据加工逻辑 设计标准、稳定的数据模型：通过数据标准和数据...
功能简介
数据探索面向行业客户和业务人员，提供工具内容一体化的业务模型构建平台，实现低代码、可视化构建全场景专家模型，重塑大数据服务创新模式。将业务数据沉淀为智能数据或智能算子，通过可视化的拖拉拽和简单的图形化条件设定进行模型编排，...
使用说明
连接数据库集群，使用DDL语句为业务表增加或删除列存索引，并使用 Explain 对执行计划进行调优。具体操作请参见以下文档：建表时创建列存索引的DDL语法 动态增加或删除列存索引的DDL语法 使用Explain分析SQL执行计划 进阶使用说明 您可以...
DMS数据管理预案助力业务大促
筹备业务大促期间，您可评估您现有数据库的使用情况，预估活动期间的使用量，以及大促期间研发人员使用数据库的情况，提前做好预防措施。在活动大促期间，未做预防措施导致数据库出现问题的案例如下：某运营人员为了统计活动数据执行了慢...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
表设计最佳实践
数据量较大时，需确保同一个业务单元的数据使用分区表设计；数据量较小时，需优化采集频率。流式数据写入 对于流式写入的数据，采集的通道通常较多，相关采集通道应该进行有效区分。在单个数据通道写入量较大的情况下，应该按照时间进行...
什么是数据资源平台
阿里云数据资源平台是数据资产定义、加工、管理、服务的全流程平台，提供数据同步、数据查询、数据标准、数据建模、数据加工、质量评估、业务模型构建、资产管理、数据服务等功能，为智能数据应用持续稳定供给全量、标准、干净、智能的数据...
DAS Auto Scaling弹性能力
数据库自治服务DAS的Auto Scaling是以数据库实例的实时性能数据作为输入，由DAS完成流量异常发现、合理数据库规格建议和合理磁盘容量建议，使数据库服务具备自动扩展存储和计算资源的能力。背景信息 为业务应用选择一个合适的数据库计算...
分区表常见问题
如果业务数据和时间相关，建议使用时间范围分区，如果业务数据与地域和租户相关，可以使用List分区或者Hash分区，或者 LIST DEFAULT HASH 分区。如果一级分区数据过多，可以使用二级分区。具体请参考 分区选择策略。使用 PolarDB MySQL版 ...
MongoDB实例空间使用率高问题
执行compact指令导致数据量过大 compact期间对实例的影响 由于compact执⾏的时间与集合的数据量相关，如果数据量过大，则会使compact的执行时间很长，所以为避免影响业务的读写，建议在业务低峰期执⾏compact。compact⽅法 首先在备库上...
文档更新动态（2022年之前）
华北2（北京）、华南1（深圳）、华东2（上海）、华东1（杭州）通用补数据实例 2020年11月 时间 特性名称 类别 描述 使用范围 产品文档 2020-11-17 支持安装资产安全策略 功能拓展 新增安装资产安全策略，安装后即可使用数据安全策略。...
自媒体：易撰
PolarDB-X 专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务数字化转型。本文介绍易撰如何通过 PolarDB-X 应对业务挑战。所属行业...
产品简介
适用场景 如果您在大数据业务场景中遇到如下问题，可以通过阿里云大数据专家获取专属服务：受限于传统数据工作开展方式及组织管理模式，数字化转型中遇难到大数据各方面瓶颈；根据业务发展，难以从全局构建稳定的、变化的、集成的大数据...
Tair扩展数据结构概览
Tair（Redis企业版）集成了多个自研的数据结构，包括 exString（包含 Redis String命令增强）、exHash、GIS、Bloom、Doc、TS、Cpc、exZset、Roaring、Vector 和 Search，从多方面扩展Redis的适用性，降低复杂场景下业务的开发难度，同时...
伯俊软件
业务挑战 传统数据库购买费用贵，后期维护和使用门槛高，应对创新业务不够灵活。近年来，随着企业数字化意识的骤增，伯俊软件客户迁移上云的需求尤其强烈。企业借助互联网能力，业务量具有季节性，需要灵活使用计算资源使企业降本增效。...
客户案例
MaxCompute已被广泛应用于各大领域处理云上大数据，帮助众多企业解决了海量数据分析问题，同时降低企业运维成本，企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息，请参见 行业客户案例...
内存型
内存型集成多个自研的Redis模块，包括 exString（包含 Redis String命令增强）、exHash、GIS、Bloom、Doc、TS、Cpc、exZset、Roaring、Vector 和 Search，扩展了Redis的适用性，同时降低了复杂场景下业务的开发难度，让您专注于业务创新。...
Tair命令概览
Tair 集成了多个自研的数据结构，包括 exString（包含 Redis String命令增强）、exHash、GIS、Bloom、Doc、TS、Cpc、exZset、Roaring、Vector 和 Search，从多方面扩展Redis的适用性，降低复杂场景下业务的开发难度，同时可以帮助您精简...
背景信息以及准备工作
创建的可视化应用能够发布分享，没有购买DataV产品的用户也可以访问到应用，作为您对外数据业务展示的窗口。本教程以DLA+OSS+DataV方案为例，介绍如何制作DataV数据大屏。前提条件 使用DLA+OSS+DataV制作数据大屏时，您需要先通过以下操作...
应用场景：低成本历史库
云原生多模数据库 Lindorm 和关系型数据库同时使用时可以满足低存储成本，方便运维，弹性伸缩等需求，本文介绍其方案架构和优势。重要 2023年3月10日后购买的LTS 不再支持低成本历史库场景，2023年3月10日前购买的LTS仍支持该场景。背景...
低成本RDS历史库
云原生多模数据库 Lindorm 和关系型数据库同时使用时可以满足低存储成本，方便运维，弹性伸缩等需求，本文介绍其方案架构和优势。重要 2023年3月10日后购买的LTS 不再支持低成本RDS历史库场景，2023年3月10日前购买的LTS仍支持该场景。背景...
简介
背景信息 Data Fabric是一种创新的数据管理方法，着重于迅速提供业务导向的数据服务，旨在提高数据使用效率和便捷性。据Gartner分析，该技术可降低企业50%的数据管理人力成本和70%的工作负荷，加速数据价值的转化。随着AI技术的发展，Data ...
什么是云原生内存数据库Tair
更丰富的数据结构 提供TairString，TairHash，TairGIS，TairCpc，TairBloom等多种扩展数据结构，极大降低用户的开发成本，更有利于业务创新。说明 更多信息，请参见 产品优势 和 应用场景。实例存储介质 随着互联网的高速发展，业务场景变...
互联网金融：武汉利楚商务服务有限公司
PolarDB 采用存储和计算分离的架构，提供分钟级的配置升降级、秒级的故障恢复、全局数据一致性和免费的数据备份容灾服务，既融合了商业数据库稳定可靠、高性能、可扩展的特征，又具有开源云数据库简单开放、自我迭代的优势。本文介绍武汉利...
Tair（Redis企业版）简介
提供丰富的自研增强型数据结构：包括 exString（包含 Redis String命令增强）、exHash、GIS、Bloom、Doc、TS、Cpc、exZset、Roaring、Vector 和 Search，帮助您精简代码并提高业务整体性能，使您专注于业务创新。支持诸多企业级特性：通过...
低成本历史库
在移动互联网高度发达的今天，每天都会有大量的业务数据产生，随着时间的积累和业务的发展数据量急剧增长，同时历史数据的访问频率随着时间的推移却越来越低。这些数据全部存储在关系型数据库中会带来了一系列的问题。重要 2023年3月10日后...
快速体验
数据展示：Quick BI 通过Quick BI搭建面向不同业务需求的可视化大屏，可视化展示数据结果，便于进行业务数据分析。操作演示说明 本文以下的操作演示为操作示例，随产品迭代更新，部分操作示例图可能与您的实际操作环境有细微出入，一般情况...
高压缩引擎（X-Engine）介绍
挑战和诉求：历史数据归档 历史数据归档的挑战 大部分业务数据的读写特征，都是最新产生的数据会被更频繁地读取或更新，而更久之前的数据（如1年前的聊天记录或订单信息）很少被访问。随着业务发展，数据库系统中会积累大量访问频率很低...
- 产品推荐
- 这些文档可能帮助您