互联网、电商行业离线大数据分析
通过阿里云MaxCompute、云数据库RDS MySQL、DataWorks等产品，可以实现互联网、电商网站的...可视化编辑：在图形化的编辑页面，通过拖拽即可完成专业级的大数据可视化。方案详情 方案的详情请参见 互联网、电商行业离线大数据分析和大屏展示。
DataWorks V3.0
MaxCompute：大数据计算服务MaxCompute（原ODPS）是一种快速、完全托管的EB级大数据计算引擎，是大规模离线数据仓库的核心引擎。MaxCompute是DataWorks最早支持，且最成熟完备的计算引擎，目前已基本覆盖MaxCompute的所有功能。详情请参见 ...
计算设置概述
华为 FusionInsight 8.x Hadoop 华为推出的基于Apache开源社区软件进行功能增强的企业级大数据存储、查询和分析的大数据平台。亚信DP5.3 Hadoop 基于开源生态，依托电信级技术能力构建的大数据生产运营一体化支撑平台。星环ArgoDB ...
原理优势
本文介绍专属集群 MyBase 的...更加强大的企业级数据库服务 阿里自研的 AliSQL、Tair 内核和平台提供了企业级数据库能力，具有高稳定、高性能、高可用的特性，同时具有完备的备份恢复、审计等功能，使得提供的数据库服务更快、更稳、更安全。
产品概述
秒级快速备份 利用底层分布式存储的快照技术，只需分钟级别即可完成对TB级数据量大小的数据库的备份，且整个备份过程不需要加锁，效率更高，影响更小，对应用程序几乎无影响，全天24小时均可进行备份。PolarDB分布式版产品架构 PolarDB分布...
什么是EMR on ECS
产品优势 EMR为您提供了相对方便可控的企业级开源大数据服务。您可以快速搭建开源大数据服务，例如Hadoop、Spark、Flink、Kafka和HBase服务。100%采用社区开源组件，适配并优化开源组件，性能远高于开源版本。基于时间的弹性伸缩能力，抢占...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
2023年
Sugar BI连接MaxCompute 2023年9月更新记录 时间 特性 类别 描述 产品文档 2023-09-27 新增TPC-DS性能测试 新说明 MaxCompute适用于TB、PB和EB等各个数量级的数据查询场景，并在业界具有较大的性能优势，本文基于MaxCompute提供的公开数据...
DataV读取数据源超时
问题原因 查询超时的原因如下：使用SQL查询的业务数据表数量太大。API接口内部业务调用链路较长。解决方案 执行以下操作，通过优化查询时间的方式进行解决：使用SQL查询的业务数据表数量太大 针对查询条件所使用的字段添加索引，减少扫描行...
概述
解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源（RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，...
就绪检测节点
检测规则 检测规则 首先通过SQL 语句来计算源数据表中数据的数量，再验证这个数量是否符合条件。检测规则支持添加多条，界面示例和关键参数说明如下：配置项 说明 SQL代码 填写对应的质量检测代码。解析 当有参数时，单击 解析，支持解析...
数据传输规格说明
不同的实例规格对应了增量同步的不同 RPS 性能表现，以及建议迁移或同步的最大表对象数量，通过 OceanBase 数据传输服务可以实现数据秒级同步至目标端。但是受限于源端实例的运行负载、传输网络的带宽、网络延时和目标端实例写入性能等多种...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将...MaxCompute处理业务数据和日志数据后，可以通过Quick BI快速地以可视化方式展现数据处理结果，详情请参见 基于MaxCompute的大数据BI分析。
数据集成概述
离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间数据传输。...
数据集成调度策略说明
DTS的数据集成功能可根据调度策略的配置，定期地将源库中的结构和存量数据迁移至目标库中。通过该功能可以帮助您构建更加灵活的数据仓库（例如构建T+...适用于轻量级的数据迁移场景（无需每次迁移所有的存量数据），例如构建T+1的周期性数仓。
持久内存型
相较于Redis的秒级数据丢失，在高QPS场景下数据更加有保障。高兼容性 完全适配现有阿里云Redis数据库体系，具备高可用、弹性扩容缩容、日志、智能诊断与灵活的备份还原服务能力。兼容Redis社区版6.0版本及以下版本接口和数据结构。适用场景...
持久内存型
相较于Redis的秒级数据丢失，在高QPS场景下数据更加有保障。高兼容性 完全适配现有阿里云Redis数据库体系，具备高可用、弹性扩容缩容、日志、智能诊断与灵活的备份还原服务能力。兼容Redis社区版6.0版本及以下版本接口和数据结构。适用场景...
Query Profile介绍
说明 Operator花费的时间比例越大，其对应颜色就越深（支持对执行耗时排名前三的节点标注颜色）。您可以借此轻松确认查询的瓶颈。通过鼠标滚动，或单击 放大 和 缩小 按钮，可以放大和缩小Profile树。重要指标 Query级别 Summary指标 指标 ...
配置安全规则
将数据库添加到数据库审计系统后，您可以为数据库配置安全规则（即审计规则），当数据库的审计记录命中审计规则时，数据库审计系统会触发告警。本文介绍如何配置审计规则。背景信息 审计规则支持内置规则和自定义规则。内置规则即数据库...
基本介绍
云数据库HBase增强版适用于在规模、吞吐、性能、可用性等方面有更高要求的企业级场景，面对大数据（无限扩展、高吞吐）、在线服务（低延时、高可用）、多功能查询的诉求，其可为用户提供无缝扩展、高吞吐、持续可用、毫秒级稳定响应、强弱...
执行补数据并查看补数据实例（新版）
为避免补数据实例占用过多的资源而影响周期实例运行，平台对补数据实例制定以下规则：如果补数据选择业务日期为昨天（T-1），即补当天数据时，补数据任务优先级由任务所在基线优先级决定。如果补数据选择业务日期为历史业务日期（T-2）时，...
购买数据安全中心
数据库实例数 指定数据库支持的最大实例的数量。可选范围：1~2000，单位：个。说明 只有开启 数据库管理 后，才可以选择 数据库实例数。OSS数据管理 选择是否开启OSS数据管理功能。支持：开启：表示您可以通过 DSC 保护您的OSS数据。关闭：...
元数据
所有信息均来源于 information_schema 等数据库内部数据，如表的大小、表的行数可能不是非常精准，仅做数量级的参考。采集范围与采集方式 采集范围与采集方式 安全协同管控模式 稳定变更与自由操作的管控模式 元数据采集范围 采集并存储...
互联网服务：小打卡
业务挑战 圈子打卡日记数据量大，有10亿级数据的高性能存储诉求。百万级活跃用户，有高并发读写诉求，同时需要在10亿级数据存储情况下保证平稳的读写性能。圈子打卡日记业务在根据圈子做水平拆分表之后，还存在通过用户维度查询打卡日记的...
使用限制
数据库数量 2008 R2数据库最大数量为50，其他SQL Server实例的数据库数量受实例规格限制，详细计算公式如下：集群系列/高可用系列 即CPU核数开二次方后向下取整，再乘以50，假设获得值为X，最大数据库数量取X或300间的 最小值。例如：2016...
一键建仓
AnalyticDB MySQL版是云端托管的大规模并行处理的PB级数据仓库，具有快、灵活、易用、超大规模、高并发写入等特点。更多信息，请参见 什么是云原生数据仓库MySQL版。费用说明 AnalyticDB MySQL实例费用：若您购买新的AnalyticDB MySQL实例...
Hive连接器
说明 禁用时，写入线程的数量将仅限于存储桶的数量。ORC格式配置属性 以下属性用于配置由Hive连接器执行ORC文件的读写操作。属性名 描述 hive.orc.time-zone 为未声明时区的旧版ORC文件设置默认时区。默认值为JVM default。hive.orc.use-...
Tair（Redis企业版）简介
阿里云数据库Redis企业版（又称阿里云Tair），是基于阿里集团内部使用的Tair产品研发的云上托管企业级内存数据库，从2009年开始正式承载阿里集团业务，历经天猫双十一、优酷春晚、菜鸟、高德等业务场景的磨练，是一款真正的企业级内存数据...
什么是PolarDB PostgreSQL企业版
秒级快速备份 不论多大的数据量，全库备份只需30秒，而且备份过程不会对数据库加锁，对应用程序几乎无影响，全天24小时均可进行备份。PolarDB定价 详情请参见 规格与定价 和 购买PolarDB集群。如何使用PolarDB 您可以通过以下方式管理 ...
什么是云数据库ClickHouse
云数据库ClickHouse视频简介 产品特性 云数据库ClickHouse 是面向联机分析处理的列式数据库，支持SQL查询，且查询性能好，特别是基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级。主要特性如下。数据压缩比高。...
Tair（Redis企业版）与Redis社区版特性对比
秒级 命令级 命令级 秒级 秒级 秒级 安全性 数据库审计 ✔️ ✔️ ❌ ✔️ ✔️ ✔️ 开启TLS加密 ✔️ ✔️ ❌ ✔️ ✔️ ✔️ 数据加密TDE ✔️ ❌ ❌ ❌ ❌ ❌ IP白名单 ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ 性能分析 实时Top Key统计 ✔️ ...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
您可根据待同步的源端数据库表的数量，参考以下操作建议，快速选择要同步的库表。如果您的数据库表数量不多，您可以直接在右侧预览模块手动勾选待同步的数据库表，然后添加到已选库表中，此时页面会根据您的勾选情况自动在左侧添加限定条件...
设置连接池
您可以按照实际使用场景选择是否使用连接池，以及使用连接池的类型：连接池类型 使用场景 事务级连接池（推荐）业务侧多为短连接 连接创建频繁 连接数量很大（大于MySQL数据库的连接数限制）以上场景下，业务不涉及事务级连接池的 使用限制...
RDS MySQL同步至ClickHouse集群
云数据库ClickHouse是面向联机分析处理的列式数据库，基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级，通过数据传输服务DTS（Data Transmission Service），您可以将MySQL数据库（例如自建MySQL或RDS MySQL）...
配置数据库代理连接地址访问策略
连接池 设置连接池类型：事务级连接池（推荐）：业务侧多为短连接 连接创建频繁 连接数量很大（大于MySQL数据库的连接数限制）以上场景下，业务不涉及事务级连接池的 使用限制，建议优先选择事务级连接池。会话级连接池：业务侧多为短连接 ...
区域图（v4.0以下版本）
当数据源给定的数据数量不一定时，可规定展示数据的数量以及动态的数据变化迁移。最大容量：可视化应用上最多显示的数据条数。动画：图表的动画效果样式，可单击 图标开启或关闭动画效果。初始动画时长：组件第一次渲染动画的时长，单位为...
常见问题
造成服务不稳定的情况可能有很多，最常见的情况是znode数量过大或者snapshot过大，由于ZooKeeper将所有的znode维护在内存中，并且需要在节点间进行数据同步，因此过大的znode数量或者容量会对服务稳定性造成影响。ZooKeeper的定位是一个...
大数据安全治理的难点
存储 众所周知，大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，...
自媒体：易撰
业务端数据存储量大，TB级数据存储诉求，且数据量持续高速增长。业务端数据有更新诉求，对事务有强一致性要求。解决方案 通过 PolarDB-X+RDS的分布式数据库架构承载数据获取端高并发写。通过 PolarDB-X+PolarDB承载大范围时间查询业务场景...
- 产品推荐
- 这些文档可能帮助您