数据分析整体趋势
本文为您介绍数据分析的技术发展趋势和市场趋势。技术发展趋势 商业数据库起步于二十世纪八十年代，主要代表为Oracle，SQL Server，DB2等结构化数据在线处理的关系型数据库，而以MySQL，PostgreSQL为代表的开源关系型数据库也在二十世纪九...
分区表常见问题
使用 PolarDB MySQL版 数据库，单张表数据量太大，想使用分表，如何使用？建议使用分区表。分区表的更多介绍请参见 分区表概述。如果用户有个过亿数据的单表，有什么好的优化建议？建议使用分区表。分区表的更多介绍请参见 分区表概述。...
ECS实例说明
大数据量（10 TB或以上）情况下，推荐使用大数据机型，可以获得极高的性价比。重要 当Core核心实例使用本地盘时，HDFS数据存储在本地盘，需要您自行保证数据的可靠性。Task计算实例 用于补充集群的计算能力，可以使用除大数据型外的所有...
开发限制
PolarDB-X 高度兼容MySQL协议和语法，但由于分布式数据库和单机数据库存在较大的架构差异，存在SQL使用限制。本文将介绍数据库开发过程中的使用限制。常见标识符限制 类型 最大字符长度 取值范围 Database 32 大小写字母、数字和下划线（_...
大数据安全治理的难点
使用大数据系统的常见人员包括开发、运营、分析师，甚至销售及HR都会来查询自己所需的数据。如此多类型的用户，授权、管理难度加大，什么样的人员需要授予什么样的权限？如果他们离职、换部门了怎么办？这其中很有可能出现 权限蠕变、过度...
未来规划
云计算架构的核心逻辑就是通过虚拟化技术带来池化资源，云原生数据库采用分布式数据库架构，实现大规模扩展，每套数据库系统横跨多台服务器和虚拟机，带来了全新的系统管理挑战。其中最核心的挑战就是如何实现弹性以及高可用，实现按需按量...
MaxCompute数据源
数据集成使用MaxCompute引擎同步数据通道进行数据上传和下载（同步数据通道SLA详情请参见 数据传输服务（上传）场景与工具），请根据MaxCompute引擎同步数据通道SLA评估数据同步业务技术选型。一键实时同步至MaxCompute，按实例模式同步时...
向量检索使用指南
如果查询语句中不添加 LIMIT 关键字，则默认最多查询10000条数据。向量检索 获取余弦相似度的示例如下：/*polar4ai*/SELECT 'distance(name,[1,2,3,4,5])' FROM table_name WHERE type=1;polar4ai*/SELECT id,'distance(name,[1,2,3,4,5])'...
技术发展趋势
传统大数据技术可以满足此类需求，但其发散的技术栈，不统一的使用习惯，都难以在广大企业内落地使用。因此急需统一、标准化的技术解决方案。数据加速上云 Gartner预测到2023年，所有数据库中75%将放在云平台上。企业机构正在云中部署新的...
通过RAM角色授权模式配置数据源
本文以OSS数据源为例，为您介绍如何通过RAM角色授权模式配置数据源，提高云上数据的安全性。前提条件 如果您需使用RAM用户登录并完成本文操作流程，请先为RAM用户授予 AliyunDataWorksFullAccess 和 AliyunRAMFullAccess 权限策略，详情请...
常见问题
DAS企业版 V3超出最近7天的数据，采用的存储方式是冷数据存储，相较DAS企业版 V1数据的存储方式，数据没有全文索引等信息，并且底层采用snappy对数据进行高效压缩，所以数据量最多可降低为旧版的30%，从而极大降低了存储成本。如何查看企业...
高可靠能力
多可用区部署，最高6副本 PolarDB PostgreSQL版（兼容Oracle）的数据可以分布在多个可用区，最多6副本来确保数据跨机房的可靠性。快速备份 利用底层分布式存储的快照技术，备份100TB数据，不超过5分钟。在每次系统升级、割接前都可以快速做...
产品概述
产品特点 稳定 对于绝大部分应用而言，关系型数据库所承担的职责是整个数据管理系统中最为核心和基础的，不光直接影响到终端用户的服务体验，同时也是业务数据的最后一道保险，所以稳定性是数据库最核心的选型因素。PolarDB-X 1.0 的稳定性...
概述
一级备份保留时长最多可支持30天，如果您需要使用该功能，可以 联系我们 申请开通白名单。一级备份（快照）总大小如下图所示。说明 PolarDB 集群 一级备份（快照）总大小 是所有一级备份独占的物理空间之和（即上图中①所示），而非逻辑...
技术架构选型
本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
互联网金融：上海富友支付服务股份有限公司
PolarDB具备极致的弹性能力，可在5分钟内完成计算节点的变配，支持最多15个只读节点，支持读写分离、全局强一致读，确保金融交易每次能读到最新数据。富友支付研发负责人吴建平表示：“原先的老系统给业务的发展带来了不少烦恼，首先，无法...
技术架构选型
本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
监控
例如：您设置了全部资源粒度的 云原生数据仓库AnalyticDB MySQL版 3.0 磁盘使用率大于或等于80%报警，则只要用户名下有 云原生数据仓库AnalyticDB MySQL版 3.0 资源范围 选择 全部资源 时，报警的资源最多1000个，超过1000个可能会导致达到...
技术架构选型
本教程中使用阿里云大数据产品Dataphin配合MaxCompute，完成整体的数据建模和研发流程。完整的技术架构如下图所示。其中，Dataphin的数据集成及同步负责完成源业务系统数据引入。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
概述
使用场景 Flume使用最多的场景是日志收集，也可以通过定制Source来传输其他不同类型的数据。Flume最终会将数据落地到实时计算平台（例如Flink、Spark Streaming和Storm）、离线计算平台上（例如MR、Hive和Presto），也可仅落地到数据存储...
客户案例
DataWorks在多个行业中均有典型的案例落地，帮助多个行业的企业解决数据痛点，挖掘数据价值，本文为您介绍典型行业中已落地的客户案例。新零售行业：大润发云上数据中台建设 客户架构如下。客户简介 为了快速数字化转型，拥抱新零售，...
Doris概述
Doris也支持比较丰富的索引结构，来减少数据的扫描：Sorted Compound Key Index：可以最多指定三个列组成复合排序键，通过该索引，能够有效进行数据裁剪，从而能够更好支持高并发的报表场景。Z-order Index：使用Z-order索引，可以高效对...
什么是数据管理DMS
PolarDB：PolarDB是阿里云自研的下一代关系型云数据库，兼容MySQL、PostgreSQL、Oracle引擎，存储容量最高可达100TB，单库最多可扩展到16个节点，适用于企业多样化的数据库应用场景。Redis：阿里云数据库Redis版（ApsaraDB for Redis）是...
调优集群性能
目前虽然有批量写入并发数量限制（例如最多同时存在2个批量写入SQL），但是每个Shard需要一个线程进行批量写入相关操作，仍旧可能导致CPU使用率增高。INSERT INTO SELECT 短时间内大量数据写入，当后台Build任务堆积时会导致实时数据增多，...
产品架构
有如下几个弊端：涉及的技术组件多且杂 技术选型复杂 数据存取、数据同步的链路长 这些弊端会对信息系统建设带来巨大的问题，对技术人员要求高、业务上线周期长、故障率高、维护成本高。更进一步，技术碎片化导致技术架构割裂，不利于技术...
产品介绍
Oracle兼容 基于阿里巴巴成功经验的Oracle兼容性，兼容研发人员及DBA使用最多的Oracle语法，避免用户重新学习。配合ADAM数据库和应用迁移平台，提供工程化流程化的迁移能力，实现迁移前评估、迁移过程数据同步及校验、JAVA程序SQL语法兼容...
概述
一级备份保留时长最多可支持14天。一级备份物理空间大小如下图所示。说明 PolarDB 集群 一级备份物理空间大小（上图中①所示）：即所有一级备份独占的物理空间之和。在统计一级存储的实际使用量时，以该值为基准进行计算。PolarDB 集群 ...
什么是数据库自治服务DAS
管理成本高 随着云技术的普及，企业可以更为便捷的根据不同的业务类型，使用不同的数据库，或者将数据库部署在不同的环境中，多环境和多种数据库的管理的挑战也随之而来：精通多种数据库的专业DBA是稀缺人才，招聘难。管理部署在多种环境的...
导入
使用限制 批量导入仅支持导入.xlsx 格式文件，每次最多可导入30000条数据，并且文件大小不超过10MB。进入导入页面 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据建模，在下拉框中选择对应工作空间后单击 进入数据建模。在 ...
列存索引技术架构介绍
MySQL最常用的存储引擎都是按行存储，在按列进行海量数据分析时，按行从磁盘读取数据存在非常大的IO带宽浪费。其次，行式存储格式在处理大量数据时会大量拷贝不必要的列数据，对内存读写效率也存在冲击。PolarDB并行查询突破CPU瓶颈 并行...
PolarDB Serverless实现了哪些突破
第一代云原生数据库的困境 早期的云上数据库，大部分是以ECS中的自建数据库和云厂商托管的数据库RDS的形态存在的，到目前为止还是有非常大的用户量。这些云上数据库架构使用的是传统数据库的架构，只是运行在云的基础设施上，数据库本身并...
PolarDB HTAP实时数据分析技术解密
本文介绍IMCI背后的技术路线和具体方案。背景信息 PolarDB MySQL版 是因云而生的一个数据库系统。除云上OLTP场景外，大量客户也对PolarDB提出了实时数据分析的性能需求。对此，PolarDB技术团队提出了In-Memory Column Index（IMCI）的技术...
高压缩引擎（X-Engine）介绍
MySQL作为世界上使用最广泛的开源数据库系统，一直缺乏一个既能满足大容量低成本要求，又具备一定读写能力的历史数据归档存储方案。虽然业界曾经推出过一些高压缩引擎，如TokuDB、MyRocks等，但受限于单物理机磁盘容量限制，存储的数据量...
填充数据库
[13]因此当载入一个只有数据的转储时，如果你希望使用那些技术，你需要负责删除并重建索引和外键。在载入数据时增加 max_wal_size 仍然有用，但是不要去增加 maintenance_work_mem；不如说在以后手工重建索引和外键时你已经做了这些。并且...
ETL工作流快速体验
GitHub十大热门编程语言 DataWorks MaxCompute 函数计算 OSS 数据集成 数据开发 基础版 基于GitHub Archive公开数据集，通过DataWorks 数据集成 模块获取过去1小时GitHub中提交次数最多的代码语言数据，在DataStudio 数据开发 模块通过函数...
技术架构
数据库节点最多可以扩容到16个，其中1个读写节点，其他均为只读节点。利用上述的实时扩展能力，PolarDB可以在5分钟内快速拉起一个新的只读节点，挂载同一块存储数据卷，不需要复制拷贝数据即可对外提供服务。计算节点与存储节点之间通过...
T+1多库合并建仓
为保证业务可以继续使用RDS数据库，业务端通常会采用分库分表技术，将一个RDS数据库中的单张表数据拆分到多个数据库的多张表中。上述方案可解决因数据量大而导致的用户体验问题，但在对分库分表数据进行大数据分析时，逻辑上的一个表被拆成...
云原生多模数据库Lindorm助力蚂蚁链IoT数据降本
本文介绍 云原生多模数据库 Lindorm 如何助力蚂蚁链IoT实现数据降本。客户感言 综合对比了多种存储方案，Lindorm是最适合的选择。Lindorm的自动冷热分离、数据压缩功能完美契合了我们需求，同时，工具链比较成熟，能够平滑完成数据迁移。在...
DataWorks产品安全能力介绍
DataWorks针对资产梳理、技术体系/运营体系建设提供了一系列全面的数据安全产品能力，基于“I（Identify）P（Protect）D（Detect）R（Respond）”理论框架，从资产识别、安全防护、行为检测、风险事件响应等多个方面，系统性构建了一套完整...
新零售：杭州数云信息技术有限公司
数云客户业务是天猫CRM系统提供商，客户数据库的部署模式是多租户部署，即每个实例上会部署一个或多个数云的客户的数据，因此数云使用的数据库实例数据量都比较大，较大的实例存储容量一般在2 TB~3 TB左右，约有上百个实例来满足该业务需求...
- 产品推荐
- 这些文档可能帮助您