亿海蓝-航运大数据的可视化案例
——亿海蓝CTO 客户简介 亿海蓝是中国的航运大数据公司，做为中国最大的AIS数据服务运营商，发展目标是通过大数据技术推动全球航运物流与互联网的融合，加速航运产业转型升级。亿海蓝目前已为全球上百万行业用户提供数据服务，客户涵盖港口...
产品优势
AnalyticDB MySQL版 提供融合数据库、大数据技术于一体的云原生企业级数据仓库服务，高度兼容MySQL，支持毫秒级更新，亚秒级查询。无论是数据湖中的非结构化或半结构化数据，还是数据库中的结构化数据，您都可使用 AnalyticDB MySQL 构建...
什么是数据管理DMS
AnalyticDB MySQL版：云原生数据仓库AnalyticDB MySQL版是融合数据库、大数据技术于一体的云原生企业级数据仓库服务。AnalyticDB MySQL版支持高吞吐的数据实时增删改、低延时地实时分析复杂ETL（Extract Transform Load），兼容上下游生态...
数据导入性能优化
云原生数据仓库AnalyticDB MySQL版 提供的多种数据导入方法，满足不同场景下的数据导入需求。然而数据导入性能依然受各种各样的因素影响，如表的建模不合理导致长尾、导入配置低无法有效利用资源等。本文介绍不同场景下的数据导入调优方法...
数据归档
RDS MySQL实例数据量较大时，存储成本会随之增高。业务数据通常分为冷数据和热数据，将对象存储（OSS）作为归档冷数据的存储介质，能够大幅降低用户的存储成本。功能简介 在开启RDS MySQL通用云盘的数据归档OSS功能后，用户可通过执行下面...
核心概念
当数据的业务含义存在较大差异时，您可以创建不同的数据板块，独立管理不同的业务，后续数据仓库的建设将按照数据板块进行划分。在Dataphin中，项目可以归属至数据板块以实现规范建模功能，同一个数据板块中可能包含多个不同的项目，所以...
PolarDB HTAP实时数据分析技术解密
关键技术的结合，使得PolarDB成为了一个真正的HTAP数据库系统。其在大数据量上运行复杂查询的性能可以与Oracle、SQL Server等业界商用数据库系统处在同一水平。In-Memory Column Index的技术架构 行列混合的优化器 PolarDB原生有一套面向行...
列存索引技术架构介绍
以上几个关键技术的结合，使得 PolarDB 成为了一个真正的HTAP数据库系统。技术架构 行列混合优化器 PolarDB 有一套面向行存的优化器组件，引擎层支持列存功能之后，此部分需要进行功能增强。优化器需要能够判断一个查询应该被调度到行存...
常见问题
如果您的查询场景不属于以上列举的场景，请联系Lindorm技术支持（钉钉号：s0s3eg3）。分片数量对查询和写入性能有什么影响？对查询的影响：查询时，一个分片下的数据是串行扫描的，如果一个分片下的数据很多，就会影响单次查询的RT。多个分...
PostgreSQL数据源
多个并发任务相互之间不属于同一个读事务，同时多个并发任务存在时间间隔，因此这份数据并不是完整的、一致的数据快照信息。针对多线程的一致性快照需求，目前在技术上无法实现，只能从工程角度解决。工程化的方式存在取舍，在此提供以下...
文档修订记录
创建数仓分层 配置及使用数仓分层检查器 2023.3.16 新增功能 数据建模 DataWorks智能数据建模联合具备丰富行业建模经验的数据架构师，总结阿里云百万用户最全面的业务场景，结合阿里巴巴技术创新能力，提供零售电子商务、金融、制造等多个...
产品整体介绍
缺省情况下，用户看不到模式中不属于他们所有的对象，需要对象所有者赋予相应权限。如果已经被赋予适当的权限，用户也可以在别的用户模式里创建对象。请注意，缺省每个用户都在public模式上有创建对象的权限，比如新建一个表并读写数据。在...
什么是云原生数据库PolarDB分布式版
业务端分库分表 场景描述：当前业务已采用开源组件实现分库分表架构，属于核心场景，数据规模大、并发量高、以及稳定性是该场景的主要诉求，同时受限于开源组件的限制，缺少有效的分布式运维能力，比如：分布式DDL、扩缩容等。产品能力：...
深度解析PolarDB数据库并行查询技术
本文主要介绍基于代价进行并行优化、并行执行的云数据库的并行查询引擎的关键问题和核心技术。背景信息 随着数据规模的不断扩大，用户SQL的执行时间越来越长，这不仅对数据库的优化能力提出更高的要求，并且对数据库的执行模式也提出了新的...
自媒体：易撰
所属行业：自媒体 网站地址：易撰 客户介绍 长沙营智信息技术有限公司是专业的新媒体大数据服务商，其旗下知名品牌易撰，基于新媒体大数据挖掘技术及NLP算法分析，为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构...
客户案例
MaxCompute已被广泛应用于各大领域处理云上大数据，帮助众多企业解决了海量数据分析问题，同时降低企业运维成本，企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息，请参见 行业客户案例...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
X-Engine简介
这被称为数据复用技术（Data Reuse），而Extent大小正是影响数据复用率的关键，Extent作为一个完整的被复用的物理结构，需要尽可能的小，这样与其他Extent数据交叉点会变少，但又不能非常小，否则需要索引过多，管理成本太大。X-Engine中...
概述
列存的写节点（Columnar节点），属于有状态的节点，并不直接对外提供写请求，通过Group Commit技术批量更列存索引数据。列存的读节点（CN节点），继承CN节点无状态的设计，通过GMS节点获取列存的元数据，直接访问OSS对象存储上的列存索引...
上传数据
添加完成数据文件后，在跳转后的添加数据对话框，选择数据的分组、输入数据集的名称、选择数据的类型和数据的服务地址，单击对话框右下角的 创建数据集 即可完成三维瓦片数据的添加。说明 当数据量较大时解析时间会比较长，您可以先关闭弹...
上传数据
添加完成数据文件后，在跳转后的添加数据对话框，选择数据的分组、输入数据集的名称、选择数据的类型和数据的服务地址，单击对话框右下角的 创建数据集 即可完成三维瓦片数据的添加。说明 当数据量较大时解析时间会比较长，您可以先关闭弹...
产品优势
一般基于ext4构建，不支持原子写、不支持数据库关键IO加速。内核态数据拷贝影响性能。需要安装第三方商业集群文件系统后才能使用，需要购买商业license。例如：Veritas CFS、Oracle ACFS、OCFS2等。不支持原子写、不支持数据库关键IO加速。...
新建及管理数据分类
数据分类用于定义数据在安全领域的业务属性，可对数据进行多级分类打标，更贴合行业标准，本文为您介绍如何新建及管理数据分类。前提条件 已创建数据分类层级。如需创建，请参见 新建数据分类层级。已创建识别特征。如需创建，请参见 添加...
新建及管理数据分类
数据分类用于定义数据在安全领域的业务属性，可对数据进行多级分类打标，更贴合行业标准，本文为您介绍如何新建及管理数据分类。前提条件 已创建数据分类层级。如需创建，请参见 新建数据分类层级。已创建识别特征。如需创建，请参见 添加...
常见问题
答：大数据专家服务方式可以选择【现场】+【远程】技术支持方式提供服务，一般在服务需求沟通阶段与用户就服务方式达成共识，若因疫情等不可抗原因仅提供远程技术支持的方式提供服务。4.大数据专家服务范围是覆盖阿里云所有大数据产品技术...
新建及管理识别规则
识别规则用于识别Dataphin内的敏感数据。您可对安全要求比较高的业务数据配置识别规则，帮助您及时识别敏感数据。本文为您介绍如何新建及管理识别规则。权限说明 安全管理员支持新建及管理识别规则。创建识别规则 在Dataphin首页，单击顶部...
新建及管理识别规则
识别规则用于识别Dataphin内的敏感数据。您可对安全要求比较高的业务数据配置识别规则，帮助您及时识别敏感数据。本文为您介绍如何新建及管理识别规则。权限说明 安全管理员支持新建及管理识别规则。注意事项 MaxCompute的表会默认使用...
大数据安全治理的难点
风险接受（Risk Acceptance）：数据价值低，防护投入大，不采取防护措施。风险拒绝（Risk Rejection）：评估认为被攻击概率极低，不采取任何防护措施。风险威慑（Risk Deterrence）：通过对攻击者传递威慑信息以驱赶攻击者。风险规避（...
向量检索使用指南
高效检索：通过使用ANN技术，能够在大规模数据集上实现快速搜索。向量检索正逐渐成为搜索引擎、推荐系统以及其他多种应用中的核心技术。例如，电商网站使用它来提升商品推荐的相关性，社交媒体平台使用它来提高内容发现的精确度等。前提...
查询报错问题
因此当查询分析型数据库MySQL版报错提示 memory is not enough，有以下2种建议：优化SQL，尽量不返回可有可无的结果集，同时尽量对不关心的数据添加过滤条件。若没有很好的处理方法，请联系分析型数据库MySQL版技术支持。若在现有业务基础...
PolarDB-X适用场景
数据集中存储 场景描述 该场景也称“数据大集中”或“数据归集”，属于企业数据架构中的ODS层，具有承担各垂直业务数据源的数据汇总功能。高并发写入、大容量存储、多维度查询、低成本流出是该场景的主要诉求。产品能力 PolarDB-X 可根据...
数据组织优化
另外，对于超过一定时间跨度的文件也不会进行合并，因为将时间跨度太大的数据合并在一起可能导致在进行Time travel或者增量查询时读取大量不属于此次查询时间范围的历史数据，进而造成不必要的读放大问题。由于数据是按照 BucketIndex 来...
数据标准
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有...说明 目前使用DDM进行数据建模可以进行逻辑建模和物理建模，但物理建模仅支持MaxCompute和Hive两种大数据引擎，不支持自定义数据源类型。
DataWorks产品安全能力介绍
为充分契合数据安全治理的核心理念与通用思路，DataWorks针对资产梳理、技术体系/运营体系建设提供了一系列全面的数据安全产品能力，基于“I（Identify）P（Protect）D（Detect）R（Respond）”理论框架，从资产识别、安全防护、行为检测、...
PolarDB-X历史
DRDS的商业化成功，标志着阿里巴巴分布式数据库技术完成了从内部孵化到市场化运营的阶段性转变，以及从分布式数据库中间件到分布式数据库系统实质性跨越。PolarDB-X 1.0阶段 关键字：架构与品牌升级；国计民生项目 2018~2019年，DRDS凭借...
技术发展趋势
传统大数据技术可以满足此类需求，但其发散的技术栈，不统一的使用习惯，都难以在广大企业内落地使用。因此急需统一、标准化的技术解决方案。数据加速上云 Gartner预测到2023年，所有数据库中75%将放在云平台上。企业机构正在云中部署新的...
创建Impala数据源
通过创建Impala数据源能够实现Dataphin读取Impala的业务数据或向Impala写入数据。本文为您介绍如何创建Impala数据源。背景信息 Impala是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是Impala，在导出Dataphin数据至...
数据倾斜诊断
哈希（HASH）分布 该分布方式会根据分布键HASH值将数据分布到各个计算节点上，该方式的关键在于如何选择分布键，分布键选择不正确时，容易造成数据倾斜。可遵循如下规则选择分布键：有主键的表，建议选择主键作为分布键。无主键的表，建议...
从RDS SQL Server同步至云原生数据仓库AnalyticDB ...
数据传输服务DTS（Data Transmission Service）支持将SQL Server同步至云原生数据仓库AnalyticDB PostgreSQL，帮助您轻松实现数据的流转，集中分析企业数据。前提条件 快速创建RDS SQL Server实例，支持的版本，请参见 同步方案概览。重要 ...
常见问题
数据安全中心DSC根据为不同行业预先定义的敏感数据关键字段，扫描MaxCompute、OSS、阿里云数据库服务（RDS、PolarDB-X、PolarDB、OceanBase、表格存储等）和自建数据库中的数据，通过敏感数据规则，判断和打标敏感数据，为数据安全审计、...
- 产品推荐
- 这些文档可能帮助您