产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
自媒体：易撰
自媒体 网站地址：易撰 客户介绍 长沙营智信息技术有限公司是专业的新媒体大数据服务商，其旗下知名品牌易撰，基于新媒体大数据挖掘技术及NLP算法分析，为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构解决方案。...
物联网数据处理分析架构参考
存在的问题 主要面临三大挑战：整体数据架构复杂，数据链路多存在稳定性风险，增加管理和运维的难度和成本。Java应用轮询调用数据API，无法满足大规模数据同步的性能要求。产生不必要的中间存储成本，企业信息部门无需实时分析时序数据，...
操作指南
一、大数据专家服务流程指南 二、服务流程说明 用户可以根据自己实际需要，提前或者在问题发生时购买大数据专家服务，服务项包含大数据技术架构方案咨询、大数据解决方案POC、大数据搬站迁云方案咨询、跨地域迁移支持服务、大数据专家高阶...
技术架构选型
在数据模型设计之前，您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。...
数仓分层
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
数据模型架构规范
数据处理流程架构 数据划分及命名空间约定 请根据业务划分数据并约定命名，建议针对业务名称结合数据层次约定相关命名的英文缩写，这样可以给后续数据开发过程中，对项目空间、表、字段等命名做为重要参照。按业务划分：命名时按主要的业务...
后续指引
介绍：数据迁移 实践：数据迁移最佳实践 常见问题：数据上传下载常见问题 大规模数据迁移 MaxCompute提供MMA（MaxCompute Migration Assist）迁移工具支撑大规模数据迁移。开发与分析 数据类型 MaxCompute支持三种数据类型版本，为您介绍各...
金融大数据
架构优势：合理解决了金融行业内外部数据整合问题 优化了结数据架构分层 提供了高效的数数据加工与服务方式 技术架构 架构说明：阿里云大数据数据仓库解决方案经历了阿里巴巴集团内部的实战验证，完全基于自主研发，且在不断优化、完善，以...
产品架构
EMR自研能力 为让开源大数据组件和服务更好的运行在阿里云技术设施上，EMR自研了如下组件：数据应用平台，提供交互式开发、作业提交、作业调试和工作流一站式数据开发体验，详情请参见 EMR Studio概述。Shuffle Service是EMR在优化计算引擎...
客户案例
互联网行业：快狗打车云上大数据仓库 客户架构如下。客户简介 快狗打车则一直坚持通过“连接网络化”、“运力共享化”、“过程数据化”、“匹配智能化”等数字信息化解决方案，将闲散运力统一整合到平台上，通过大数据将运力精准匹配市场...
管理数据架构待发布对象
导入的发布包文件中存在数据架构变更对象时，将在待发布数据架构页面为您展示，您可在待发布数据架构页面对数据架构对象进行管理和发布。前提条件 数据架构对象所在的数据板块已经发布。待发布数据架构对象入口 请参见 发布包总览入口，...
管理数据架构待发布对象
导入的发布包文件中存在数据架构变更对象时，将在待发布数据架构页面为您展示，您可在待发布数据架构页面对数据架构对象进行管理和发布。前提条件 数据架构对象所在的数据板块已经发布。待发布数据架构对象入口 请参见 发布包总览入口，...
E-MapReduce支持倚天云服务器
大数据场景下倚天架构与X86架构对比 在相同规格下X86架构的ECS实例和基于倚天架构的ECS实例上进行了基准测试，可以看到在大数据业务场景下倚天架构实例比基于x86架构实例算力性价比更高。降低硬件成本 相比于X86架构ECS实例成本，倚天架构...
简介
典型案例&架构 航海船舶大数据平台 场景：全球AIS船舶实时位置数据，每天上亿条轨迹写入，要求轨迹时空/时序查询秒级响应，具体包括：监管区域实时地理围栏判断。轨迹区域回放（指定区域+指定时间段）。轨迹回放（指定时间段查询）。架构...
Doris概述
并且这两类进程通过一致性协议来保证服务的高可用和数据的高可靠，这种高度集成的架构设计极大的降低了一款分布式系统的运维成本。从以下五个方面介绍Doris技术：在使用接口方面，Doris采用MySQL协议，高度兼容MySQL语法，支持标准SQL，您...
HBase存算一体转存算分离
本文为您介绍对于EMR-HBase集群，如何将存算一体架构转换为存算分离架构。操作步骤 停止HBase服务。首先通过flush操作来保证内存中所有表的数据都已经刷新到HFile，并执行Disable table来禁用相关的表，避免写入新的数据。停止HMaster和...
SQL处理优化
本文为您介绍数据查询DQL和数据操作DML的架构设计核心要点。数据查询DQL 在功能支持上，主要针对 TimeTravel 查询和 增量查询 的场景进行了适配开发优化。在查询效率上，跟查询普通表最大的不同在于，读取源表数据文件时，可能会涉及大量 ...
数据服务集群
本文为您介绍数据服务集群支持的特性，适用场景以及技术架构。特性介绍 Apache HBase是具有高可靠性、高性能、列存储、可伸缩、实时读写的开源NoSQL分布式系统。特别适用于需要实时读写随机访问超大规模数据集的场景。Apache HBase和Apache...
概述
Apache Druid是一个分布式内存实时分析系统，用于解决如何在大规模数据集下快速的、交互式的查询和分析问题。基本特点 Apache Druid具有如下特点：支持亚秒级的交互式查询。例如，多维过滤、Ad-hoc的属性分组和快速聚合数据。支持实时的...
发布包总览概述
数据架构：您可以对数据架构对象执行发布、查看版本详情操作。更多信息，请参见 管理数据架构待发布对象。研发：您可以对研发对象执行发布、查看版本详情、下载建表文件操作。更多信息，请参见 管理编码研发待发布对象。标签架构：您可以对...
发布包总览概述
数据架构：您可以对数据架构对象执行发布、查看版本详情操作。更多信息，请参见 管理数据架构待发布对象。研发：您可以对研发对象执行发布、查看版本详情、下载建表文件操作。更多信息，请参见 管理编码研发待发布对象。标签架构：您可以对...
创建ID
进入 规划 页面后，默认进入 数据架构 页面。在 数据架构 页面，单击 标签架构。在标签架构页面，按照下图操作指引，选择 ID管理 页签，并 单击 新增ID。在 创建ID 对话框中，配置ID相关信息。参数 描述 ID名称 填写ID名称。允许中英文、...
产品架构
本文为您介绍EMR Serverless StarRocks的架构。StarRocks架构的核心为FE（Frontend）和BE（Backend）两类进程，不依赖任何外部...物理执行单元会在对应的数据存储节点上执行，实现本地计算，避免数据的传输与拷贝，从而极大的提升了查询性能。
ESS（仅对存量用户开放）
背景信息 目前Shuffle方案缺点如下：Shuffle Write在大数据量场景下会溢出，导致写放大。Shuffle Read过程中有大量的网络小包导致Connection reset问题。Shuffle Read过程中存在大量小数据量的IO请求和随机读，对磁盘和CPU造成高负载。对于...
未来规划
云计算架构的核心逻辑就是通过虚拟化技术带来池化资源，云原生数据库采用分布式数据库架构，实现大规模扩展，每套数据库系统横跨多台服务器和虚拟机，带来了全新的系统管理挑战。其中最核心的挑战就是如何实现弹性以及高可用，实现按需按量...
创建并管理业务实体
在 数据架构 页面，找到需要创建业务对象的数据板块后，按照下图操作指引，单击 新建业务实体。在 新建业务实体 对话框，配置参数。参数 描述 实体名称 命名规则如下：汉字、字母、数字、下划线（_）和中划线（-）。不能超过64个字符。编码...
增量导出发布包
支持 规划、数据架构、研发、标签架构、标签、数据标准、数据质量、数据安全 对象类型。规划：包括公共定义、数据板块、计算源、项目、数据源。数据架构：包括主题域、业务对象、业务活动。研发：包括离线管道、事实逻辑表、维度逻辑表、...
增量导出发布包
支持 规划、数据架构、研发、标签架构、标签、数据标准、数据质量、数据安全 对象类型。规划：包括公共定义、数据板块、计算源、项目、数据源。数据架构：包括主题域、业务对象、业务活动。研发：包括离线管道、事实逻辑表、维度逻辑表、...
跨境SaaS:深圳市易仓科技有限公司
存在资源碎片，资源利用率低 痛点5:业务快速发展，租户数据越来越大，存储成本越来越高 痛点6:传统主从架构数据库模式，实例众多，数据集成成本高 痛点7:租户数据量越来越大，单租户维度查询性能遇瓶颈 解决方案 PolarDB多主集群助力易仓跨...
健康检查服务内容说明
架构健康检查的主要针对业务系统和大数据应用的现有架构，通过对各业务系统的主机、网络、存储等各方面的运行参数和指标分析，提供综合的健康检查结果和结论。服务范围不包含：针对架构改造的技术支持；对业务系统和大数据应用的开发；具体...
应用场景
本地IDC/跨云数据库上云迁移 数据传输服务 DTS 支持RDBMS、NoSQL、OLAP等数据源间的数据交互，集数据迁移/订阅/同步于一体，助您构建安全、可扩展、高可用的数据架构。通过数据库网关，可将本地或第三方云的数据库低成本地接入至阿里云。...
应用场景
本地IDC/跨云数据库上云迁移 数据传输服务 DTS 支持RDBMS、NoSQL、OLAP等数据源间的数据交互，集数据迁移/订阅/同步于一体，助您构建安全、可扩展、高可用的数据架构。通过数据库网关，可将本地或第三方云的数据库低成本地接入至阿里云。...
概述
数据同步服务的内核在阿里巴巴跨域长途实时同步、实时增量分发、分布式数据库、大数据等场景中提供着功能丰富和服务稳定的数据方案，支持着阿里巴巴交易异地多活、广告、搜索、大数据实时抽取、商务对账单等双十一媒体大屏等众多业务场景。
资产全景
数据架构 包含 业务对象、业务活动、业务限定、原子指标、指标 五种指标数量，其中，指标 包括派生指标、衍生指标和自定义指标三类指标。数据模型 包含 维度逻辑表、事实逻辑表、汇总逻辑表 三种指标数量，而维度逻辑表数+事实逻辑表数+...
资产全景
数据架构 包含 业务对象、业务活动、业务限定、原子指标、指标 五种指标数量，其中，指标 包括派生指标、衍生指标和自定义指标三类指标。数据模型 包含 维度逻辑表、事实逻辑表、汇总逻辑表 三种指标数量，而维度逻辑表数+事实逻辑表数+...
管理标签架构待发布对象
标签实体 待发布对象 标签实体待发布对象页面主要由搜索与筛选区、数据架构对象列表、批量操作组成。各区域及操作说明如下。区域 描述 ① 搜索与筛选区 搜索及筛选区支持根据发布对象变更类型、当前环境是否变更、发布状态或输入对象名称...
管理标签架构待发布对象
标签实体 待发布对象 标签实体待发布对象页面主要由搜索与筛选区、数据架构对象列表、批量操作组成。各区域及操作说明如下。区域 描述 ① 搜索与筛选区 搜索及筛选区支持根据发布对象变更类型、当前环境是否变更、发布状态或输入对象名称...
产品简介
阿里云数据湖构建（Data Lake Formation，简称 DLF）是一款全托管的快速帮助用户构建云上数据湖及Lakehouse的服务，为客户提供了统一的元数据管理、统一的权限与安全管理、...结合 Databricks、OSS 产品，构建云上全托管Lakehouse数据架构。
跨租户发布概述
Dataphin支持跨租户的发布对象包括规划类对象、数据架构的相关对象、研发的对象、资产相关的对象。租户发布规划类对象：包括公共定义、数据板块、计算源、项目和数据源。跨租户发布数据架构的相关对象：包括主题域、业务对和业务活动。跨...
- 产品推荐
- 这些文档可能帮助您