应用场景

1.2 收益 系统解耦 对外,大数据系统与业务系统解耦,对内,大数据系统各组件之间解耦。实时通道 通过数据总线,业务数据能够实时汇入大数据系统,缩短数据分析周期。2.实时数据清洗和分析 2.1 接入多种异构数据,实时清洗并归一化 通过...

离线数仓构建流程概述

步骤一:准备工作 规划数仓 数仓规划数据建设中的蓝图,在您开始数据开发前,需要完成数据仓库的规划,数仓规划配置包括:创建数据板块和主题域、计算源、数据源、项目及项目中的成员。步骤二:规划数仓 数据集成 将创建好的数据源集成至...

数据分析整体趋势

综上所述,数据分析技术趋势主要包括:云原生分布式:无论是OLTP还是OLAP,如今单机数据已无法满足企业业务和数据快速增长的需求,分布式数据库成为主流,同时数据库市场未来主要在云上("Gartner:The Future of the DBMS Market Is Cloud...

创建Hudi数据

背景信息 Hudi即Apache Hudi,Hudi是一个通用的大数据存储系统,将核心仓库和数据库功能直接引入到数据库中,并支持记录级别的插入更新和删除数据的能力。更多信息,请参见 Apache Hudi官网。权限说明 仅支持 超级管理员、数据源管理员、...

创建Teradata数据

通过创建Teradata数据源能够实现Dataphin读取Teradata的业务数据或向Teradata写入数据。本文为您介绍如何创建Teradata数据源。背景信息 Teradata是一款大型数据仓库系统。如果您使用的是Teradata,在对接Dataphin进行数据开发或导出...

大数据安全治理的难点

数据体系的特点与安全治理难点 由于大数据系统在“存储、用户、入口、流转、交付”等多方面的特点,想要回答好上述问题,存在诸多难点。存储 众所周知,大数据系统以数据类型多(结构化、非结构化、半结构化)、数据量(动辄PB级别)...

JindoData概述

JindoData套件基于统一架构和内核实现,主要包括JindoFS存储系统(原JindoFS Block模式)、JindoFSx存储加速系统(原JindoFS Cache模式),JindoSDK大数据万能SDK和全面兼容的生态工具(JindoFuse、JindoDistCp)以及插件支持。JindoData...

产品简介

数据搬站迁云方案咨询 为客户提供原大数据系统上云迁移方案咨询服务,包括云上数据搬站架构规划、设计迁云方案服务。数据专家高阶培训 提供针对数据建设、管理、治理相关的高阶能力培训,涵盖离线/实时数仓体系建设管理、数仓建模...

支持的云服务

数据集成 MaxCompute可以通过数据集成功能加载不同数据源(例如MySQL数据库)的数据,也可以通过数据集成把MaxCompute的数据导出到各种业务数据库。数据集成功能已集成在DataWorks上,您可以直接在DataWorks上配置MaxCompute数据源并读写...

生态集成

云原生数据仓库AnalyticDB PostgreSQL版 具备完善和开放的生态系统,支持无缝对接业界以及阿里云生态的数据管理工具,BI报表可视化工具,ETL工具,数据迁移工具,同时可以与业界流行的流式处理系统,日志类系统大数据系统,传统数仓及...

应用场景

背景信息 设备将原始数据通过 MQTT 协议发送到物联网平台,经由物联网平台将数据转发到消息服务系统,继而通过流计算系统对这些数据进行实时计算处理后写入到 TSDB 中存储,或者经由物联网平台直接将原始数据写入 TSDB 中存储。前端的监控...

推送记录

来源系统 包括数据质量 离线计算 实时计算 数据服务 推送渠道 告警消息以什么样的方式推送给您。推送渠道 包括:电话 短信 邮件 钉钉 推送接收人 推送的告警消息的接收人。推送时间 推送的告警消息的时间。告警原因 推送的告警消息发生的...

告警事件

来源系统 包括数据质量 实时计算 数据服务 离线计算 告警原因 告警事件发生的原因,详情请参见 查看告警事件。推送方式 告警事件推送给您方式。推送方式 包括:电话 短信 邮件 钉钉 告警频率 告警推送给您的频率。首次告警时间 该告警...

概述

大数据生态系统中,Alluxio位于数据驱动框架或应用(例如Apache Spark、Presto、TensorFlow、Apache Flink和Apache Hive等)和各种持久化存储系统(例如HDFS和阿里云OSS)之间,使得上层的计算应用可以通过统一的客户端API和全局命名空间...

通用数据开发

通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中,虚线框内的开发流程均可基于阿里云数据平台完成。数据开发的流程如下所示:数据产生:业务系统每天会产生大量结构化的...

配置DM(达梦)输出组件

配置DM(达梦)输出组件,可以将外部数据库中读取的数据写入到DM(达梦),或从大数据平台对接的存储系统中将数据复制推送至DM(达梦),进行数据整合和再加工。本文为您介绍如何配置DM(达梦)输出组件。前提条件 已创建DM(达梦)数据源...

DataWorks交流钉钉群

DataWorks作为阿里云大数据平台操作系统,对接各种大数据计算引擎,以all in one box的方式提供专业高效、安全可靠的全域智能大数据平台,高效率完成数据全链路研发流程,建设企业数据治理体系,同时提供优质高效的交流服务,本文为您介绍...

配置跨库Spark SQL节点

任务编排中的跨库Spark SQL节点,主要针对各类跨库数据同步和数据加工场景,您可以通过编写Spark SQL,完成各种复杂的数据同步或数据加工的任务开发。前提条件 支持的数据库类型:MySQL:RDS MySQL、PolarDB MySQL版、MyBase MySQL、...

功能概览

1.4 生态融合 系出飞天,与阿里云大数据系统深度整合,无缝对接MaxCompute、实时计算、交互式分析等产品,打通整个数据体系。2.产品功能 2.1 数据接入 提供多种SDK、API和Flume、Logstash等第三方插件,让您高效便捷的把数据接入到数据...

数仓规划概述

数仓规划是基于Dataphin建设数据中台的第一步,同时也是数据体系的顶层设计中至关重要的一步。在您开始数据开发前,需要完成数据仓库的规划包括定义数据板块、项目、数据源、计算源和统计周期。功能介绍 数仓规划包括逻辑空间与物理空间...

JindoFS介绍和使用

JindoFS是基于阿里云对象存储OSS,为开源大数据生态构建的Hadoop兼容文件系统(Hadoop Compatible File System,HCFS)。JindoFS提供兼容对象存储的纯客户端模式(SDK)和缓存模式(Cache),以支持与优化Hadoop和Spark生态大数据计算对OSS...

RDS SQL Server空间不足问题

您可以在控制台的 自治服务>空间管理 页面,查看更详细的空间使用情况,包括数据与日志的空间使用对比、空间使用的历史变化趋势、Top数据库和Top表的空间分配明细等。更多信息,请参见 空间管理。说明 实例不能是RDS SQL Server 2008 R2云...

产品架构

如下图所示,与传统方案相比,Lindorm系统地简化数据存储技术架构设计,幅度提升系统稳定性,降低建设成本投入。总体架构 Lindorm创新性地使用存储计算分离、多模共享融合的云原生架构,以适应云计算时代资源解耦和弹性伸缩的诉求。...

典型场景

基于湖构建数据平台,支持BI、挖掘等业务 对象存储OSS可以作为湖存储,DLA基于OSS构建一站式的大数据平台。具体包括构建数据湖、数据ETL、交互式查询、机器学习等功能。构建数据湖 实时数据湖:支持DB的CDC与消息数据(如Kafka)入湖,构建...

系统管理

用于自定义企业在数据仓库模型设计过程中需要的物理表创建管控策略、代码生成规则等内容。策略启用后,将严格按照此处配置的管控策略管控相关操作,保障模型创建的规范性及引擎DDL显示符合您的业务需要。本文为您介绍如何配置系统管理策略...

支持计划-服务报告

1.服务概述 适用于购买了顶级支持计划的客户,按月度及年度查看支持计划服务子项交付情况。...2)客户年度事件回顾、高可用全局架构规划、高可用诊断体系规划及高可用快恢体系建设规划。7.完成标志 客户活动结束并完成验收工作。

东软案例

企业面向客户、合作伙伴和内部员工建设IT系统及应用复杂度和数量会随着产品智能、互联化的深入持续增长,对映可用性保障运维监控采集数据采集种类,以及需要存储的数据量同步激增,现有监控系统基于RRD数据库或关系数据库搭建的单模引擎的...

跨租户发布概述

跨租户发布数据用于迁移租户间的数据,以满足不同数据的应用场景,帮助企业实现数据应用价值最大化。前提条件 已购买跨租户发布增值服务。更多信息,请参见 购买指引。进行跨租户发布前,请确保目标环境已完成租户的计算引擎设置。更多信息...

资产质量概述

资产质量提供全链路的数据质量解决方案,包括数据表、数据源、指标和实时元表的质量校验、质量监控、智能报警、生成质量报告、发起整改等功能。保证了数据在生产及使用流程中的可靠性和合理性,从而避免因为数据质量问题而导致数据失信、...

容量规划

容量规划是指根据业务需求和系统性能,包括用户量、数据量、并发量等指标,合理规划和配置系统集群资源,以满足系统扩展、用户增长和负载增加的需求。通过容量规划可以确定系统能够承载的最大用户量和并发请求量,并提前预防系统资源不足和...

IoT数据自动化同步至云端解决方案

下图为您展示使用DataWorks数据集成完成OSS数据同步至大数据系统的解决方案流程。新建离线同步节点,详情请参见 通过向导模式配置离线同步任务。选择数据来源OSS进行读取,详情请参见 OSS Reader。选择数据去向进行写入,本文以 MaxCompute...

资源组说明

资源组分类 资源组是用于执行具体任务的服务,如接收调度引擎的指令执行SQL任务、数据同步任务,也包括数据API的定义提供数据服务。按使用场景,资源组分为两类:系统资源组:由数据资源平台提供,供所有用户使用,对于QPS和并发有限制,...

客户案例

游戏行业:37手游重构数据体系建设 客户简介 37手游致力于手机游戏发行业务,在中国大陆地区,存在近10%的市场占有率。迄今为止,成功发行二十余款优秀作品,累计为超过4亿游戏玩家提供过服务,累计发行运营游戏超2000+款。庞大的运营计数...

资源组说明

资源组分类 资源组是用于执行具体任务的服务,如接收调度引擎的指令执行SQL任务、数据同步任务,也包括数据API的定义提供数据服务。按使用场景,资源组分为两类:系统资源组:由企业数据智能平台提供,供所有用户使用,对于QPS和并发有...

数据安全治理的常见思路

技术体系建设:基于数据全生命周期的识别、检测、防护、响应等安全技术设施,按实际需求部署各类安全防护产品。运营体系建设:定期评估风险与基线扫描,并进行日常与专项审计。同时,建立监控预警机制,落实风险事件应急处理,产出“数据...

什么是Dataphin

Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出,一站式提供数据采、建、管、用全生命周期的大数据能力,以助力企业显著提升数据治理水平,构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...

产品概述

产品描述 功能 描述 Dataphin全托管 Dataphin是集产品、技术、方法论于一体的智能大数据平台建设引擎,为您提供数据引入、规范定义、建模研发、资产管理、数据服务等全链路智能数据建设及治理服务。关于Dataphin的更多介绍,请参见 什么是...

公交出行:启迪公交

通过承接公交信息化和智慧化项目建设,应用先进的互联网商业模式,将”人、车、线、站“的大数据资源及相关配套资源进行商业化转换,引领行业提升公交系统的创新能力和服务水平,助力“互联网+城市公交”的提升发展。业务挑战 中国规模最大...

数据质量管理流程

数据质量的管理流程包括业务数据资产定级、加工卡点、风险点监控和及时...对数据风险点进行监控,包括数据的质量风险和及时性。详情请参见:数据质量风险监控 数据及时性监控$icmsDocProps={'productMethod':'created','language':'zh-CN',};

什么是DataWorks

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎,为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起,DataWorks不断沉淀阿里巴巴大数据建设方法论,支撑数据中台建设,同时与...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云原生大数据计算服务 MaxCompute 云数据库 Redis 版 云数据库 RDS 数据库备份 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用