数据仓库研发规范概述

大数据时代,规范地进行数据资产管理已成为推动互联网、数据、人工智能和实体经济深度融合的必要条件。贴近业务属性、兼顾研发各阶段要点的研发规范,可以切实提高研发效率,保障数据研发工作有条不紊地运作。而不完善的研发流程,会...

如何对JSON类型进行高效分析

半结构化数据通常存在于Web页面、XML、JSON、NoSQL数据库等场景中,其灵活性和易扩展性使其成为大数据时代中不可或缺的一部分。PolarDB MySQL版 本身是一个关系型数据库管理系统,其存储的数据通常是结构化数据,但也原生支持存储和查询半...

JindoData概述

JindoData是阿里云开源大数据团队自研的数据湖存储加速套件,面向大数据和AI生态,为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现,主要包括JindoFS存储系统(原JindoFS Block模式)、...

数据分析整体趋势

随着Google等互联网企业崛起,以Hadoop为代表的基于传统x86服务器集群的大数据技术迅速发展,同时开源分布式数据库如Greenplum等也成为相应替代方案,为广大中小企业,尤其是互联网行业大大降低了数据分析的技术和成本门槛,还有分布式技术...

技术架构选型

数据模型设计之前,您需要首先完成技术...MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。icmsDocProps={'productMethod':'created','language':'zh-CN',};

技术架构选型

数据模型设计之前,您需要首先完成技术...MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。icmsDocProps={'productMethod':'created','language':'zh-CN',};

亿海蓝-航运大数据的可视化案例

——亿海蓝CTO 客户简介 亿海蓝是中国的航运大数据公司,做为中国最大的AIS数据服务运营商,发展目标是通过大数据技术推动全球航运物流与互联网的融合,加速航运产业转型升级。亿海蓝目前已为全球上百万行业用户提供数据服务,客户涵盖港口...

操作指南

一、大数据专家服务流程指南 二、服务流程说明 用户可以根据自己实际需要,提前或者在问题发生时购买大数据专家服务,服务项包含大数据技术架构方案咨询、大数据解决方案POC、大数据搬站迁云方案咨询、跨地域迁移支持服务、大数据专家高阶...

概述

解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源(RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据数据)和目标OSS数据仓库,系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中,...

快速体验

DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力,本文以一个零售电商行业的数仓搭建实验为例,为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现,帮助您深入了解阿里云...

数据分析作业

MaxCompute是适用于数据分析场景的企业级SaaS模式云数据仓库,支持在多种工具上使用MaxCompute运行大数据计算分析作业。如果您需要进行简单的查询等数据分析作业,推荐您使用SQL查询或DataWorks的临时查询等工具,高效便捷地完成数据分析...

跨境SaaS:深圳市易仓科技有限公司

数据库架构演进过程中,也遇到诸多痛点:痛点1:单实例海量表,运维管理困难,数据库稳定性挑战 痛点2:多租户共享一个数据库实例,数据,资源抢占 痛点3:租户版本升降、合并、打散时,租户数据迁移效率低 痛点4:传统主从数据库架构...

典型应用

用户画像分析 随着数据时代发展,各行各业数据平台的体量越来越,用户个性化运营的诉求也越来越突出,用户标签系统,做为个性化千人千面运营的基础服务,应运而生。如今,几乎所有行业(如互联网、游戏、教育等)都有实时精准营销的...

IoT数据自动化同步至云端解决方案

大数据分析是大数据完成数据价值化的重要手段之一,而进行大数据分析的第一步是让数据成功上云。解决方案 IoT数据自动化同步至云端解决方案主要包括存储原始数据和同步数据至分析系统两部分。IoT设备大量的数据通常以半结构化的形式存储。...

DataWorks on EMR数据安全方案

大数据领域,阿里云为企业用户提供了一整套数据安全方案,包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例,为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...

产品简介

大数据专家服务 大数据专家服务(Bigdata Expert Service)是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障,帮助用户...

账单数据订阅及查询分析

DataWorks及MaxCompute:DataWorks基于MaxCompute等大数据引擎,支持您在线进行SQL分析、业务洞察、编辑和分享数据,以及将查询结果保存为可视化图表卡片,快速搭建可视化数据报告。订阅账单数据后,用户中心会将相关账单数据同步至指定...

聚合支付方案

阿里云从业务扩展性、数据流动性、服务高可用三方面入手,通过多款云数据库产品为利楚扫呗制定聚合支付方案,解决利楚扫呗在业务扩展期遇到的数据存储空间不足、读写性能下降以及大数据分析空缺等问题。业务痛点 武汉利楚商务服务有限公司...

常见问题

MaxCompute作为大数据平台,对业务数据是否有好的监控手段?MaxCompute的项目发挥什么作用?如何获取MaxCompute中的Accesskey_ID和AccessKey_Secret?现有账号的AccessKey被禁用,创建一个新的AccessKey,会对之前AccessKey创建的周期性...

准备数据源和计算源

在使用Dataphin前,您需要选择符合业务场景需求的数据库或数据仓库作为数据源,用于读取原始数据和写入数据建设过程中的数据;同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源,为数据的研发提供计算资源。准备数据源 ...

用户价值

数据资源平台为用户提供了一站式数据资产定义、生产、管理与服务平台,提供企业级数据资产构建能力和一致性使用体验,助力客户快速构建数据智能平台,实现数据资源统一管理,挖掘潜在规律,优化业务决策,让大数据真正的驱动客户业务。...

应用场景

阿里云开源大数据平台E-MapReduce(简称EMR)具有广泛的应用场景。本文为您介绍EMR的主要应用场景。数据湖场景 DataLake集群类型提供了数据湖分析场景所需的服务和相关湖格式,包括Hadoop、OSS-HDFS、Hive、Spark、Presto等。通过选择OSS-...

概述

DataWorks的安全中心作为云上大数据体系的安全门户,致力于向您提供面向数据安全生命周期全过程的安全能力,同时在符合安全规范要求的前提下,提供各类安全诊断的最佳实践。其核心功能如下:数据权限管理 安全中心为您提供精细化的数据权限...

功能优势

当您的数据库中有数据需要被保护时,可以使用RDS MySQL全密态数据库功能,该功能提供的加密解决方案能够在遵守数据保护法规的前提下保障您的数据安全,使被保护数据免受未授权访问。本文将详细介绍RDS MySQL全密态数据库功能的优势,帮助您...

减灾与应急时空解决方案与案例

数据与系统上云过程前,遇到了如下挑战:长期积累的时空数据类型多、数据量巨大,包括中国和全球地震、地质、台风、洪水、高温、低温、暴雨、雪灾、森林和草原火灾等灾种中高精度风险地图数据,台风、地震、滑坡、森林草原火灾等全球准...

核心能力

数据资源平台提供了一站式数据资产定义、生产、管理与服务平台,提供企业级数据资产构建能力和一致性使用体验,助力客户快速构建数据智能平台,实现数据资源统一管理,挖掘潜在规律,优化业务决策,让大数据真正的驱动客户业务。...

实验介绍

数据采集 数据加工 配置数据质量监控 数据可视化展现 目标人群 开发工程师、数据分析师、产品运营等存在数仓数据获取与数据分析洞察人员。涉及产品 本案例涉及以下产品:一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集,...

应用场景

数据库MongoDB版支持单节点、副本集和分片集群三种部署架构,具备安全审计、时间点备份等多项企业能力。在互联网、物联网、游戏、金融等...大数据应用:使用云数据库MongoDB作为大数据的云存储系统,随时进行数据提取分析,掌握行业动态。

我是普通用户

测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障数据离散型、提高生产效率。数仓开发 数仓开发以数据库为主要计算引擎,融合数据库生态中多种工具和服务(如DTS、DLA等),让用户可以轻松拥有数据仓库进行开发和...

快速体验

数据采集 数据加工 配置数据质量监控 数据可视化展现 目标人群 开发工程师、数据分析师、产品运营等存在数仓数据获取与数据分析洞察人员。涉及产品 本案例涉及以下产品:一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集、...

选型配置说明

E-MapReduce配置选型不仅要考虑企业大数据使用场景、估算数据量、服务可靠性要求,还应该考虑企业预算。大数据使用场景 E-MapReduce各集群的场景和核心组件如下表。说明 具体各集群类型支持的组件以控制台实际展示为准。集群类型 场景介绍 ...

DataWorks产品安全能力介绍

为充分契合数据安全治理的核心理念与通用思路,DataWorks针对资产梳理、技术体系/运营体系建设提供了一系列全面的数据安全产品能力,基于“I(Identify)P(Protect)D(Detect)R(Respond)”理论框架,从资产识别、安全防护、行为检测、...

概述

背景信息 Flink核心是一个流式的数据流执行引擎,其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎,Flink提供了更高抽象层的API以便您编写分布式任务。Flink(VVR)完全兼容开源Flink,相关内容请...

什么是数据管理DMS

DMS提供全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能,致力于帮助企业高效、安全地挖掘数据价值,助力企业数字化转型。视频介绍 功能特性 详情信息,请参见 功能概览。为什么选择数据管理DMS 全域数据...

DBS沙箱功能概览

背景信息 在海量数据场景下,传统数据库备份服务面临两越来越严重的困难:存储成本:为了保障数据恢复点目标(Recovery Point Objective,RPO),周期性的全量和增量备份产生大量重复数据,导致存储成本过高。使用成本:您必须待数据完成...

数据扫描和识别

支持扫描的数据源类型如下:结构化数据:RDS、PolarDB、PolarDB-X、MongoDB、OceanBase、自建数据库 非结构化数据:OSS 大数据:TableStore、MaxCompute、ADB-MYSQL、ADB-PG 数据源授权完成后需要多长时间完成扫描?DSC 完成数据源授权后,...

ActionTrail日志清洗

DLA提供ActionTrail日志自动清洗解决方案,可以将ActionTrail投递到OSS的日志文件转换为DLA中可以直接查询的数据表,同时自动对数据进行分区和压缩,方便您分析和审计对云产品的操作日志。日志分析痛点 ActionTrail是阿里云提供的云账号...

我是安全管理员

解决方案 数据归档概述 数据归档功能支持定时将表的数据归档至其他数据库,同时支持源表数据删除、表空间整理回收等。一键建仓 一键创建实时同步的数据仓库,数据在秒级的延迟下,同步至AnalyticDB MySQL版数据库中。数据库迁移 通过创建...

数据库导出

当您需要进行数据库备份、导出数据库表进行数据分析等操作,您可使用 数据管理DMS 的数据导出功能,该功能可通过提交工单的方式导出数据库。前提条件 数据库类型如下:MySQL系列:自建MySQL、RDS MySQL、PolarDB MySQL版、AnalyticDB ...

数据源管理概述

在使用Dataphin前,您可将需要引入Dataphin的数据源接入到Dataphin中,已接入的数据源可用于读取原始数据和写入数据建设过程中的数据。Dataphin具备丰富的数据源类型接入,支持对接如MaxCompute、Hive等数据仓库,也支持对接企业传统数据库...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 云原生大数据计算服务 MaxCompute 云数据库 Redis 版 云数据库 RDS 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用