数据分析整体趋势

大数据与数据库一体化:早期大数据技术以牺牲一定程度一致性为基础提供分布式能力,解决了传统单机数据库的扩展性不足问题,在MapReduce基础上提供了标准SQL接口,架构上也逐步采用了部分MPP数据库技术;另一方面,分布式数据库也快速发展...

什么是MaxCompute

MaxCompute是适用于数据分析场景的企业级SaaS(Software as a Service)模式云数据仓库,以Serverless架构提供快速、全托管的在线数据仓库服务,消除了传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您可以经济并高效...

2023年

支持用户通过SQL、PyODPS、Python等进行数据分析、探索,挖掘数据的价值,完成大数据与AI的融合应用开发。本文为您介绍如何使用Notebook功能。(邀测)MaxCompute Notebook使用说明 2023-09-12 新增在本地环境上使用PyODPS 新说明 PyODPS是...

应用场景

实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线,您可以实时接入APP、WEB、IoT和数据库等产生的异构数据,统一管理,并投递到下游的分析、归档等系统,构建清晰的数据流,让您更好的释放数据的价值。...

通用数据开发

通常数据开发的总体流程包括数据产生、数据收集存储、数据分析处理、数据提取和数据展现分享。说明 上图中,虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示:数据产生:业务系统每天会产生大量结构化的...

快速体验

大数据存储计算:云原生大数据计算服务 MaxCompute(必选)、实时数仓Hologres(可选)、开源大数据平台E-MapReduce(可选),您可根据需要开通MaxCompute、Hologres或E-MapReduce。数据开发调度:大数据开发治理平台 DataWorks数据...

相关的云服务

DataWorks作为阿里云一站式大数据开发治理平台,通常会计算引擎产品联合使用,此外使用DataWorks进行数据集成时通常联合进行数据传输的数据源产品一起使用。本文为您介绍典型场景下,使用DataWorks时通常会使用到的其他云产品。计算...

简介

系统兼容开源GeoMesa、GeoServer等生态,内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等,结合云数据库HBase强大的分布式存储能力以及Spark分析平台能力,广泛应用于空间、时空、遥感大数据存储、查询、分析与数据挖掘...

数据

数据库备份场景下,有4个概念:数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为:购买时选择的存储...

大数据AI公共数据集分析

本教程通过DataWorks,联合云原生大数据计算服务MaxCompute,使用大数据AI公共数据集(淘宝、飞猪、阿里音乐、Github、TPC等公共数据),指导您如何快速进行大数据分析,快速熟悉DataWorks的操作界面最基础的数据分析能力。DataWorks的更...

什么是备份数据

备份数据量不同,存储数据量取决于备份数据量、备份数据存储格式、压缩算法等因素。空间大小 在单次全量备份情况下,数据库磁盘空间(RDS/ECS)>数据文件空间(实际使用)>备份数据量(DBS)>存储数据量(OSS)。综上所述,您可通过调整...

轮播页面

数据源 单击 配置数据源,可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果,详情请参见 配置资产数据数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...

产品简介

DLA Ganos是基于云原生数据湖分析(Data Lake Analytics,DLA)系统设计开发的,面向时空大数据存储计算的数据引擎产品。基于DLA无服务器化(Serverless)数据湖分析服务内置的Spark计算引擎,DLA Ganos打通了阿里云各个存储系统,如...

轮播页面

其中动态数据返回的id值的格式要此id保持一致,并 大屏轮播数据接口 中的页面id对应。数据项配置 说明 数据源 组件的数据源中通过 代码编辑 或 可视化编辑 展示了组件所包含的数据字段。也可以修改 数据类型,灵活配置组件数据数据...

OSS数据安全防护最佳实践

应用场景 敏感数据识别 云端OSS中存储了大量的数据与文件,但无法准确获知这些OSS数据中是否包含敏感信息以及敏感数据所在的位置。您可以使用 DSC 内置算法规则,或根据其行业特点自定义规则,对其存储在OSS中的数据进行整体扫描、分类、...

什么是DataWorks

从2009年起,DataWorks不断沉淀阿里巴巴大数据建设方法,支撑数据中台建设,同时数万名政务、央国企、金融、零售、互联网、能源、制造、工业等行业的客户携手,不断提升数据应用效率,助力产业数字化升级。产品架构 DataWorks十多年...

离线同步常见问题

数据同步原则:来源端数据源的数据要能写入目的端数据源(来源端和目的端类型需要匹配,字段定义的大小需要匹配),即源端数据类型需要写端数据类型匹配,源端是VARCHAR类型的数据不可写到INT类型的目标列中;目标端的数据类型定义的大小...

安全白皮书概述

Dataphin面向各行各业大数据建设、管理及应用诉求,一站式提供从数据接入到数据消费全链路的智能数据建设资产治理的大数据能力,包括产品、技术和方法等,可帮助企业一站式构建生产经济、质量可靠、安全稳定、消费便捷的企业级数据资产...

Quick BI如何接入TSDB

Quick BI是一个基于云计算致力于大数据高效分析展现的轻量级自助BI工具服务平台。通过对数据源的连接和数据集的创建,对数据进行即时的分析查询;通过电子表格或仪表板功能,以拖拽的方式进行数据的可视化呈现。连入成功后,您可以在...

如何对JSON类型进行高效分析

PolarDB 列存索引(In Memory Column Index,IMCI)功能推出了完备的虚拟列列式JSON功能等,可以快速处理大数据和多种数据类型(包括结构化数据与半结构化数据等),并提供高效的数据分析、查询流计算能力,适用于数据分析、数据仓库...

RDS SQL Server空间不足问题

数据空间的回收通常有如下几种方式:归档数据 删除数据库中不常用的数据(例如早期的历史数据),或者根据需要迁移到其他数据库实例中,或者以其他形式归档保存,通过直接减少数据量来降低已使用数据空间大小。这种方式是控制数据空间增长...

数据可视化概览

背景信息 DMS为您提供了数据数据管理的能力,同时通过SQL Console控制台为您提供以表格形式查询数据的方式,但对于需要通过分析数据去发现业务特性,比如分析趋势、增长对比等场景,单纯的表格无法满足需求,需要把数据可视化才可以支撑...

混合存储型(已停售)

在保证常用数据访问性能不下降的基础上,混合存储型能够幅度降低用户成本,实现性能成本的平衡,同时使单个Redis实例的数据量不再受内存大小的限制。内存数据:内存中存放了热数据的Key和Value,同时为快速确认要操作的Key是否存在,...

PostgreSQL数据

由于主备数据同步存在一定的时间差,特别在于某些特定情况,例如网络延迟等问题,导致备库同步恢复的数据与主库有较差别,从备库同步的数据不是一份当前时间的完整镜像。一致性约束 PostgreSQL在数据存储划分中属于RDBMS系统,对外可以...

DM(达梦)数据

DM(达梦)数据源作为数据中枢,为您提供读取和写入DM数据库的双向通道,能够快速解决海量数据的计算问题。本文为您介绍DataWorks的DM数据同步的能力支持情况。使用限制 离线同步支持读取视图表。DM Reader和DM Writer仅支持使用 独享数据...

AnalyticDB for PostgreSQL数据

AnalyticDB for PostgreSQL数据源...否 无 batchSize 一次性批量提交的记录数大小,该值可以极减少数据集成AnalyticDB for PostgreSQL的网络交互次数,并提升整体吞吐量。但是该值设置过可能会造成数据集成运行进程OOM情况。否 1,024

恢复MongoDB数据库

本文介绍如何通过 数据库备份DBS 恢复已完成备份的MongoDB数据库,可用于误操作后恢复以及分析历史数据等场景。前提条件 已完成数据库备份。相关操作,请参见 MongoDB逻辑备份、从备库备份MongoDB数据库。操作步骤 登录 DBS控制台。单击...

大数据安全治理的难点

大数据体系的特点安全治理难点 由于大数据系统在“存储、用户、入口、流转、交付”等多方面的特点,想要回答好上述问题,存在诸多难点。存储 众所周知,大数据系统以数据类型多(结构化、非结构化、半结构化)、数据(动辄PB级别)...

升级数据库版本

升级数据版本所用时间与数据库的数据量有关,请根据业务情况提前安排升级时间。升级数据版本后不支持降级数据版本。升级数据版本后,低版本的备份数据不能恢复至云数据库MongoDB实例。您可以下载备份文件,将低版本的备份...

技术架构选型

本教程中使用阿里云大数据产品MaxCompute配合DataWorks,完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中,DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...

技术架构选型

本教程中使用阿里云大数据产品MaxCompute配合DataWorks,完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中,DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...

SQL Server数据

由于主备数据同步存在一定的时间差,特别在于某些特定情况,例如网络延迟等问题,导致备库同步恢复的数据与主库有较差别,从备库同步的数据不是一份当前时间的完整镜像。一致性约束 SQL Server在数据存储划分中属于RDBMS系统,对外可以...

DMS支持的数据库

关系型数据库 MySQL SQL Server PostgreSQL MariaDB OceanBase MySQL模式 OceanBase Oracle模式 OceanBase ODP Oracle DB2 达梦数据库 OpenGauss 数据仓库 ClickHouse SelectDB NoSQL数据库 Redis MongoDB 大数据 Hive 录入他云/自建数据库...

Oracle数据

由于主备数据同步存在一定的时间差,在网络延迟等特定情况下,会导致备库同步恢复的数据与主库有较差别,从备库同步的数据不是一份当前时间的完整镜像。一致性约束 Oracle在数据存储划分中属于RDBMS系统,对外可以提供强一致性数据查询...

产品简介

大数据专家服务 大数据专家服务(Bigdata Expert Service)是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障,帮助用户...

Vertica数据

Vertica是一款基于列存储的MPP架构的数据库,Vertica...否 无 batchSize 一次性批量提交的记录数大小,该值可以极减少数据同步系统Vertica的网络交互次数,并提升整体吞吐量。如果该值设置过,会导致数据同步运行进程OOM异常。否 1,024

MongoDB 4.0

升级数据版本所用时间与数据库的数据量有关,请根据业务情况提前安排升级时间。升级数据版本后不支持降级数据版本。升级数据版本后,低版本的备份数据不能恢复至云数据库MongoDB实例。您可以下载备份文件,将低版本的备份...

DB2数据

由于主备数据同步存在一定的时间差,特别在网络延迟等情况下,会导致备库同步恢复的数据不是一份当前时间的完整镜像,主库有较差别。一致性约束 DB2在数据存储划分中属于RDBMS系统,对外可以提供强一致性数据查询接口。例如,一次同步...

ApsaraDB For OceanBase数据

ApsaraDB for OceanBase数据源提供读取和写入ApsaraDB for OceanBase数据的双向功能,您可以使用ApsaraDB for OceanBase数据源配置同步任务同步数据。本文为您介绍DataWorks的ApsaraDB For Oceanbase数据同步能力支持情况。支持的版本 离线...

MongoDB 4.4

第三方云数据库迁移至阿里云数据库MongoDB:使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将华为云文档数据库迁移至阿里云数据库MongoDB 使用MongoDB...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据传输服务 云数据库 Redis 版 云数据库 RDS 数据库备份 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用