大数据方法-大数据方法文档介绍内容-阿里云

Quick BI数据大屏加载慢的优化方法

概述 Quick BI数据大屏加载慢的优化方法。详细信息对大屏进行分页，每个大屏不要放过多的图表，使用类似幻灯片的展示形式。使用轮播组或者弹窗，对首屏不需要展示的图表进行滞后展示。如果有很多图片视频素材，对图片和视频进行压缩，...

如何恢复误删除的数据

详细信息恢复大量数据方法 恢复MySQL数据恢复SQL Server数据恢复PostgreSQL数据恢复MariaDB数据恢复少量数据方法 阿里云的数据管理（DMS）提供的数据追踪功能可以逐条恢复数据，且会自动生成回滚语句，便于少量数据的恢复。...

大数据分析工具的常见问题和解决方法

概述 大数据分析是阿里云用户中心与DataWorks和MaxCompute联合推出的成本分析工具，提供大数据分析能力，解决因账单过大而导致无法分析的问题，当前仍处于灰度期间。在使用大数据分析时可能会碰到DataWorks或MaxCompute的权限问题，您可以...

什么是DataWorks

从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与数万名政务、央国企、金融、零售、互联网、能源、制造、工业等行业的客户携手，不断提升数据应用效率，助力产业数字化升级。产品架构 DataWorks十多年...

EMR数据开发停止更新公告

作为一站式大数据开发治理平台，DataWorks沉淀阿里巴巴十多年大数据建设方法论，为客户完成从入湖、建模、开发、调度、治理、安全等全链路数据湖开发治理能力，帮助客户提升数据的应用效率。迁移流程阿里云DataWorks on EMR团队提供了完善...

标准代码

标准代码是字段标准的取值范围，在标准代码中可设置某一字段标准可选择的数据的内容以及范围。例如性别字段标准的标准代码内容应该为男或女。本文将为您介绍标准代码的创建方法。创建目录进入智能数据建模页面。登录 DataWorks控制台，...

Hive作业异常排查及处理

解决方法：方法1：如果确认Hive表数据是临时或者测试数据，可以尝试修改Hive表路径为某个OSS路径，并且再次调用 drop table 或 drop database 命令。Hive SQL alter table test_tbl set location 'oss:/bucket/not/exists' drop table test...

问题汇总

补数据补数据功能说明为什么小时分钟任务补数据选择了并行但实际不生效？为什么补数据选择业务时间后不运行，实例显示黄色，实例状态显示等待时间？...为什么不能在调度资源组上进行大数据计算？其他如何设置任务优先级？

SQL错误码（ODPS-01CCCCX）

处理方法：检查创建外部表语句，确保外部表各列的数据类型与所映射的源表的列数据类型一致。更多创建外部表语法信息，请参见外部表。ODPS-0130071:Semantic analysis exception-max depth of expression is xxxx,which exceeds limit of ...

SKEWJOIN HINT

当两张表Join存在热点，导致出现长尾问题时，您可以通过取出热点key，将数据分为热点数据和非热点数据两部分处理，最后合并的方式，提高Join效率。SkewJoin Hint可以通过自动或手动方式获取两张表的热点key，分别计算热点数据和非热点数据...

与标准SQL的主要区别及解决方法

如果希望执行大数据量的排序任务，甚至是全表排序任务，可以增大N值。解决方案请参见 MaxCompute查询得到的数据是根据什么排序的？UNION ALL 参与UNION ALL运算的所有表必须列数一致，否则会报错。参与UNION ALL运算的所有列的数据类型、列...

Kafka常见问题

Kafka数据日志目录Log Directory磁盘写满当Kafka数据日志目录磁盘被写满，会导致相应的Log Directory异常Offline，您可以参见 EMR Kafka磁盘写满运维，选择合适的方法进行处理。报错“Too many open files”问题分析：分区过多或者网络...

动态过滤器（Dynamic Filter）

DFC（Dynamic Filter Consumer）算子：动态过滤器的消费者（Consumer），利用Bloom Filter和Range Filter过滤大表侧的数据。Range Filter会尽可能将过滤条件下推到底层存储，以便从源头过滤数据。对于不同类型的JOIN语义，JOIN对象可担任的...

常见问题

1.售前咨询渠道尊敬的“准”大数据专家服务用户您好：如果您准备购买阿里云大数据专家服务，但是遇到如服务范围、规格、服务选择等售前方面的问题，您可以通过钉钉与我们联系，您将“当面”获得阿里云大数据专家咨询专家的建议。...

应用场景

实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...

什么是EMR on ACK

阿里云E-MapReduce（简称EMR）on ACK提供了全新构建大数据平台的方式。您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注...

Spark服务异常排查及处理

本文介绍Spark服务异常的排查方法和解决方案。Spark服务日志当出现Spark服务异常时，您可以查看Spark服务的日志。服务日志目录：EMR-3.40.0之后版本、4.10.1之后版本、5.6.0之后版本：/var/log/emr/spark EMR-3.40.0及之前版本、4.10.1及...

Hive服务异常排查及处理

本文介绍Hive服务异常的排查方法和解决方案。异常排查如果客户端遇到异常或性能等问题，您可以按照如下步骤进行排查：排查异常时间段机器CPU、内存、网络以及磁盘是否有异常。排查组件是否正常：检查访问集群的Hive组件中 HiveMetaStore ...

快速体验

DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...

发展历程

关键性里程碑 2009年9月，ODPS（即现在的MaxCompute）大数据平台飞天项目正式启动。2010年10月，阿里巴巴集团自主研发的第一代云计算平台稳定运行。2013年8月，平台的单集群规模已达到5000台。2014年7月，平台开始对外提供服务，完全替换...

Spark作业异常排查及处理

本文介绍Spark作业异常的排查方法和解决方案。内存问题引起的报错 Container killed by YARN for exceeding memory limits 报错原因：提交App时申请的内存量较低，但JVM启动占用了更多的内存，超过了自身的申请量，导致被YARN NodeManager...

应用场景

数据分析业务云数据库 Memcache 版搭配大数据计算服务 MaxCompute。实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作...

技术架构选型

本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...

执行

ResultFrame head 查看开头N行数据，这个方法会执行所有结果，并取开头N行数据。ResultFrame tail 查看结尾N行数据，这个方法会执行所有结果，并取结尾N行数据。ResultFrame to_pandas 转换为Pandas DataFrame或者Series，wrap参数为True的...

IoT数据自动化同步至云端解决方案

大数据分析是大数据完成数据价值化的重要手段之一，而进行大数据分析的第一步是让数据成功上云。解决方案 IoT数据自动化同步至云端解决方案主要包括存储原始数据和同步数据至分析系统两部分。IoT设备大量的数据通常以半结构化的形式存储。...

技术架构选型

本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...

日期数据格式转换：STRING、TIMESTAMP、DATETIME互相...

本文为您介绍STRING、TIMESTAMP与DATETIME类型数据间的转换方法，帮助您在实际业务处理过程中，快速对标找到合适的日期转换方法，提升业务处理效率。日期数据格式转换常见场景如下：STRING转换为TIMESTAMP STRING转换为DATETIME TIMESTAMP...

DataWorks on EMR数据安全方案

在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...

产品概述

什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...

产品简介

开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...

构建数据仓库

DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库本场景推荐的架构如下。适用行业：全行业...

自媒体：易撰

所属行业：自媒体网站地址：易撰客户介绍长沙营智信息技术有限公司是专业的新媒体大数据服务商，其旗下知名品牌易撰，基于新媒体大数据挖掘技术及NLP算法分析，为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构...

客户案例

价值体现从大数据平台上云整体“降本增效”的方案快速切入，迁移到大数据MaxCompute、实时计算、DataWorks后，部分任务有10倍以上的性能提升，存储从自建Hadoop 3PB降到900T，利用Flink实时数据处理能力，将宝宝树现有的场景实时化（...

通用数据开发

通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...

DMS支持的数据库

关系型数据库 MySQL SQL Server PostgreSQL MariaDB OceanBase MySQL模式 OceanBase Oracle模式 OceanBase ODP Oracle DB2 达梦数据库 OpenGauss 数据仓库 ClickHouse SelectDB NoSQL数据库 Redis MongoDB 大数据 Hive 录入他云/自建数据库...

数据分析整体趋势

大数据与数据库一体化：早期大数据技术以牺牲一定程度一致性为基础提供分布式能力，解决了传统单机数据库的扩展性不足问题，在MapReduce基础上提供了标准SQL接口，架构上也逐步采用了部分MPP数据库技术；另一方面，分布式数据库也快速发展...

常见问题

数据湖后端存储使用OSS，用户使用数据湖构建面向大数据分析和机器学习场景可以获得集中式权限管理和统一的元数据视图，更容易对接云上大数据和分析产品。什么情况下我需要使用数据湖构建？在云上有数据分析和机器学习需求，希望构建云上的...

数据模型概述

DDM目前支持逻辑模型和物理模型建模，其中物理模型又分为关系型数据模型和非关系型数据模型，支持的大数据引擎为MaxCompute、Hive。说明 Hadoop的MR调优参数属于底层，DDM是数据建模工具，支持设置表、字段等物理属性。

云产品集成

常见云产品如下：大数据开发治理平台 DataWorks 实时计算 Flink 版数据库管理 DMS DataV 数据可视化 Quick BI 数据分析与展现前提条件已获取 OceanBase 数据库的基本连接信息，详细步骤请参见获取连接参数。大数据开发治理平台 ...

大数据方法

新品推荐