使用大数据的产品-使用大数据的产品文档介绍内容-阿里云

受众与核心能力

本文为您介绍DataWorks的产品定位、产品受众和产品的核心能力。产品定位 DataWorks致力于为数据开发者、数据分析师、数据资产管理者，打造一个具备开放自主开发与全栈数据研发能力的一站式、标准化、可视化、透明化的智能大数据全生命周期...

大数据安全治理的难点

流转 大数据系统通常是端到端的一整套数据开发和治理服务，不仅要采集数据、加工数据，更要将数据提供给业务方使用。因此，其存在错综复杂的数据流转链路，包括但不限于即席查询链路、离线传输链路、实时传输链路、数据服务API链路、其他...

技术架构选型

本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...

购买指引

其他产品计费：大数据引擎的计算与存储等费用不包含在DataWorks的费用中，例如，您还开通使用了 MaxCompute、Hologres、E-MapReduce 等计算引擎或存储产品，这类产品的费用需参考对应产品的计费逻辑。进入 DataWorks售卖页即可购买所需...

技术架构选型

本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...

通过RAM角色授权模式配置数据源

因此，云账号负责人可以为大数据团队创建自定义角色 BigDataOssRole，并限制可以使用角色的人员为大数据团队的相关人员，实现团队间的权限管控。创建自定义角色。本案例示例创建可信实体为阿里云账号、角色名称为 BigDataOssRole 的自定义...

构建数据仓库

DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库本场景推荐的架构如下。适用行业：全行业...

大数据AI公共数据集分析

本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等公共数据），指导您如何快速进行大数据分析，快速熟悉DataWorks的操作界面与最基础的数据分析能力。DataWorks的更...

索引优化

在大部分传统的TP型数据库中，索引可以极大的提高数据的访问效率。但是在类似与 AnalyticDB PostgreSQL版这样的分布式数据库中，应该谨慎的选择索引的使用。在大部分场景下，AnalyticDB PostgreSQL版更适合快速的顺序扫描，或者结合稀疏...

使用须知

本文介绍使用Lindorm计算引擎SQL语句访问数据库的数据时，需要提前了解的相关内容。了解开源Spark SQL 通过开源Spark SQL访问数据库的数据分为以下三个级别：Catalog：用来标识用户不同的数据源。Namespace：与数据库中的Database或者...

应用场景

实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...

Github实时数据同步与分析

操作难度易所需时间 55分钟使用的阿里云产品实时数仓Hologres 云原生大数据计算服务 MaxCompute 专有网络VPC 大数据开发治理平台 DataWorks DataV数据可视化所需费用 0元阿里云提供一定额度的资源包供您免费体验，开通后会使用计算...

ECS实例说明

大数据型使用本地SATA盘作存储数据，存储性价比高，是大数据量（TB级别的数据量）场景下的推荐机型。说明 Hadoop、Data Science、Dataflow和Druid类型的集群支持Core节点；Zookeeper和Kafka类型的集群不支持Core节点。本地SSD型使用本地...

DataV

DataV数据可视化是使用可视化大屏的方式来分析并展示庞杂数据的产品，您可以在DataV中新建 AnalyticDB MySQL 数据源，通过DataV对 AnalyticDB MySQL 数据进行可视化分析。在DataV中新建AnalyticDB MySQL数据源登录 DataV控制台。选择我的...

USE

如果您当前使用的数据库并非目标数据库，可以通过USE语句切换数据库对象。切换后所有的SQL操作都将在目标数据库中执行。引擎与版本 USE语法适用于宽表引擎和时序引擎。无版本限制。语法 use_statement:=USE { database_identifier|DEFAULT ...

适配组件数据

背景信息本文以使用静态数据源为例，因此可以直接在组件的数据源配置区域粘贴准备好的数据。如果您的数据源为 CSV文件、数据库等其他类型的数据，需要首先添加数据源。如果您需要使用的数据源为 API，直接在数据源配置栏输入API即可。...

适配组件数据

背景信息本文以使用静态数据源为例，因此可以直接在组件的数据配置区域粘贴准备好的数据。如果您的数据源为 CSV文件、数据库等其他类型的数据，需要首先添加数据源。如果您需要使用的数据源为 API，直接在数据配置栏输入API即可。具体...

配置资产数据

本文档介绍配置资产数据的方法，以及资产数据面板的内容，包括数据接口、数据源、数据过滤器和数据轮询频次等。操作步骤登录 DataV控制台。在我的可视化页面，单击您创建的可视化应用项目上方的编辑按钮。在画布编辑器页面，单击图层...

数据分析整体趋势

大数据与数据库一体化：早期大数据技术以牺牲一定程度一致性为基础提供分布式能力，解决了传统单机数据库的扩展性不足问题，在MapReduce基础上提供了标准SQL接口，架构上也逐步采用了部分MPP数据库技术；另一方面，分布式数据库也快速发展...

如何恢复误删除的数据

概述本文主要介绍在使用RDS产品时如何恢复误删除的数据。详细信息恢复大量数据方法恢复MySQL数据恢复SQL Server数据恢复PostgreSQL数据恢复MariaDB数据恢复少量数据方法阿里云的数据管理（DMS）提供的数据追踪功能可以逐条恢复...

我的资产

通过不同的权限来源，用户可获取数据表、API等类型数据资产的使用权限。我的资产以用户的视角展示自有权限或申请授权成功的数据表、数据服务API数据资产，并提供数据资产详情查看等功能，帮助用户清晰的了解在数据加工、数据分析等场景下可...

典型场景

基于湖构建数据平台，支持BI、挖掘等业务对象存储OSS可以作为湖存储，DLA基于OSS构建一站式的大数据平台。具体包括构建数据湖、数据ETL、交互式查询、机器学习等功能。构建数据湖实时数据湖：支持DB的CDC与消息数据（如Kafka）入湖，构建...

运营

数据资产申请，数据使用者向数据管理方提出使用申请，说明申请方式和申请理由。由租户资产管理员进行资产使用的审核处理。数据资产服务，根据数据资源的性质和特点，选择采用数据表或接口方式提供资产服务。数据资产下线，根据数据的实际...

数据质量教程概述

数据质量是数据分析结论有效性和准确性的基础。本文为您介绍数据质量保障教程的业务场景以及如何衡量数据质量的高低。前提条件在开始本教程前，请您首先完成搭建互联网在线运行分析平台教程，详情请参见业务场景与开发流程。业务场景 ...

功能简介

数据资产申请，数据使用者向数据管理方提出使用申请，说明申请方式和申请理由。由租户资产管理员进行资产使用的审核处理。数据资产服务，根据数据资源的性质和特点，选择采用数据表、标签或接口方式提供资产服务。数据资产下线，根据数据...

功能简介

数据资产申请，数据使用者向数据管理方提出使用申请，说明申请方式和申请理由。由租户资产管理员进行资产使用的审核处理。数据资产服务，根据数据资源的性质和特点，选择采用数据表、标签或接口方式提供资产服务。数据资产下线，根据数据...

数据质量教程概述

数据质量是数据分析结论有效性和准确性的基础。本文为您介绍数据质量保障教程的业务场景以及如何衡量数据质量的高低。前提条件在开始本教程前，请您首先完成搭建互联网在线运行分析平台教程，详情请参见业务场景与开发流程。业务场景 ...

场景管理器

图表样式场景管理器是3D地球的子组件，支持独立的样式、数据和交互配置，能够使用数据定义镜头位置，通过移动和缩放的动效展示球体的不同位置。样式面板搜索配置：单击样式面板右上角的搜索配置项图标，可在搜索配置面板中输入您需要...

数据标准

数据字典管理：支持创建并维护逻辑表中使用的数据字典，方便用户在定义数据元或维度属性时进行数据字典引用，支持数据字典物理化、数据字典导入、导出，方便数据字典使用与跨项目复制。质量校验函数：支持质量检测函数自定义，方便用户在...

功能简介

通过数据标准的管理功能，模型设计者可通过设计标准数据元素，定义关键业务对象、业务对象属性及值域，规范标准数据字典，制定并管理平台遵循的统一数据标准，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。模型标准设计 ...

功能简介

通过数据标准的管理功能，模型设计者可通过设计标准数据元素，定义关键业务对象、业务对象属性及值域，规范标准数据字典，制定并管理平台遵循的统一数据标准，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。模型标准设计 ...

目标数据库连接性检查

目标数据库对来源IP进行了限制检测方法：您可以直接在目标数据库部署的服务器上，使用数据迁移任务中填入的数据库账号和数据库密码来连接目标数据库。如果连接正常，说明可能目标数据库可能限制了来源IP。如果目标数据库为MySQL，您可以...

登录数据库

操作步骤在DMS实例列表登录数据库使用该方式登录数据库前，需要确保您的数据库实例已录入DMS。更多信息，请参见云数据库录入。登录数据管理DMS 5.0。在首页左侧的未登录实例列表中，选择并右键单击目标实例。说明数据库实例有未登录...

数据使用诊断

DataWorks的数据使用诊断，为您提供了对当前DataWorks工作空间的数据内容及数据隐私的安全保护能力，以及诊断相关安全问题的最佳实践及解决方案，帮助您快速建立数据使用时和使用后的基本安全体系。进入数据使用诊断登录 DataWorks控制台...

配置SQLServer数据源

SQLServer数据源为您提供读取和写入SQLServer双向通道的功能，您可以通过向导模式和脚本模式配置同步任务。前提条件在配置SQLServer数据源之前，您需要在RDS for SQLServer端做好以下准备工作。创建RDS for SQLServer实例，请参见快速...

有数BI

AnalyticDB MySQL版支持您将 AnalyticDB MySQL版数据接入网易有数BI，帮助您轻松完成数据分析和数据可视化工作。本文为您介绍如何使用网易有数BI连接 AnalyticDB MySQL版，并进行可视化数据分析。前提条件在执行操作前，请确认您已满足...

常见问题

如何理解开源与云原生的大数据技术与产品？MaxCompute作为大数据平台，对业务数据是否有好的监控手段？MaxCompute的项目发挥什么作用？如何获取MaxCompute中的Accesskey_ID和AccessKey_Secret？现有账号的AccessKey被禁用，创建一个新的...

常见问题

数据湖后端存储使用OSS，用户使用数据湖构建面向大数据分析和机器学习场景可以获得集中式权限管理和统一的元数据视图，更容易对接云上大数据和分析产品。什么情况下我需要使用数据湖构建？在云上有数据分析和机器学习需求，希望构建云上的...

面临的业务挑战

这些不同来源、不同格式的数据，各自又有不同的访问和分析方式，而大量传统企业基于关系数据库构建自己的业务系统，已经非常熟悉按SQL的方式去使用数据，这无疑增加了企业存储和使用数据的成本。分析不实时企业运营的形式越来越多样化，...

使用大数据的产品

新品推荐