备份大小
备份大小说明 与存储空间使用量的关系 数据备份和日志备份存放在备份空间，都不占用存储空间。日志分为本地日志和日志备份。日志 说明 费用 作用 本地日志 实例的原始日志，存放于实例的存储空间。不涉及费用，但占用实例存储空间。例如，...
数据模型概述
数据模型（Data Model）是数据特征的抽象，它从抽象层次上描述了系统的静态特征、动态行为和约束条件，为数据库系统的信息表示与操作提供一个抽象的框架。DDM目前支持逻辑模型和物理模型建模，其中物理模型又分为关系型数据模型和非关系型...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
支持的数据源
本文介绍Lindorm与关系型数据库、NoSQL数据库、大数据生态之间的数据导入导出能力。其中部分能力由LTS（Lindorm自研的数据通道服务）支持，部分能力由DataWorks或DTS支持。数据导入 源集群 目标集群 全量导入 增量导入 关系数据库 MySQL ...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。...数据展现与分享：数据提取成功后，可以通过报表、地理信息系统等多种展现方式，展示与分享大数据分析、处理后的成果。
映射关系概述
全部展开 视角下，为您展示每个对象（如字段）与数据标准的一一映射关系，如果一个对象映射到了多个数据标准，将生成多条映射关系。映射关系入口 在Dataphin首页，单击顶部菜单栏的 资产。按照下图指引，进入有效 映射 的映射关系页面。...
映射关系概述
全部展开 视角下，为您展示每个对象（如字段）与数据标准的一一映射关系，如果一个对象映射到了多个数据标准，将生成多条映射关系。映射关系入口 在Dataphin首页，单击顶部菜单栏的 资产。按照下图指引，进入有效 映射 的映射关系页面。...
添加数据集
DataV数据集支持多种数据源的接入，如数据库、excel表格文件等，通过对数据的结构化存储和元数据的汇集整理，...创建并保存完成后的数据集会自动排列显示在 数据集管理 页面中，每一个保存的数据集后面都会自动显示数据集内的数据信息数量。
混合存储型（已停售）
使用混合存储型，将所有课程信息存储到磁盘，访问量大的课程和题库数据存储到内存并常驻内存，保证高频访问数据的读写性能，实现高性能与高性价比的有机结合。典型业务场景的示例如下：场景1：使用开源Redis集群存储了100 GB的数据，但高峰...
创建OSS外部表
MaxCompute支持您在项目中创建OSS（Object Storage Service）外部表，与存储服务OSS上的目录建立映射关系，您可以通过OSS外部表访问OSS目录下的数据文件中的非结构化数据，或将MaxCompute项目中的数据写入OSS目录。本文为您介绍创建OSS外部...
EMR Workbench
阿里云EMR Workbench是一个综合性的大数据分析和开发环境，作为阿里云E-MapReduce的一部分，它提供了EMR Notebook和EMR Workflow两个核心功能。通过EMR Workbench，您可以轻松进行数据开发，以及交互式数据分析，并设计复杂的数据处理工作...
如何处理Tair集群数据倾斜
常见于在KKV（Key-key-value）类型的数据结构中，例如Hash、List、Set、Zset等，存放过多或过大的field，从而导致单个Key过大，产生实例数据倾斜。更多关于大Key的信息，请参见 发现并处理大Key和热Key。避免使用大Key。对大Key进行拆分，...
如何处理Redis集群数据倾斜
常见于在KKV（Key-key-value）类型的数据结构中，例如Hash、List、Set、Zset等，存放过多或过大的field，从而导致单个Key过大，产生实例数据倾斜。更多关于大Key的信息，请参见 发现并处理Redis的大Key和热Key。避免使用大Key。对大Key进行...
快速体验
主要操作流程 操作目的 维度建模 使用DataWorks的 智能数据建模 完成对业务数据仓库的模型规范制定及数据分层、数据域、业务过程等信息的设定，完成逻辑模型的设计，并将逻辑模型发布生成物理表。DataWorks智能建模会将创建的模型表发布到...
导入概述
StarRocks导入方式与各数据源关系图如下。您可以根据不同的数据来源选择不同的导入方式：离线数据导入：如果数据源是Hive或HDFS，推荐使用 Broker Load。如果数据表很多导入比较麻烦可以使用Hive外表，性能会比Broker load导入效果差，但是...
数据集市
说明 删除 指定主题域，不仅会删除该主题域与数据集市的绑定关系，同时，会将该主题域一并删除，请您谨慎操作。创建子数据集市 在一级数据集市下，如有其他子数据集市，可继续新建子数据集市。创建方法与一级数据集市相同。后续步骤 完成...
OSS数据安全防护最佳实践
数据脱敏 数据进行对外交换供用户分析或使用时，未进行脱敏处理，导致敏感信息的意外泄漏。DSC 支持灵活多样的内置或自定义脱敏算法，可实现生产类敏感数据脱敏到开发、测试等非生产环境使用的场景，并确保脱敏后的数据保真可用。异常检测...
减灾与应急时空解决方案与案例
全球气象海洋环境数值预报数据以及历史灾情数据等，传统关系型数据库无法良好支持各种数据类型，传统GIS服务器也难以高效存储与管理。大量高分辨率栅格数据、矢栅一体化点线面查询及特征统计耗时较长，严重影响用户体验。传统GIS服务软件...
准备环境
实名认证，详情请参见 个人实名认证 背景信息 本次实验涉及的阿里云产品如下：大数据计算服务 MaxCompute 数据工场 DataWorks 人工智能平台 PAI MaxCompute DataWorks PAI 开通大数据计算服务MaxCompute 说明 如果您已经开通MaxCompute，请...
什么是图数据库GDB?
图数据库与传统关系型数据库相比的优势 传统的关系型数据库和图数据库无论是在模型，存储以及查询优化上都存在极大的差异。比如社交用户关系中的2度查询请求，传统关系型数据库处理起来至少是秒级别的，3度查询更差甚至无法支持。对比而言...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
资产全景及目录概述
整体概述 Dataphin的数据资产功能，基于数据资产管理的规范及方法论，帮助您对数据资产进行盘点评估：支持自动化提取分析元数据，可视化构建数据资产大图，便于管理者发现与了解数据资产价值。支持对数据生产中的计算、存储、安全、应用等...
资产全景及目录概述
整体概述 Dataphin的数据资产功能，基于数据资产管理的规范及方法论，帮助您对数据资产进行盘点评估：支持自动化提取分析元数据，可视化构建数据资产大图，便于管理者发现与了解数据资产价值。支持对数据生产中的计算、存储、安全、应用等...
创建MaxCompute数据源
进行数据同步：DataWorks的数据集成模块为您提供读取和写入数据至MaxCompute的能力，您可将其他数据源的数据同步至当前MaxCompute数据源，或将当前MaxCompute数据源的数据同步至其他数据源。同时，可根据需要选择离线同步、实时同步、同步...
导入概述
StarRocks导入方式与各数据源关系图如下。您可以根据不同的数据来源选择不同的导入方式：离线数据导入：如果数据源是Hive或HDFS，推荐使用 Broker Load。如果数据表很多导入比较麻烦可以使用Hive外表，性能会比Broker load导入效果差，但是...
Superset（仅对存量用户开放）
使用Superset访问Hive数据库 Superset提供了SQLAlchemy以多种语言支持各种各样的数据库，包括MySQL、Oracle、PostgreSQL和Microsoft SQL Server等关系型数据库，以及Hive、Presto和Druid等大数据查询引擎。这里以E-MapReduce Hadoop集群...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
基本介绍
与云原生多模数据库Lindorm的关系 云原生多模数据库Lindorm是阿里巴巴自主研发的多模型数据库，云数据库HBase增强版的内核由 云原生多模数据库Lindorm宽表引擎 提供，为了获取更新、更完善的能力，推荐直接使用云原生多模数据库Lindorm。...
查看敏感数据血缘（公测）
DataWorks的数据血缘功能支持可视化展示敏感数据的血缘关系，自动分析字段之间的异常关联关系、敏感数据识别结果异常的字段，帮助您梳理敏感数据的扩散情况及影响面，提高数据识别效率。本文为您介绍如何查看血缘关系图。背景信息 数据血缘...
创建Teradata数据源
在 新建数据源 对话框的 关系型数据库 区域，选择 Teradata。如果您最近使用过Teradata，也可以在 最近使用 区域选择Teradata。同时，您也可以在搜索框中，输入Teradata的关键词，快速筛选。在 新建Teradata数据源 对话框中，配置连接数据...
恢复MongoDB数据库
本文介绍如何通过 数据库备份DBS 恢复已完成备份的MongoDB数据库，可用于误操作后恢复以及分析历史数据等场景。前提条件 已完成数据库备份。相关操作，请参见 MongoDB逻辑备份、从备库备份MongoDB数据库。操作步骤 登录 DBS控制台。单击...
创建Teradata数据源
在 新建数据源 对话框的 关系型数据库 区域，选择 Teradata。如果您最近使用过Teradata，也可以在 最近使用 区域选择Teradata。同时，您也可以在搜索框中，输入Teradata的关键词，快速筛选。在 新建Teradata数据源 对话框中，配置连接数据...
PolarDB MySQL版迁移至ClickHouse集群
更多信息，请参见 极简模式控制台 和 自定义DMS界面布局与样式。您也可以登录 新版DTS迁移任务的列表页面。在 迁移任务 右侧，选择迁移实例所属地域。说明 新版DTS迁移任务列表页面，需要在页面左上角选择迁移实例所属地域。单击 创建任务...
PolarDB MySQL版同步至ClickHouse集群
更多信息，请参见 目标库对象名称大小写策略。源库对象 在 源库对象 框中单击待同步对象，然后单击 将其移动至 已选择对象 框。说明 同步对象的选择粒度为库、表、列。已选择对象 如需更改单个同步对象在目标实例中的名称，请右击 已选择...
数据源管理概述
功能介绍 多数据源类型接入：Dataphin内置丰富的数据源类型，支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息，请参见 Dataphin支持的数据源。自定义数据源类型：在内置的...
数据源管理概述
功能介绍 多数据源类型接入：Dataphin内置丰富的数据源类型，支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息，请参见 Dataphin支持的数据源。自定义数据源类型：在内置的...
DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
MaxCompute表数据
血缘信息 用于查看引擎节点内部或引擎节点间的血缘关系，您也可以查看当引擎作为数据源时，与产出的数据接口API之间的血缘关系。此外，MaxCompute还支持基于离线同步的完整链路血缘查看。此数据为离线统计，有T+1的延迟。说明 如需从API...
入湖基础操作
关系数据库全量入湖：可以实现RDS MySQL或PolarDB数据库表数据全量同步到数据湖，选择在数据源管理中配置好的数据源，将数据源对应数据库中选定表的数据全量同步到OSS中，如果待同步表中数据量大，则所消耗的资源也会比较大，建议在业务...
东软案例
在运维过程中，用户通过实时监控仪表盘、统计分析报表或风险定位、检测工具对接Lindorm多模引擎海量数据检索、分析能力，来满足不同应用场景的运维大数据信息提取需要。图 3.东软新型IT智能运维系统部署方案 适用场景 实时状态大屏展现。...
- 产品推荐
- 这些文档可能帮助您