2024年
操作审计事件数据迁移至MaxCompute 2024-03-26 新增Pandas API 新说明 MaxFrame提供了兼容Pandas的API接口，您可以用类似于Pandas的方式来操作MaxCompute中的数据，同时利用MaxCompute强大的分布式计算能力，简化您在大数据环境下的数据...
数据归档概述
使用场景示例 在电子商务平台中，每天会产生大量的订单数据，这些订单数据随着时间的推移，其访问需求逐渐减少。为了提高数据库的性能和减少存储空间的占用，可以使用DMS的数据归档，周期性地归档订单数据。注意事项 数据归档操作可能会对...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
生成测试数据
背景信息 OceanBase 开发者中心（OceanBase Developer Center，ODC）提供模拟数据功能供用户在测试数据库性能或者验证功能等需要大量模拟数据的场景下，能够快速根据表中的字段类型生成数据。注意事项 单次模拟数据上限为 1 亿行。拥有检查...
新功能发布记录
OceanBase 数据库之间的数据迁移 支持 TiDB 数据库至 OceanBase 数据库 MySQL 租户的结构迁移、全量迁移、增量同步、全量校验和反向增量 迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户 支持 PolarDB-X 1.0 数据库至 OceanBase ...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
互联网、电商行业离线大数据分析
概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景 电商...
自媒体：易撰
所属行业：自媒体 网站地址：易撰 客户介绍 长沙营智信息技术有限公司是专业的新媒体大数据服务商，其旗下知名品牌易撰，基于新媒体大数据挖掘技术及NLP算法分析，为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
概述
解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源（RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，...
管理数据目录
说明 数据目录页面为您展示了创建集群时您选择的DLF数据目录下的数据库和表。单击 添加数据目录。在 添加数据目录 对话框中，您可以选择已有的DLF数据目录，单击 确定。如果您想添加新的DLF数据目录，可以单击 创建数据目录，跳转至数据湖...
典型场景
基于湖构建数据平台，支持BI、挖掘等业务 对象存储OSS可以作为湖存储，DLA基于OSS构建一站式的大数据平台。具体包括构建数据湖、数据ETL、交互式查询、机器学习等功能。构建数据湖 实时数据湖：支持DB的CDC与消息数据（如Kafka）入湖，构建...
应用场景
数据审计 智能解析数据库及大数据的通信流量，细粒度审计数据访问行为，通过对数据源全量行为的审计溯源、危险攻击的实时告警、风险语句的智能预警，为您最敏感的数据库资产做好最安全的监控保障。个人信息合规 可精准区分和保护个人数据，...
大数据AI公共数据集分析
本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等公共数据），指导您如何快速进行大数据分析，快速熟悉DataWorks的操作界面与最基础的数据分析能力。DataWorks的更...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
外部表概述
MaxCompute支持使用外部表功能查询和分析存储于OSS等外部存储系统的数据。该机制使得用户可以无需将数据导入到MaxCompute内部存储，直接对外部数据进行操作，从而提供了数据处理的灵活性和方便性。背景信息 MaxCompute SQL作为分布式数据...
限制说明
数据大小 云数据库 Memcache 版支持的单条缓存数据的 Key 最大不超过 1 KB，Value 最大不超过 1 MB，过大的数据不适合存储。事务支持 云数据库 Memcache 版不支持事务，有事务性要求的数据不适合写入，而应该直接写入数据库。使用场景 当...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大...
访问外部数据源
说明 对于数据源绑定场景，如果多个数据源共用一个VPC下的交换机，打通其中一个数据源意味着相同交换机下的所有数据源一并打通。因此，只能打通同一Region下的数据源。在Databricks数据洞察控制台，进入集群详情页面。点击详情页面 数据源 ...
配置跨库Spark SQL节点
任务编排中的跨库Spark SQL节点，主要针对各类跨库数据同步和数据加工场景，您可以通过编写Spark SQL，完成各种复杂的数据同步或数据加工的任务开发。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、...
Quick BI连接MaxCompute
MaxCompute支持您将MaxCompute项目数据接入阿里云Quick BI，对海量数据进行实时在线分析服务，同时支持拖拽式操作和丰富的可视化效果，帮助您轻松自如地完成数据分析、业务数据探查、报表制作等工作。本文为您介绍如何使用Quick BI连接...
数据质量保障原则
一致性 一致性通常体现在跨度很大的数据仓库中。例如，某公司有很多业务数仓分支，对于同一份数据，在不同的数仓分支中必须保证一致性。例如，从在线业务库加工到数据仓库，再到各个数据应用节点，用户ID必须保持同一种类型，且长度也要...
数据源开发和生产环境隔离
操作 新建：如果不存在适用环境下的数据源，显示 新建 编辑 和 删除：如果存在适用环境下的数据源，则显示 编辑 和 删除 按钮。删除开发环境和生产环境的数据源：需确认是否存在生产环境关联的同步任务，操作不可逆，删除后，在开发环境...
什么是Dataphin
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
管理数据库资产
添加PolarDB、PolarDB-X、AnalyticDB、OceanBase或通用类型数据库 配置项 说明 类型 选择PolarDB、PolarDB-X、AnalyticDB、OceanBase或通用类型下的数据库类型和版本。名称 设置数据库名称。地址和端口 填写数据库的IP地址和端口。单击 ...
独享资源组
独享调度资源组使用场景 如果非数据集成任务需要访问VPC环境下的数据库、有白名单访问控制的数据库时，需要使用独享调度资源组，独享调度资源组的使用详情请参见 新增和使用独享调度资源组。独享数据集成资源组使用场景 如果您需要同步VPC...
全景视角
阿里云DataWorks为您提供数据生产、数据使用、数据管理视角下的主要数据治理情况。您可以根据需求选择合适的视角，高效的进行数据治理工作。背景信息 为提高不同使用场景下的数据治理效率和质量，DataWorks为您提供以下视角：数据管理视角...
数据服务：低成本快速发布API
数据服务支持通过零代码或自助SQL的双模式，将各类数据源下的数据表生成数据API，同时支持函数计算来辅助加工API的请求参数及返回结果。数据服务采用Serverless架构，用户无需关心运行环境等基础设施，即可将API服务一键发布至API网关。...
概述
从应用视角看，全密态数据库可以解决不同应用场景下的数据安全问题，几种典型场景如下：平台安全运维：该场景主要针对在不可信环境（如第三方平台）下提供的数据库服务的安全防护，保证用户数据在运维过程中的安全。例如，业务将应用数据库...
多租户管理使用说明
当通过系统租户下的用户连接数据库时，若该用户拥有对应的数据库实例访问权限，即可访问所有租户下的数据库实例。普通租户：普通租户需要在系统租户下进行创建，普通租户下的数据库实例与用户完全隔离，无法互相访问，并且普通租户无法访问...
数据标准概述
核心概念 名词 说明 相关文档 标准集 标准集是规范相似或一致、业务含义相关的一组标准的合集，定义了该集合下的数据标准的管理和查看权限、发布流程的审批模板等信息，以便对数据标准进行更精准的管控。每个数据标准都必须归属唯一的一个...
数据标准概述
核心概念 名词 说明 相关文档 标准集 标准集是规范相似或一致、业务含义相关的一组标准的合集，定义了该集合下的数据标准的管理和查看权限、发布流程的审批模板等信息，以便对数据标准进行更精准的管控。每个数据标准都必须归属唯一的一个...
数据建模
载入数据集 在左侧组件列表，将 源/目标 下的 读数据表 组件拖入画布中，并重命名为data4ml。在画布中选中 data4ml 节点，在右侧节点配置页面中的 表名 中输入 data4ml，读取表数据。右键单击画布中的 data4ml 节点，在快捷菜单，单击 执行...
常见问题
数据同步过程中，可以修改源表中的字段类型，目前仅支持整型数据类型之间、浮点数据类型之间的列类型更改，并且只能将取值范围小的数据类型更改为取值范围大的数据类型，或者将单精度数据类型更改为双精度数据类型。整型数据类型：支持...
配置资源组与网络连通
在数据同步任务配置前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据库的网络连通性，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。本文为您介绍数据库在不同网络环境中...
资源组操作及网络连通
访问VPC环境下的数据库测试连通性失败，该如何处理？数据源连通性有时成功，有时失败，如何处理？资源组配置操作问题 已经购买独享资源组，但在数据源测试连通性时或任务执行时找不到该资源组怎么办？如何通过日志查看任务执行在什么资源组...
多账号统一管理
便于企业有效地执行数据安全管理任务，如自动发现敏感数据、数据分类分级、以及对潜在安全威胁的监测和报警。本文介绍如何使用多账号统一管理功能。使用须知 使用多账号统一管理功能的阿里云账号和被管理的阿里云账号必须同属于一个资源...
资产全景
为您清晰展示同一业务板块下的数据结构。全局模式 在Dataphin首页，单击顶部菜单栏的 资产。默认进入 目录 页面。按照下图操作指引，进入 全局 页面。在 全局 页面，右下角会展示各个业务板块的名称、数据量、占总数据量比，以及系统内的 ...
从这里开始
单击工作台页签下的 数据看板、三维城市、数据准备、资源管理 和左上角的 默认工作空间 模块处。在各个功能模块区域您可以体验产品的功能特性。功能 说明 数据看板 单击创建数据看板处，选择任意一种方式创建数据看板，创建完成后的数据...
业务分类
设置完成后，后续该业务分类下的数据建模即可使用此处关联的所有数据域。管理数据集市 创建完成业务分类后，您可以在该业务分类页面的 数据集市管理 区域，查看当前业务分类挂载的数据集市列表，并根据业务需求对目标数据集市进行编辑或...
- 产品推荐
- 这些文档可能帮助您