生成测试数据

背景信息 OceanBase 开发者中心(OceanBase Developer Center,ODC)提供模拟数据功能供用户在测试数据库性能或者验证功能等需要大量模拟数据的场景,能够快速根据表中的字段类型生成数据。注意事项 单次模拟数据上限为 1 亿行。拥有检查...

新功能发布记录

OceanBase 数据库之间的数据迁移 支持 TiDB 数据库至 OceanBase 数据库 MySQL 租户的结构迁移、全量迁移、增量同步、全量校验和反向增量 迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户 支持 PolarDB-X 1.0 数据库至 OceanBase ...

宜搭创建大屏实操

在画布编辑器中选择覆盖面比较大的图层,如 基础平面地图 组件,右键单击 锁定,则被它所覆盖的 柱状图 组件将会展示出来,如果需要解锁,可以在左侧图层栏面板中选中 基础平面地图 组件,并右键单击 解锁。按照同样的方法修改其它组件的...

应用场景

实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线,您可以实时接入APP、WEB、IoT和数据库等产生的异构数据,统一管理,并投递到下游的分析、归档等系统,构建清晰的数据流,让您更好的释放数据的价值。...

数据集成概述

背景信息 面对各行各业对大数据的应用,数据集成会有很多的诉求,包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优(例如容错,限速,并发)等。...

数据模型概述

DDM目前支持逻辑模型和物理模型建模,其中物理模型又分为关系型数据模型和非关系型数据模型,支持的大数据引擎为MaxCompute、Hive。说明 Hadoop的MR调优参数属于底层,DDM是数据建模工具,支持设置表、字段等物理属性。

概述

解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源(RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据数据)和目标OSS数据仓库,系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中,...

受众与核心能力

产品定位 DataWorks致力于为数据开发者、数据分析师、数据资产管理者,打造一个具备开放自主开发与全栈数据研发能力的一站式、标准化、可视化、透明化的智能大数据全生命周期云研发平台。DataWorks赋予用户仅通过单一平台,即可实现数据...

典型场景

基于湖构建数据平台,支持BI、挖掘等业务 对象存储OSS可以作为湖存储,DLA基于OSS构建一站式的大数据平台。具体包括构建数据湖、数据ETL、交互式查询、机器学习等功能。构建数据湖 实时数据湖:支持DB的CDC与消息数据(如Kafka)入湖,构建...

应用场景

数据审计 智能解析数据库及大数据的通信流量,细粒度审计数据访问行为,通过对数据源全量行为的审计溯源、危险攻击的实时告警、风险语句的智能预警,为您最敏感的数据库资产做好最安全的监控保障。个人信息合规 可精准区分和保护个人数据,...

数据集成概述

背景信息 面对各行各业对大数据的应用,数据集成会有很多的诉求,包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优(例如容错,限速,并发)等。...

应用场景

大数据场景 云数据库HBase支持海量全量数据的低成本存储、快速批量导入和实时访问,具备高效的增量及全量数据通道,可轻松与Spark、MaxCompute等大数据平台集成,完成数据规模离线分析。优势如下:低成本:高压缩比,数据冷热分离,...

外部表概述

但这两种方法都有不足之处:第一种方法需要在MaxCompute系统外部做一次中转,如果OSS数据量太,还需要考虑如何并发来加速,无法充分利用MaxCompute的规模计算能力。第二种方法通常需要申请UDF网络访问权限,还需要开发者自己控制作业...

数据分析概述

功能概述 SQL查询 SQL查询是使用标准的SQL语句,来查询和分析存储在MaxCompute中的大数据,详情请参见 SQL查询。您可以通过编写SQL语句,对有查询权限的数据源进行快速的数据查询与分析操作,详情请参见 功能概览。DataWorks SQL查询提供了...

限制说明

数据大小 云数据库 Memcache 版支持的单条缓存数据的 Key 最大不超过 1 KB,Value 最大不超过 1 MB,过大的数据不适合存储。事务支持 云数据库 Memcache 版不支持事务,有事务性要求的数据不适合写入,而应该直接写入数据库。使用场景 当...

将云消息队列 Kafka 版的数据迁移至MaxCompute

本文介绍如何使用DataWorks数据同步功能,将 云消息队列 Kafka 版 集群上的数据迁移至阿里云大数据计算服务MaxCompute,方便您对离线数据进行分析加工。前提条件 在开始本教程前,确保您在同一地域中已完成以下操作:云消息队列 Kafka 版 ...

数据迁移

本文为您介绍数据迁移的最佳实践,包含将其他业务平台的业务数据或日志数据迁移至MaxCompute,或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据,如果您的数据存放在传统的关系型数据库且数据量庞大...

管理数据源权限

您可以针对整个工作空间,或者工作空间下的某些人员进行数据源分享:如果数据源未设置过权限,则继承以前数据源的权限控制。当针对某个工作空间进行权限设置时,将会影响该工作空间内的所有人员。即使后续添加新成员,也会遵循同样的权限。...

访问外部数据

说明 对于数据源绑定场景,如果多个数据源共用一个VPC下的交换机,打通其中一个数据源意味着相同交换机下的所有数据源一并打通。因此,只能打通同一Region下的数据源。在Databricks数据洞察控制台,进入集群详情页面。点击详情页面 数据源 ...

配置跨库Spark SQL节点

任务编排中的跨库Spark SQL节点,主要针对各类跨库数据同步和数据加工场景,您可以通过编写Spark SQL,完成各种复杂的数据同步或数据加工的任务开发。前提条件 支持的数据库类型:MySQL:RDS MySQL、PolarDB MySQL版、MyBase MySQL、...

Quick BI连接MaxCompute

MaxCompute支持您将MaxCompute项目数据接入阿里云Quick BI,对海量数据进行实时在线分析服务,同时支持拖拽式操作和丰富的可视化效果,帮助您轻松自如地完成数据分析、业务数据探查、报表制作等工作。本文为您介绍如何使用Quick BI连接...

数据质量保障原则

一致性 一致性通常体现在跨度很大的数据仓库中。例如,某公司有很多业务数仓分支,对于同一份数据,在不同的数仓分支中必须保证一致性。例如,从在线业务库加工到数据仓库,再到各个数据应用节点,用户ID必须保持同一种类型,且长度也要...

数据源开发和生产环境隔离

操作 新建:如果不存在适用环境下的数据源,显示 新建 编辑 和 删除:如果存在适用环境下的数据源,则显示 编辑 和 删除 按钮。删除开发环境和生产环境的数据源:需确认是否存在生产环境关联的同步任务,操作不可逆,删除后,在开发环境...

什么是Dataphin

Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出,一站式提供数据采、建、管、用全生命周期的大数据能力,以助力企业显著提升数据治理水平,构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...

管理数据库资产

添加PolarDB、PolarDB-X、AnalyticDB、OceanBase或通用类型数据库 配置项 说明 类型 选择PolarDB、PolarDB-X、AnalyticDB、OceanBase或通用类型下的数据库类型和版本。名称 设置数据库名称。地址和端口 填写数据库的IP地址和端口。单击 ...

导入导出表数据

MaxCompute Studio可以将CSV、TSV等格式的本地数据文件导入至MaxCompute表中,也可将MaxCompute表中的数据导出到本地文件。MaxCompute Studio通过Tunnel导入导出数据。前提条件 导入导出数据使用MaxCompute Tunnel,因此要求MaxCompute ...

独享资源组

独享调度资源组使用场景 如果非数据集成任务需要访问VPC环境下的数据库、有白名单访问控制的数据库时,需要使用独享调度资源组,独享调度资源组的使用详情可参考文档:新增和使用独享调度资源组 独享数据集成资源组使用场景 如果您需要同步...

数据服务:低成本快速发布API

数据服务支持通过零代码或自助SQL的双模式,将各类数据下的数据表生成数据API,同时支持函数计算来辅助加工API的请求参数及返回结果。数据服务采用Serverless架构,用户无需关心运行环境等基础设施,即可将API服务一键发布至API网关。...

概述

从应用视角看,全密态数据库可以解决不同应用场景下的数据安全问题,几种典型场景如下:平台安全运维:该场景主要针对在不可信环境(如第三方平台)下提供的数据库服务的安全防护,保证用户数据在运维过程中的安全。例如,业务将应用数据库...

MapReduce

自然语言处理:基于大数据的训练和预测。基于语料库构建单词同现矩阵,频繁项集数据挖掘、重复文档检测等。广告推荐:用户单击(CTR)和购买行为(CVR)预测。MapReduce流程说明 MapReduce处理数据过程主要分成Map和Reduce两个阶段。首先...

API概览

DescribeDatabases 查询数据库列表 查询租户下的数据库列表。ModifyDatabaseDescription 修改数据库描述 修改数据库的描述信息。ModifyTenantUserStatus 锁定或解锁指定的数据库账号 该接口用于锁定或解锁指定的数据库账号。...

数据标准概述

核心概念 名词 说明 相关文档 标准集 标准集是规范相似或一致、业务含义相关的一组标准的合集,定义了该集合下的数据标准的管理和查看权限、发布流程的审批模板等信息,以便对数据标准进行更精准的管控。每个数据标准都必须归属唯一的一个...

数据标准概述

核心概念 名词 说明 相关文档 标准集 标准集是规范相似或一致、业务含义相关的一组标准的合集,定义了该集合下的数据标准的管理和查看权限、发布流程的审批模板等信息,以便对数据标准进行更精准的管控。每个数据标准都必须归属唯一的一个...

数据建模

载入数据集 在左侧组件列表,将 源/目标 下的数据表 组件拖入画布中,并重命名为data4ml。在画布中选中 data4ml 节点,在右侧节点配置页面中的 表名 中输入 data4ml,读取表数据。右键单击画布中的 data4ml 节点,在快捷菜单,单击 执行...

常见问题

数据同步过程中,可以修改源表中的字段类型,目前仅支持整型数据类型之间、浮点数据类型之间的列类型更改,并且只能将取值范围小的数据类型更改为取值范围大的数据类型,或者将单精度数据类型更改为双精度数据类型。整型数据类型:支持...

配置资源组与网络连通

独享数据集成资源组暂不支持经典网络环境下的数据库同步,建议您将经典网络环境下的数据库迁移至VPC环境。无法保障公网环境下的数据同步速度和任务稳定性,建议通过内网或者 云企业网 同步。背景信息 复杂网络环境下的数据源进行异构数据源...

资源组操作及网络连通

访问VPC环境下的数据库测试连通性失败,该如何处理?数据源连通性有时成功,有时失败,如何处理?资源组配置操作问题 已经购买独享资源组,但在数据源测试连通性时或任务执行时找不到该资源组怎么办?如何通过日志查看任务执行在什么资源组...

DataWorks节点合集

类型 描述 数据集成同步类节点 DataWorks数据集成支持复杂网络环境下的数据同步,并提供用于离线(批量)数据周期性同步的离线同步节点,与用于单表或整库增量数据实时同步的实时同步节点。该节点可在数据开发(DataStudio)界面直接创建。...

从这里开始

单击工作台页签下的 数据看板、三维城市、数据准备、资源管理 和左上角的 默认工作空间 模块处。在各个功能模块区域您可以体验产品的功能特性。功能 说明 数据看板 单击创建数据看板处,选择任意一种方式创建数据看板,创建完成后的数据...

业务分类

设置完成后,后续该业务分类下的数据建模即可使用此处关联的所有数据域。管理数据集市 创建完成业务分类后,您可以在该业务分类页面的 数据集市管理 区域,查看当前业务分类挂载的数据集市列表,并根据业务需求对目标数据集市进行编辑或...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云原生大数据计算服务 MaxCompute 数据库备份 数据传输服务 云数据库 RDS 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用