基本概念

副本(Replica)为了在异常情况下保证数据的安全性和服务的高可用性,云数据库ClickHouse 提供了副本机制,将单台服务器的数据冗余存储在2台或多台服务器上。数据库(Database)数据库是 云数据库ClickHouse 集群中的最高级别对象,内部...

快速入门

参数 描述 Project 项目(Project)是DataHub数据的基本组织单元,下面包含多个Topic。值得注意的是,DataHub的项目空间与MaxCompute的项目空间是相互独立的。用户在MaxCompute中创建的项目不能复用于DataHub,需要独立创建。描述 Project的...

DataHub数据

datahub侧对于一次request请求写入的数据条数限制是10000条,超出10000条数据会超出限制导致任务出错,请根据您单条数据平均数据量*10000条数据的数据总量来从侧方面进行单次写入datahub的数据条数控制。比如每条数据10 k,那么此参数的...

概述

背景信息 DMS数据分析提供典型的数据集、仪表盘和大屏模型,在仪表盘或大屏中提供丰富的可视化图表和组件来展示数据。您可以将数据库中的表或单条SQL查询结果作为数据集,在仪表盘或大屏中对数据集中的数据以表格、交叉表、折线图、柱条形...

透明数据加密概述

加密解密流程 所有加密解密操作均在内存中进行,内存中的数据是明文,磁盘中的数据是密文,这可以避免因磁盘被盗而产生的数据泄露问题,同时数据库的使用方式保持不变,没有适配成本。数据库启动时会从KMS获取KEK,从而解密DEK,解密后的...

基本概念

数据同步 数据源:是指数据库应用程序所使用的数据库或者数据库服务器,在数据资源平台的数据同步中可以将配置好的数据源端数据同步到目标端。多源异构数据:指的是多种不同结构的数据源。数据模板:用于对非结构化数据的解释,当创建数据...

DataWorks数据服务对接DataV最佳实践

DataV通过与DataWorks数据服务的对接,通过交互式分析Hologres连接DataWorks数据服务开发并生成API,快速在DataV中调用API并展现MaxCompute的数据分析结果。数据服务对接DataV产生背景 MaxCompute是阿里巴巴集团自主研究的快速、完全托管的...

数据加工过程卡点校验

本文为您介绍在线或离线业务系统的数据在生成过程中进行的卡点校验。在线系统卡点校验 在线业务系统产生的数据是数据仓库的重要数据来源。在线业务系统复杂多变,每次变更都会产生数据的变化。因此,数据仓库需要适应多变的业务发展,及时...

创建ClickHouse数据

前提条件 若您需在Dataphin中创建基于阿里云产品的数据源,创建数据源前,需确保Dataphin的IP已添加至数据库白名单(或安全组)中,使数据源与Dataphin网络互通。具体操作,请参见 数据源白名单配置。权限说明 Dataphin仅支持 超级管理员、...

调试实时任务

自动抽样数据 自动抽样到的数据是随机的,所以适用于对采集到的数据没有限制的场景。针对HBase、MySQL、MaxCompute、DataHub、Kafka数据源支持自动抽样数据,您可单击 自动抽样,进行抽样数据。说明 Kafka中支持json、csv、canal-json、...

主备方案介绍

A:不会,双向同步中会根据集群ID区分是数据同步写入的数据还是客户端写入的数据,保证数据不会循环发送。Q:目标实例出现异常无法写入时,LTS是否会缓存数据?A:LTS不会缓存数据,数据同步中当目标实例无法写入时,会记录读取WAL的点位,...

常见问题

因为含增量任务的同步实例暂停期间,仅目标端的数据写入暂停,源端增量变化的数据依然会进行采集。为什么数据同步的价格要高于数据迁移的价格?因为数据同步具有更多的高级特性,例如支持在线调整同步对象、支持配置MySQL数据库之间的双向...

创建ClickHouse数据

如果需要根据所处环境自动访问对应环境的数据源,请通过${数据源编码}.table 或${数据源编码}.schema.table 的变量格式访问。更多信息,请参见 Dataphin数据源表开发方式。重要 目前仅支持 MySQL、Hologres、MaxCompute 数据源。数据源编码...

独享数据集成资源组

功能介绍 独享数据集成资源组的功能亮点如下:支持复杂网络环境下的数据同步。例如,跨云环境(金融云、政务云等)、跨阿里云账号、本地IDC数据同步。具有丰富的产品能力:支持离线数据同步。例如,增量与全量数据同步,单表及分库分表数据...

MongoDB 4.0

如果实例的数据库小版本过期或不在维护列表内,当执行以下操作时,为保证提供更出色的性能和稳定性,系统会默认将您的数据库小版本升级至最新版。升级数据库大版本 数据迁移 变更实例配置 按时间点将备份数据恢复至新建实例 恢复云数据库...

产品架构

高效满足IoT/监控等场景的测量数据、设备运行数据的存储处理需求,整体架构如下:TSCore 是时序引擎中负责数据组织的核心部分,其整体思想与LSM结构相似,数据先写入Memchunk,然后Flush到磁盘,但由于时序数据天然的顺序写入特征,定向...

基本概念

由于维度表的变更会广播到集群的所有节点,确保所有节点的数据一致性,影响写入性能,因此不建议频繁增删改维度表的数据。EIU EIU,全称为Elastic IO Unit,中文名称为弹性IO资源,是 AnalyticDB for MySQL 弹性模式集群版(新版)的存储...

数据服务

为什么数据服务无法连接ECS自建的数据库?是否必须开通API网关?如何配置数据源?数据服务是否支持MaxCompute(ODPS)数据源?向导模式生成API与脚本模式有何功能差异?数据服务中的API分组的作用是什么,与API网关中的分组有什么关联?...

数据源权限管理

是否支持再次分享已被分享的数据源?数据源的创建者是否有权控制该数据源?什么是私有模式的数据源?哪些用户能够收回数据源的分享权限?如何检查数据源分享关系的移除、关联情况?分享数据源后,其资源组的连通状态是否会被同步分享?分享...

数据格式

为了支持增全量存储和处理一体化架构,Transaction Table2.0(简称TT2)设计了统一的表数据组织格式,既可支持MaxCompute普通表的所有功能,同时也能很好的支持增量处理链路的新场景,包括timetravel查询、upsert操作等。本文为您介绍...

在GDB控制台清除实例数据

当图数据库GDB实例中的数据不再使用但需要保留该实例时,您可以通过图数据库GDB提供的清除数据功能清除实例中的数据。本文介绍在图数据库GDB控制台上清除图数据库GDB实例数据的方法。注意事项 清除实例数据后仅保留实例账号信息,且清除...

数据质量教程概述

在整体数据链路的处理过程中,为保证最终产出数据的质量,您需要对数据仓库ODS、CDM和ADS层的数据分别进行监控。数据仓库分层的定义请参见 数仓分层。本教程基于 搭建互联网在线运行分析平台 教程,ods_user_trace_log、dw_user_trace_log...

数据质量教程概述

在整体数据链路的处理过程中,为保证最终产出数据的质量,您需要对数据仓库ODS、CDM和ADS层的数据分别进行监控。数据仓库分层的定义请参见 数仓分层。本教程基于 搭建互联网在线运行分析平台 教程,ods_user_trace_log、dw_user_trace_log...

概述

向量数据库简介 在现实世界中,绝大多数的数据都是以非结构化数据的形式存在的,如图片,音频,视频,文本等。这些非结构化数据随着智慧城市、短视频、商品个性化推荐、视觉商品搜索等应用的出现而爆发式增长。为了能够处理这些非结构化...

资产安全概述

通过数据分类分级、敏感数据识别、敏感数据脱敏等措施,帮助客户建立完善的数据安全体系,确保数据使用的安全合规性。前提条件 已购买 资产安全 增值服务,详情请参见 开通Dataphin。应用场景 基于Dataphin实现数据安全保护的一些典型的...

资产安全概述

通过数据分类分级、敏感数据识别、敏感数据脱敏等措施,帮助客户建立完善的数据安全体系,确保数据使用的安全合规性。前提条件 已购买 资产安全 增值服务并且当前租户已开通 资产安全 模块。应用场景 基于Dataphin实现数据安全保护的一些...

概述

例如,实例中创建了2021年01月01日00:00:01的数据备份集以及该时间之后的日志,则可以恢复2021年01月01日00:00:01以来任意时间点(精确至秒)的数据。备份方式 PolarDB-X 支持自动备份与手动备份两种方式。自动备份:系统自动定期触发...

技术发展趋势

IDC在《Data Age 2025》的报告中预测,从2018年到2025年,全球数据将从33ZB急速增长到175ZB,比2016年产生的数据量增加了十倍。这表明注重数据价值的时代已经来临,并逐渐取代了从模拟数据向数字化转变的时期;产生、使用和管理对生活产生...

数据库分组

若您需要在SQL变更或结构设计中快速载入多个数据库,可以创建一个数据库分组,将多个数据库环境、引擎类型相同的数据库绑定成为一个分组。本文介绍如何创建数据库分组。背景信息 当您的业务部署在多个地域,且存在多个数据库时,您每次做...

配置数据脱敏

数据脱敏可以对实时同步的单表数据进行脱敏,然后存储到指定的数据库位置。前提条件 配置数据脱敏节点前,您需要先配置好相应的输入节点,详情请参见 实时同步支持的数据源。操作步骤 进入 数据开发 页面。登录 DataWorks控制台。在左侧...

查询概述

通过使用Catalog,您可以快速访问和分析存储在外部数据源中的数据,从而实现更加灵活和全面的数据管理和分析。SelectDB也提供表函数功能(Table-Value-Function或TVF),支持把S3、HDFS等常见远端存储中的文件数据,映射成SelectDB中的表,...

修改组件数据

在下方的数据配置区域内,按照您的需求修改模板已有的数据,或粘贴准备好的JSON格式的数据。说明 添加数据时的字段名要和系统设置保持一致。数据配置完成后,您可以在 设置数据源 页面单击 数据响应结果 的 图标刷新数据响应结果。数据响应...

多值数据写入

返回时,会将该批次数据中写入失败的数据全部返回,返回的响应内容和指定 details 时相同,只是此时通过 errors 字段返回的将是该一批次数据中所有的失败数据,未被返回的数据可以认为写入成功。名称 数据类型 描述 success Integer 写入...

修改组件数据

在下方的数据配置区域内,按照您的需求修改模板已有的数据,或粘贴准备好的JSON格式的数据。说明 添加数据时的字段名要和系统设置保持一致。数据配置完成后,您可以在 设置数据源 页面单击 数据响应结果 的 图标刷新数据响应结果。数据响应...

修改名单抽奖数据

在下方的数据配置区域内,按照您的需求自定义修改模板已有的数据,或直接粘贴准备好的JSON格式的数据。说明 添加数据时的字段名要和系统设置保持一致。数据配置完成后,您可以在 设置数据源 页面单击 数据响应结果 的 图标刷新数据响应结果...

修改名单抽奖数据

在下方的数据配置区域内,按照您的需求自定义修改模板已有的数据,或直接粘贴准备好的JSON格式的数据。说明 添加数据时的字段名要和系统设置保持一致。数据配置完成后,您可以在 设置数据源 页面单击 数据响应结果 的 图标刷新数据响应结果...

配置跨库Spark SQL节点

任务编排中的跨库Spark SQL节点,主要针对各类跨库数据同步和数据加工场景,您可以通过编写Spark SQL,完成各种复杂的数据同步或数据加工的任务开发。前提条件 支持的数据库类型:MySQL:RDS MySQL、PolarDB MySQL版、MyBase MySQL、...

添加数据

由于本示例的数据区域是全国范围,因此 裁剪边界数据接口 的数据可以保持不变。您也可以根据需要修改 裁剪边界数据接口 的数据。在 插值点数据接口 的配置页面,单击 配置数据源。在 设置数据源 页面,按照以下说明配置数据源。数据源类型...

应用场景

实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线,您可以实时接入APP、WEB、IoT和数据库等产生的异构数据,统一管理,并投递到下游的分析、归档等系统,构建清晰的数据流,让您更好的释放数据的价值。...

数据保护规则简介

在设置数据保护规则时,您需要保证 不同规则作用的数据范围是互斥的,即每列数据,仅能唯一匹配一条规则,否则全密态数据库无法确定如何选择规则,可能发生非预期的结果。users:用户访问数据权限的设定。各权限说明如下:说明 用户权限...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 数据传输服务 云数据库 Redis 版 云数据库 RDS 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用