常见问题

Tablet的最佳大小可以按下面进行评估,基于以下参数值和总数据可以预估出Bucket的数目。原始非压缩数据,例如CSV格式,通常每个tablet设置为1 GB~10 GB之间。Parquet格式的数据,建议1 GB左右。在机器比较少的情况下,如果想充分利用机器...

指令

循环指令 通过添加循环指令可以设置循环的内容和次数,从而重复执行某些API或指令,进一步模拟真实的业务流量。延迟释放指令 延迟释放指令可将业务会话延迟到特定时间后再执行。从压测场景启动开始计时,延迟对应时长后再启动此业务会话。...

指令概述

循环指令 通过添加循环指令可以设置循环的内容和次数,从而重复执行某些API或指令,进一步模拟真实的业务流量。延迟释放指令 延迟释放指令可将串联链路延迟到特定时间后再执行。从压测场景启动开始计时,延迟对应时长后再启动此串联链路。...

数据导出指令

在压测场景中,可以导出某个业务会话中的数据(如Cookie、出参或通过数据指令定义的参数)供其他业务会话使用,做到导出数据在全局共享。本文以导出API的出参为例,说明数据导出指令的使用方法。背景信息 若某业务场景中有业务会话如下:...

数据导出指令

在压测场景中,可以导出某个串联链路中的数据(如Cookie、出参或通过数据指令定义的参数)供其他串联链路使用,做到导出数据在全局共享。本文以导出API的出参为例,说明数据导出指令的使用方法。背景信息 若某业务场景中有串联链路如下:...

分区表常见问题

可以创建一个新的相同定义的临时空表,然后将需要删除数据的分区 EXCHANGE PARTITION,再将临时表删除。为什么分区表查询计划不准确?分区表查询计划不准确主要的原因是统计信息不准确,在8.0.2版本中已经针对这个问题了分区级别统计...

资源组操作及网络连通

数据同步网络连通问题 在离线同步时,我们需要先了解哪些DataWorks及其网络能力?同步ECS自建的数据库的数据时,如何保障数据库与DataWorks的网络连通?数据库和DataWorks不在同一个地域(Region)下,进行数据同步时如何保障数据库与...

离线同步常见问题

文档概述 问题分类 相关文档 离线同步任务运维常见问题 为什么数据源测试连通性成功,但是离线同步任务执行失败?如何切换数据集成任务执行资源组?脏数据如何排查和定位?如何查看脏数据?如果离线同步传输数据时,脏数据超出限制,是否...

概述

仪表盘是数据分析和数据展示的画布,在仪表盘中可以做实时的数据分析,也可以将数据制作为报表进行展示或分享。大屏是针对大屏幕的特殊数据展示画布,支持灵活自定义的样式配置。应用场景 安全自助式数据分析 基于DMS安全管控底座,确保...

Github实时数据同步与分析

本文以使用DataWorks实时同步公共数据至Hologres,并通过Hologres进行实时数据分析为例,为您示例DataWorks的数据同步能力与Hologres的实时分析能力。本教程以申请免费资源为例为您示例详细操作步骤,您也可以使用付费资源,操作类似。教程...

配置订阅任务(新控制台)

数据传输服务DTS(Data Transmission Service)提供的数据订阅功能简单易用,您只需在控制台上进行简单操作,即可完成数据订阅任务的配置。注意事项 本文仅简单介绍数据订阅任务的通用配置流程,不同的数据源在配置数据订阅任务时略有不同...

填充数据库

第一次填充数据库时可能需要插入大量的数据。本节包含一些如何让这个处理尽可能高效的建议。1.禁用自动提交 在使用多个 INSERT 时,关闭自动提交并且只在最后一次提交(在普通 SQL 中,这意味着在开始发出 BEGIN 并且在结束时发出 COMMIT...

创建PolarDB-X 1.0数据订阅任务

由于 PolarDB-X 1.0 支持分库分表,源 PolarDB-X 1.0 的某一DDL指令会在所有分表上执行对应的DDL操作,并且每个订阅子任务的进度并不一致,因此DTS的订阅数据可能陆续包含多条此DDL操作,如您多次消费此类DDL操作,可能会导致订阅客户端...

如何备份RDS只读实例

操作步骤 您可以选择 数据库所在位置 为 有公网IP:Port的自建数据库 或 通过专线/VPN网关/智能网关接入的自建数据库 两种方法来配置RDS MySQL只读实例的备份计划。方法一:通过公网配置备份计划 登录 DBS控制台。单击左侧导航栏中的 备份...

RDS MySQL只读实例逻辑备份

操作步骤 您可以选择 数据库所在位置 为 有公网IP:Port的自建数据库 或 通过专线/VPN网关/智能网关接入的自建数据库 两种方法来配置RDS MySQL只读实例的备份计划。方法一:通过公网配置备份计划 登录 DBS控制台。单击左侧导航栏中的 备份...

使用Cookie模拟登录场景

PTS的数据导出功能可用于在一个业务会话内或者全场景内共享返回的Cookie等场景。本文将介绍如何使用导出Cookie模拟登录场景。背景信息 PTS支持在业务会话共享Cookie和在场景内共享Cookie:串联链路内共享:若想在一个业务会话内传递(共享...

参数

数据指令—自定义参数 业务会话 通过数据指令定义的自定义参数,可以对普通参数或出参参数进行二次定义。更多信息,请参见 数据指令数据配置—自定义参数 业务会话 通过数据配置定义的自定义参数,可以对全局参数或者文件参数进行二次...

参数概述

数据指令—自定义参数 串联链路 通过数据指令定义的自定义参数,可以对普通参数或出参参数进行二次定义。更多信息,请参见 数据指令数据配置—自定义参数 串联链路 通过数据配置定义的自定义参数,可以对全局参数或者文件参数进行二次...

管理数据

若当前数据为栅格数据,您还可以做以下操作。查看栅格元数据:在数据表 操作 栏单击 图标,查看栅格元数据。名称 说明 坐标参考系 表示栅格的坐标系。宽度 表示栅格的分辨率中的宽度值。高度 表示栅格的分辨率中的高度值。数据类型 表示...

数据指令

数据指令功能在API后使用,用于二次定义数据导出参数、前置压测API的出参参数等,供该业务会话中的后续压测API使用。本文以前置API出参的二次加工为例介绍如何添加数据指令。背景信息 一个业务会话中可以添加一个或多个数据指令数据指令...

数据指令

数据指令功能在API后使用,用于二次定义数据导出参数、前置压测API的出参参数等,供该串联链路中的后续压测API使用。本文以前置API出参的二次加工为例介绍如何添加数据指令。背景信息 一个串联链路中可以添加一个或多个数据指令数据指令...

常见问题

数据安全中心DSC根据为不同行业预先定义的敏感数据关键字段,扫描MaxCompute、OSS、阿里云数据库服务(RDS、PolarDB-X、PolarDB、OceanBase、表格存储等)和自建数据库中的数据,通过敏感数据规则,判断和打标敏感数据,为数据安全审计、...

如何高效扫描数据

并行的全表扫描:如果需要从所有库导出数据可以通过SHOW指令查看表拓扑结构,针对分表并行处理。通过HINT进行表遍历 执行 SHOW TOPOLOGY FROM TABLE_NAME 指令获取表拓扑结构。mysql>SHOW TOPOLOGY FROM DRDS_USERS;ID|GROUP_NAME|TABLE_...

Quick BI

不支持添加度量到维度或不支持添加维度到度量 处理方法:数据集表定义中,维度或度量有明确定义,如果需要用度量的某列维度,可以数据集编辑页面单击右键,单击 转换为维度/度量,单击 保存,在仪表盘页面刷新,即可获得修改后的表结构...

实时同步常见问题

这是Postgres本身数据库的特性,如果接受不了延迟,您可以停止任务,并重新启动任务一次全增量数据同步。报错信息与解决方案 Kafka实时同步报错:Startup mode for the consumer set to timestampOffset,but no begin timestamp was ...

开通数据库代理

RDS MySQL数据库代理支持读写分离、连接保持、SSL加密等功能,能够降低主实例负载,提高实例可用性和安全性。本文介绍通过RDS控制台和API接口开通RDS MySQL数据库代理的方法以及推荐代理规格的计算方式。前提条件 主实例需满足以下条件:...

EXCHANGE PARTITION

WITHOUT VALIDATION 选项表示不对单表的数据是否符合分区规则校验,直接进行交换,是INSTANT DDL,且只交换元数据,需要用户保证数据是否符合分区规则。说明 执行EXCHANGE PARTITION操作时,需要确保 source_table 的结构与 target_table...

常见问题

创建Redis实例时找不到已有的交换机 连接Redis报错“WRONGPASS invalid username-password pair”使用短连接访问Redis出现“Cannot assign requested address”错误 为什么没有加入IP白名单的客户端可以访问实例?数据库 使用数据库 Redis...

管理数据

数据集是由数据库创建时,您可以做以下操作。单击 数据库连接 后的 设置,修改数据库连接信息。单击 数据定时同步 后的 设置,打开 启用 开关,设置 定时执行 的类型,例如:每月第一天早上10点整进行数据同步。单击 数据定时同步 后的 ...

什么是云原生多模数据库Lindorm

开放兼容 兼容SQL、HBase/Cassandra/S3、TSDB、HDFS、Solr、Kafka等 多种标准接口,支持与Hadoop、Spark、Flink、Kafka等系统无缝打通,并提供简单易用的数据交换、处理、订阅等能力。多模介绍 Lindorm支持宽表、时序、对象、文件、队列、...

图扑案例

如图3所示,阿里 云原生多模数据库 Lindorm 在云端单实例融合了宽表、索引、时序等多种数据引擎能力,通过阿里云DTS/DMS或第三方开源数据交换/ETL软件(如Apache nifi、Sqoop等)打通多引擎数据交互通道,根据应用场景业务来适配数据。...

Tunnel命令常见问题

使用Tunnel Upload命令上传数据时,如果数据使用空格作为列分隔符,或需要对数据做正则表达式过滤时,如何解决?Tunnel Upload完成后,存在脏数据,如何解决?Tunnel Download Tunnel Download导出格式有哪些?在同一地域内使用Tunnel ...

自动化管理分区

可以通过创建定时任务的方式来创建、删除或交换分区,以实现分区自动化管理。背景信息 在某些行业中,固定周期内可能会产生大量的数据,同时也会通过删除大量数据的方式来节省存储空间。如果新产生的数据和需要删除的数据保存在同一张表...

独享资源组

独享资源组使用场景 独享调度资源组使用场景 独享数据集成资源组使用场景 独享资源组网络配置 独享资源组访问VPC环境下数据的前提条件是什么?如何查看数据源的网络环境?添加独享资源组白名单 独享资源组商业化行为 如何对资源组进行续费...

设备影子概览

物联网平台提供设备影子功能,用于缓存设备上报的状态数据和应用程序下发的指令信息。设备在线时,可以直接获取物联网平台指令;设备离线后,再次上线可以主动拉取物联网平台指令。本文主要介绍设备影子的应用场景和使用方法。什么是设备...

切换为专有网络VPC

虚拟交换机 保留经典网络地址 根据业务需求选择是否保留经典网络地址:保留:实例将同时拥有经典网络地址和专有网络地址,客户端可以通过这两种连接地址连接至Redis实例,您需要在经典网络地址失效前,将客户端的数据库连接地址更换为专有...

LTS(原BDS)服务介绍

支持简单易用的数据交换、处理、订阅等能力,满足用户的数据迁移、实时订阅、数湖转存、数仓回流、单元化多活、备份恢复等需求,实现面向云HBase的一站式数据生态服务。核心能力 云原生分布式:LTS是一个基于ECS部署的分布式系统,具备良好...

步骤一:搭建云上专有网络

阿里云加密的数据上行通道可以确保数据安全,同时压缩后的数据可以确保公网承载较大的数据流。VPN(阿里云VPN网关):针对每日数据变化量不大,主数据中心需要随时连接阿里云VPC内的业务场景,例如主数据中心与阿里云上部署主从的域...

常见问题

离线同步常见问题 离线同步任务运维常见问题 为什么数据源测试连通性成功,但是离线同步任务执行失败?如何切换数据集成任务执行资源组?脏数据如何排查和定位?如何查看脏数据?如果离线同步传输数据时,脏数据超出限制,是否所有数据都...

资产安全概述

应用场景 基于Dataphin实现数据安全保护的一些典型的场景:场景1:业务数据中敏感数据保护 您可以使用资产安全的敏感数据识别和保护功能,脱敏明文敏感数据,保证业务数据安全。例如,姓名张三脱敏后*三。场景2:开发环境数仓建设 敏感数据...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 云数据库 RDS 云数据库 Redis 版 数据传输服务 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用