基础术语
中文 释义 数据抓取延迟 数据抓取延迟是指数据同步服务抓取数据并写入产品存储的时间与数据实际写入至源数据库的时间差。数据抓取延迟仅在增量同步阶段有数值。数据写入延迟 数据写入延迟是指同步到目标实例的最新数据在源数据库执行的时间...
查看同步任务详情
在任务详情页，您可以查看以下信息：数据来源信息：上游数据抓取延迟：数据同步服务抓取数据写入存储的时间与数据实际写入至源数据库的时间差。源端数据源配置信息：包括源端数据库主机、端口、名称，数据表及用户名等。数据去向信息：下游...
网络异常时如何抓取数据包
public1.alidns.com: ICMP echo request,id 55097,seq 344,length 64 执行以下命令，抓取系统内所有接口数据并保存到指定文件。tcpdump-i any-s 0-w test.cap 说明 您如果通过 cat、vim 命令查看保存的文件，都显示为乱码，此时，您可以...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
分析业务过程
您可以参考业务规划设计文档以及业务运行（开发、设计、变更等）相关文档，全面分析数据仓库涉及的源系统及业务管理系统：每个业务会生成哪些数据，存在于什么数据库中。对业务过程进行分解，了解过程中的每一个环节会产生哪些数据，数据的...
分析业务过程
用户在业务系统中，通过埋点或日常积累的方式，获取了充足的业务数据。为梳理数据之间的逻辑关系和流向，需要理解用户的业务过程及数据系统。您可以采用过程分析法，列出整个业务过程涉及的每个环节，包括技术、数据、系统环境等。分析完...
自动快照概述
应用场景 自动快照策略可以在预设的时间点周期性地创建快照，保护文件系统数据，是系统安全性和容错率的重要保障。当您的数据库出现异常时，您可能来不及手动创建快照。这时您可以通过最近的自动快照来恢复数据库文件系统，降低损失。您也...
基本概念
实例所占用的磁盘容量除集合数据外，还有实例正常运行所需要的空间，如系统数据库、数据库回滚日志、重做日志、索引等。请确保云数据库MongoDB实例具有足够的磁盘容量来存储数据，否则可能导致实例被锁定。若因磁盘容量不足导致实例被锁定...
大数据安全治理的难点
通常，大数据系统中的工作流涉及多部门、多责任人且跨系统的数据，如何才能协调好这些业务系统准时、保质保量地产出数据，避免出现因业务系统宕机/脏数据导致数据延时产出、产出脏数据，关乎到企业数据业务的连续性问题甚至高层的信任问题...
IoT数据自动化同步至云端解决方案
但同步至大数据系统或传统数据库的数据，需要使用专业的数据同步系统。下图为您展示使用DataWorks数据集成完成OSS数据同步至大数据系统的解决方案流程。新建离线同步节点，详情请参见 通过向导模式配置离线同步任务。选择数据来源OSS进行...
典型使用场景
实时计算-HBase增强版（Lindorm）+Blink/Spark 基于数据的应用，如算法、智能运营、监控大屏等系统。通常需要实时获取业务系统产生的数据，基于数据更新进行实时计算。HBase具有高吞吐，低延迟，schemaFree，水平扩展等能力，被很多大数据...
概述
业务挑战 大部分阿里云用户会将阿里云关系型数据库RDS、PolarDB for MySQL、MongoDB或者云服务器ECS自建数据库作为业务系统数据库，随着业务数据的增长，业务数据库存储的数据也越来越多。但RDS、PolarDB for MySQL、MongoDB或者ECS自建...
功能概览
2.2 数据投递 提供DataConnector模块，稍作配置即可把接入的数据实时同步到下游MaxCompute、OSS、TableStore等存储分析系统，极大减轻了数据链路的工作量。2.3 数据缓存 灵活的缓存时间，下游可重复消费，自动多备份，保障数据高可靠性。2....
使用DTS导入和导出数据
PolarDB-X 提供丰富的数据导入和导出方式，以保持与其他数据系统的互通。本文主要介绍通过DTS导入导出数据的方式。通过DTS或备份恢复导入数据到 PolarDB-X 您可以通过DTS或备份恢复导入数据到 PolarDB-X。通过DTS将 RDS数据迁移到PolarDB-X...
典型使用场景
典型的数据源包括：MySQL/SQL Server/PostgreSQL/Oracle等OLTP业务数据库，业务App产生的日志数据，在OSS/Hadoop上的归档数据，以及来自Kafka/Flink等系统的流式数据。在库中对ODS层数据进行加工，形成CDM（Common Data Model）和ADS...
MySQL灾备恢复演练
您可以通过该功能验证备份数据的准确性与容灾系统的可靠性，确保当发生数据灾难时，容灾系统能够顺利接替生产系统并继续对外提供服务。背景信息 通常在灾难发生时，可能由于恢复流程不熟练或备份源数据有误等原因导致恢复失败。为避免这种...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
客户案例
MaxCompute已被广泛应用于各大领域处理云上大数据，帮助众多企业解决了海量数据分析问题，同时降低企业运维成本，企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息，请参见 行业客户案例...
网络抓包
云防火墙提供网络抓包工具，允许您通过特定的IP和端口捕获互联网边界的流量数据包，便于您快速分析数据包内容、诊断网络问题以及审查潜在的攻击行为，进而揭示网络通信的安全隐患。本文介绍如何有效使用该网络抓包工具。限制说明 云防火墙...
常见问题
如何处理：参见 配置数据源（来源为PolarDB）的操作授予权限，或者检查PolarDB是否是主节点（读写库），目前实时任务不支持从PolarDB备节点抓取数据。实时任务，运行报错：...
冷热分层
背景信息 在海量大数据场景下，随着业务和数据量的不断增长，性能和成本的权衡成为大数据系统设计面临的关键挑战。Delta Lake是新型数据湖方案，推出了数据流入、数据组织管理、数据查询和数据流出等特性，同时提供了数据的ACID和CRUD操作...
常见问题
如何处理：参见 配置数据源（来源为PolarDB）的操作授予权限，或者检查PolarDB是否是主节点（读写库），目前实时任务不支持从PolarDB备节点抓取数据。实时任务，运行报错：...
应用场景
解决方案：数据同步：通过数据同步功能，将不同业务系统数据汇聚到统一的存储计算引擎，实现数据的初步融合。数据标准：管理数据标准和构建数据模型，将数据标准贯彻到数据质量分析、保障及检查的全过程中，将散乱的多源异构数据加工成标准...
应用场景
解决方案：数据融合：通过数据引入功能，将业务系统数据集成、融合一体，统一基础数据。数据建模：通过规范建模功能，结合业务发展需求，自顶向下设计标准的数据模型，统一公共数据。数据生产：基于建模后系统代码自动化托管生产功能，快速...
空间管理
是否系统库 数据库是否为SQL Server的系统数据库。单击表格最左侧+按钮，系统将会展开对应数据库，可以查看数据库文件详情。详细参数说明如下。表 4.TOP 10数据库文件参数说明 参数 说明 数据库名 数据库的名称。文件组 文件所在的文件组名...
空间管理
是否系统库 数据库是否为SQL Server的系统数据库。单击表格最左侧+按钮，系统将会展开对应数据库，可以查看数据库文件详情。详细参数说明如下。参数 说明 数据库名 数据库的名称。文件组 文件所在的文件组名。说明 日志文件没有文件组，...
全增量同步任务常见问题
如何处理：参见 PolarDB数据源 的操作授予权限，或者检查PolarDB是否是主节点（读写库），目前实时任务不支持从PolarDB备节点抓取数据。实时任务，运行报错：...
RDS SQL Server空间不足问题
说明 系统文件空间使用量 包括系统数据库master、msdb和model的所有数据文件和日志文件，以及一些系统文件（错误日志、默认跟踪文件、系统扩展事件文件等）。您可以在控制台的 自治服务>空间管理 页面，查看更详细的空间使用情况，包括数据...
OSS
本文介绍如何使用Databricks 读写 OSS文件系统数据。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建集群，具体请参见 创建集群。已使用OSS管理控制台创建 非系统目录存储空间，详情请参见 创建存储空间。警告 首次使用DDI产品...
连接PostgreSQL实例
数据库名 可选，需要连接的数据库名，postgres是RDS PostgreSQL实例默认的系统数据库，请勿在该数据库中进行任何操作，建议配置RDS实例下已创建的其他数据库。如何创建和查看数据库，请参见 创建数据库。应用程序连接 说明 本文以Maven项目...
连接PostgreSQL实例
数据库名 可选，需要连接的数据库名，postgres是RDS PostgreSQL实例默认的系统数据库，请勿在该数据库中进行任何操作，建议配置RDS实例下已创建的其他数据库。如何创建和查看数据库，请参见 创建数据库。应用程序连接 说明 本文以Maven项目...
新零售：特步
基于 PolarDB-X+RDS的分布式数据库解决方案提升了客户业务系统数据读写的扩展能力和数据存储的扩展能力，系统具备100 TB数据存储的能力、10万TPS、百万QPS的支撑能力，可以支撑业务扩展至当前业务量的5~10倍。PolarDB-X 的平滑扩容和弹性...
跨境SaaS:深圳市易仓科技有限公司
易仓科技通过将运营系统数据同步至自建Clickhouse系统，以满足客户复杂的查询分析诉求。但是这种OLTP+OLAP独立的架构存在数据同步中断、实时性差、性能瓶颈、管理复杂等问题。PolarDB HTAP能力让用户可以在一套 PolarDB 数据库上同时运行...
配置同步任务
系统数据同步的传输速率会尽可能地达到速度上限，但是不会超过速度上限。速度上限会影响整个调度的资源情况，速度上限设置的越高，运行任务的调度资源量会越大。并发数 启动并发抽取数据的任务的并发数。出错限制 指数据同步过程中，出错的...
CREATE DATABASE
默认情况下，新数据库将通过克隆标准系统数据库 template1 被创建。可以通过写 TEMPLATE name 指定一个不同的模板。特别地，通过写 TEMPLATE template0 你可以创建一个原始的数据库（其中没有用户定义的对象存在并且系统对象没有被更改），...
配置同步任务
系统数据同步的传输速率会尽可能地达到速度上限，但是不会超过速度上限。速度上限会影响整个调度的资源情况，速度上限设置的越高，运行任务的调度资源量会越大。并发数 启动并发抽取数据的任务的并发数。出错限制 指数据同步过程中，出错的...
基本概念
地理系统 TwinFabric数字孪生系统支持常见的地理信息系统数据源接入，满足实景三维中国建设技术大纲中部分地形级实景三维、城市级实景三维、部件级实景三维数据源的接入，支持基于球面、平面三维场景搭建与地理信息多源数据的融合与开发。...
Kafka单表实时入湖OSS（HUDI）
由于同步任务的性能表现和资源占用受到源端和目标端系统数据流量、网络环境和系统负载等因素影响，基于上述简单规则，您可以根据实际情况做调整和修改。报警配置。为能够及时感知到同步任务的异常并做出响应和处理，您可以对同步任务设置...
使用tcpdump抓包分析网络问题
自动关闭 如果在开启tcpdump时，OpsValue中设置了Snaplen、Duration、PacketNum、FileSize等参数限制数据包大小、抓取时间等，则系统将在满足某一限制条件时，自动关闭tcpdump。下载数据包文件。调用DescribeInstanceOpsRecords，从返回...
国产化支持
随着国际环境日益复杂，很多线下客户都提出了国产化的技术诉求，和数据库相关的国产化包括芯片的国产化、操作系统的国产化、数据库系统的国产化。针对数据库系统国产化，主要技术挑战有：基于国产化芯片的数据库架构升级和改造、对国产化...
- 产品推荐
- 这些文档可能帮助您