什么是数据库审计
工作原理 数据库审计服务通过旁路监听模式，支持完全独立于数据库的部署。在不影响数据库日常运行效能的前提下，实现灵活的审计与监控。基于数据库操作语句进行审计，监视数据库登录、访问行为，有效地实施审计策略。数据库审计服务还具备...
设计阶段
完成需求阶段的工作后，数据产品经理会产出最终版本的产品需求文档，以供设计人员进行设计工作。设计工作包含数据探查和系分设计两部分：数据探查旨在了解来源数据的数据形态，例如数据质量、数据分布等。结合业务场景，帮助分析和判断需求...
产品架构
数据迁移工作原理 数据迁移过程包括三个阶段，即结构迁移、全量数据迁移和增量数据迁移。如果需要在迁移期间保持源数据库的正常运行，当您在配置迁移任务时，必须将结构迁移、全量数据迁移和增量数据迁移都选为所需的迁移类型。结构迁移：...
工作原理
工作原理 本地安装一个数据库网关代理（database gateway agent）。数据库网关代理负责与数据库网关云端服务（database gateway cloud service）建立安全的、可信任的通道。不同账号、不同网关所建立的通道彼此隔离。通道建立后，当您...
应用场景
云上云下数据库同步 通过数据库传输服务DTS的数据同步功能，可以使本地IDC或其他云厂商的数据库与阿里云数据库内容进行同步，详情请参见 数据同步的工作原理，架构图如下所示。本地IDC/跨云数据库备份上云 数据库备份 DBS 是阿里云提供的低...
应用场景
云上云下数据库同步 通过数据库传输服务DTS的数据同步功能，可以使本地IDC或其他云厂商的数据库与阿里云数据库内容进行同步，详情请参见 数据同步的工作原理，架构图如下所示。本地IDC/跨云数据库备份上云 数据库备份 DBS 是阿里云提供的低...
备份集查询功能概览
工作原理 DBS与数据湖Data Lake Analytics深度集成，提供备份集在线查询能力，通过DLA直接对OSS上的备份数据文件进行查询。备份集查询功能的整体架构如下图所示。DBS也支持在单个备份计划下查询多个备份集。您需要选择目标备份集并创建数据...
MTU配置说明
IPsec-VPN连接只支持传输已经分片的数据包，不支持对数据包分片及数据包分片重组。在您使用IPsec-VPN时，IPsec协议会对数据包进行加密，加密过程会扩大数据包长度，扩大后的数据包长度可能会超过网络中设置的最大数据传输单元MTU（Maximum ...
日志字段说明
流量检测类字段：表示与被防护资产上产生的流量数据相关的字段，例如，入方向流量的宽带速率、不同类型数据包的包转发率等。流量清洗类字段：表示与流量清洗过程相关的字段，包含流量清洗过程中由不同防护策略丢弃、放行的流量数据。事件类...
DescribePackages-查询数据包的信息
调用本接口查询已完成扫描授权的MaxCompute数据包的信息，例如数据包的名称、数据包所属者的账号、数据包的风险等级等。接口说明 本接口一般用于 MaxCompute 数据包列表查询，便于搜索和敏感信息概览。QPS 限制 本接口的单用户 QPS 限制为 ...
Napatech案例
业务挑战 随着网络数据流量的爆增以及业务可用性要求的不断提升，Napatech公司的用户可以将数据包采集和分析的能力提升至200G，然而上层软件产生的流量数据包元数据也爆增，给后台数据库（比如开源的HBase/ElasticSearch）的存储和索引能力...
负载说明
DBGateway按照TCP/IP协议解析抓取的网络数据包，过滤其他端口的数据包，只对流入MySQL端口的数据包进行分析。流入MySQL端口的数据包按照MySQL通讯协议拼成完整的SQL。DBGateway将多条SQL打包压缩后，加密上传到DAS的存储集群中。负载说明 ...
什么是数据库网关
工作原理 本地安装一个数据库网关代理（database gateway agent）。数据库网关代理负责与数据库网关云端服务（database gateway cloud service）建立安全的、可信任的通道。不同账号、不同网关所建立的通道彼此隔离。通道建立后，当您...
数据迁移与同步FAQ
DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：将Redis数据库中的数据（即键值对）迁移至另一个Redis数据库中。通常迁移完成后即可...
功能发布记录（2022年）
英国（伦敦），美国（硅谷），美国（弗吉尼亚），阿联酋（迪拜）所有DataWorks用户 数据集成概述 DataWorks支持EMR新版数据湖DataLake DataWorks支持基于EMR计算引擎新版数据湖DataLake，实现基于EMR引擎的数据集成、数据建模、数据开发...
数据库采集
采集完成后，会提示用户生成数据包，并提示数据包路径。日志文件如下：[*]*[*]*Collect Successfully![*]*[*]*Complete the file packaging,the package result path is:[*]*rainmeter/out/data.zip*可选：迁移结束后，清除临时账号。使用...
简介
数据工作站可以结合大语言模型给业务开发、数据开发、分析师和数据运营同学赋能，提升数据交付效率和数据自助分析的效率。当您需要将查询的数据、测试的数据、以及数据变化趋势等信息，以文档的形式进行交付，并在交付后，希望有可以替您...
资源包购买指南
其他场景 场景分类 备份空间资源包 文件数据源数量资源包 VMware磁盘大小资源包 SAP HANA数据源数量资源包 本地文件备份 ✓ 备份容量预估可以使用 备份存储容量计算器。✓ 按照需要备份的服务器数量购买。x x 本地VMware虚拟机备份 ✓ 建议...
混合云备份HBR
存储容量单位包SCU（Storage Capacity Unit）是一种预付费的存储容量资源包，可以抵扣多种不同类型云存储产品的按量付费账单。抵扣系数 SCU可以抵扣多款云产品的部分存储费用，下表列出中国内地SCU抵扣HBR存储费用时的抵扣系数。说明 其他...
执行补数据并查看补数据实例（新版）
补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...
集成与开发概览
数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、云BI及实时数据仓库等多种业务场景。离线集成。更多信息，请参见 离线集成概述。离线集成是一种低代码的数据开发工具，...
DataWorks数据集成
对于数据导出，请登录 AnalyticDB PostgreSQL版 的管理控制台进行IP 白名单设置，详情请参见 添加白名单 数据导入 源端的数据源需要在DataWorks管理控制台进行添加，数据源添加的详细步骤请参考 配置AnalyticDB for PostgreSQL数据源 配置...
如何使用DataV Proxy
DataV Proxy应用工作原理 将加密的SQL查询字符串和数据库ID值传递给应用程序。由该应用程序连接到数据库，获取查询结果。将查询结果返回到DataV页面。启动DataV Proxy应用 Windows：下载 DataV Proxy应用安装包。解压后双击打开 datav_...
MMA概述
数据迁移原理 Hive数据迁移原理 Hive数据迁移包含通过Hive UDTF迁移数据到MaxCompute、通过OSS迁移Hive数据到MaxCompute，本文为您介绍两种数据迁移方式的原理。通过Hive UDTF迁移数据到MaxCompute。该场景通过Hive的分布式能⼒，实现Hive...
备份集最小保留策略
工作原理 DBS根据客户设置的备份集生命周期进行备份集的转储和清理。DBS允许客户手动删除最旧的备份集和最新的备份集，但中间的备份集不支持删除，以确保备份数据的连续性。DBS默认保留3份最新的备份集。如果客户手动删除备份集，系统会...
常见问题
数据同步的工作原理，请参见 产品架构及功能原理。如何计算同步延迟？同步延迟是指同步到目标数据库中的最新数据的时间戳，与源数据库的当前时间戳之间的差值。单位为毫秒。说明 正常情况的延迟在1000毫秒以内。数据同步任务是否可以修改...
通过数据库网关将本地IDC或第三方云的数据库接入至...
详细的原理介绍请参见 工作原理。操作步骤 登录 数据库网关控制台。说明 首次使用数据库网关时会跳转至 云产品开通 页面，请阅读并同意数据库网关服务协议后，单击 立即开通。单击 新建网关。在弹出的对话框中，填写网关名称和备注信息，...
无锁结构变更方案对比
Online修改工具：PT-Online（PT-Online-Schema-Change）：工作原理是创建和源表A一样的表A_gst执行DDL操作，同时在A上创建一个DML触发器，然后将A中的数据拷贝到A_gst，在拷贝过程中产生的增量变更就用触发器完成同步更新。拷贝结束后执行...
Bucket Shuffle Join
工作原理 SelectDB支持的常规分布式Join方式包括Shuffle Join和Broadcast Join。这两种Join都会导致相当大的网络开销。例如，当前存在A表与B表的Join查询，它的Join方式为Hash Join，不同Join类型的开销如下：Broadcast Join：如果根据数据...
概述
工作原理 在 PolarDB 控制台上设置完脱敏规则后，控制台会将规则写入至Proxy中。当应用程序通过规则中指定的账号连接至数据库并查询规则中指定的列时，Proxy会先将数据库返回的数据脱敏转换，再将脱敏后的数据返回给客户端。上图的脱敏规则...
04解决方案实例化
实例化是指将解决方案包中的数据写入到当前工作组对应模块中，以便当前工作组复用解决方案包中的数据。本文介绍如何进行解决方案实例化操作。前提条件 已成功导入解决方案，具体操作，请参见 新建工作组并导入解决方案。操作步骤 登录 数据...
设置连接池
工作原理 前端连接与后端连接 在客户端（应用）与数据库建立连接时，以数据库代理为中间节点可将该连接分为前端连接（客户端与数据库代理的连接）和后端连接（数据库代理与数据库的连接）。如下图所示。未开启连接池时的连接建立过程 未...
RDS实例间的数据迁移
更多迁移功能原理，请参见 数据迁移工作原理。DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在...
RDS实例间数据迁移
更多迁移功能原理，请参见 数据迁移工作原理。DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在...
实例化解决方案
实例化是指将解决方案包中的数据写入到当前工作组对应模块中，以便当前工作组复用解决方案包中的数据。本文介绍如何实例化解决方案。前提条件 已成功导入解决方案，具体操作，请参见 导入解决方案。操作步骤 登录 数据资源平台控制台。在...
导出和导入资源包
导入完成后，可在对应工作空间中查看导入的资源包中的数据，并可在导入记录界面可查看已导入的资源包、所属工作空间、资源归属人、导入人、导入状态、导入时间以及查看导入日志，如下图所示。在导入记录里单击 图标可以 查看导入日志，您...
阶段一：基础防护建设
在该阶段，DataWorks为您提供了数据分类分级、规范数据开发流程、企业级身份认证、开源身份隔离等多个场景的最佳实践，帮助企业做好数据安全治理的相关基础防护工作。场景一：数据分级分类 无论在任何行业，数据分级分类都是监管首要检查的...
组复制简介
组复制层 组复制层的主要工作是向集群发送、接收并回放事务，其在主节点和备节点上的工作原理如下：在主节点上：当一个事务在主节点进入提交阶段时，事务的Binlog会先被传到XCom层中，发送给其他节点。当确认多数派收到事务后，会对事务...
通过Spark导入数据
工作原理 Spark SelectDB Connector底层实现依赖于SelectDB的Stage导入方式，当前支持两种使用方式：通过在用户对象存储上创建外部Stage（External Stage），进行批量数据拉取和导入，适用于大规模数据导入的场景。这种导入方式依赖用户侧...
IO加速
本文档将详细介绍该技术的优势、适用场景和工作原理，帮助您在面临大规模或频繁数据读写需求时显著提升数据库性能。背景 RDS PostgreSQL在数据处理过程中，数据会从磁盘读取到内存，在内存中处理完成后，数据再从内存写入到磁盘中。与内存...
- 产品推荐
- 这些文档可能帮助您