网络最大传输单元MTU
网络最大传输单元MTU（Maximum Transmission Unit）决定了网络上单次可传输数据包的最大尺寸，包含IP数据包头和载荷，不包含以太网头部。理论上MTU越大，可在单个数据包中传递的数据越多，网络通信越高效。本文介绍巨型帧相关功能以及如何...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
终端节点监控项
bit/s 平均值 VpcEndpointInPps 终端节点流入数据包速率 从VPC网络访问终端节点的数据包速率。packet/s 平均值 VpcEndpointOutPps 终端节点流出数据包速率 从终端节点访问VPC网络的数据包速率。packet/s 平均值 VpcEndpointInDropBps 终端...
日志字段说明
流量检测类字段：表示与被防护资产上产生的流量数据相关的字段，例如，入方向流量的宽带速率、不同类型数据包的包转发率等。流量清洗类字段：表示与流量清洗过程相关的字段，包含流量清洗过程中由不同防护策略丢弃、放行的流量数据。事件类...
日志字段说明
流量检测类字段：表示与被防护资产上产生的流量数据相关的字段，例如，入方向流量的宽带速率、不同类型数据包的包转发率等。流量清洗类字段：表示与流量清洗过程相关的字段，包含流量清洗过程中由不同防护策略丢弃、放行的流量数据。事件类...
常见问题
数据在传输的过程中，对于MTU即一个数据包的最大字节数是有限制的，例如以太网的MTU是1500字节。如果IP层需要传输数据包，而且数据包的长度超过了MTU，那么IP层就要对数据包进行分片操作，使每一片的长度都小于或等于MTU。如果数据包传送时...
终端节点服务监控项
bit/s 平均值 VpcEndpointServiceInPps 终端节点服务流入数据包速率 从VPC网络访问终端节点服务的数据包速率。packet/s 平均值 VpcEndpointServiceOutPps 终端节点服务流出数据包速率 从终端节点服务访问VPC网络的数据包速率。packet/s ...
流量监控
在智能接入网关管理控制台，您可以查看智能接入网关实例的监控数据，如流量、数据包、时延、丢包WAN口带宽、应用加速带宽和DPI应用统计等。操作步骤 登录 智能接入网关管理控制台。在顶部菜单栏，选择智能接入网关的目标区域。在 智能接入...
DescribePackages-查询数据包的信息
调用本接口查询已完成扫描授权的MaxCompute数据包的信息，例如数据包的名称、数据包所属者的账号、数据包的风险等级等。接口说明 本接口一般用于 MaxCompute 数据包列表查询，便于搜索和敏感信息概览。QPS 限制 本接口的单用户 QPS 限制为 ...
Napatech案例
业务挑战 随着网络数据流量的爆增以及业务可用性要求的不断提升，Napatech公司的用户可以将数据包采集和分析的能力提升至200G，然而上层软件产生的流量数据包元数据也爆增，给后台数据库（比如开源的HBase/ElasticSearch）的存储和索引能力...
负载说明
DBGateway按照TCP/IP协议解析抓取的网络数据包，过滤其他端口的数据包，只对流入MySQL端口的数据包进行分析。流入MySQL端口的数据包按照MySQL通讯协议拼成完整的SQL。DBGateway将多条SQL打包压缩后，加密上传到DAS的存储集群中。负载说明 ...
API概览
DescribePackages 查询数据包的信息 调用本接口查询已完成扫描授权的MaxCompute数据包的信息，例如数据包的名称、数据包所属者的账号、数据包的风险等级等。DescribeCategoryTemplateList 查询行业模板列表 调用本接口查询行业模板列表。...
数据库评估概览
数据库采集完成后，单击 下一步查看源库画像，单击 新建画像 上传采集的数据包进行数据库分析。具体操作，请参见 数据库画像。在 源库画像 页签，选中目标画像，单击 下一步查看目标库选型建议，查看目标库兼容情况和推荐类型。具体操作，...
数据治理
数据地图 为什么数据地图数据总览页存储量和存储趋势图相差较大？数据地图血缘展示延迟问题 数据地图新建表搜不到 当前表业务逻辑变更如何通知下游？哪些类型的Hive表支持在数据地图中预览？数据保护伞 数据保护伞为什么有时候查询脱敏有...
数据中心
数据中心包含数据管理、数据配置。数据管理 数据管理模块展示并管理用户添加的数据。主要功能包括数据表引入、本地数据导入。数据表 支持用户从已注册的计算资源类型中添加数据表。支持基于已添加的数据查看表信息、表内展示的字段。支持将...
友盟数据分析
U-DOP数据开放平台不仅仅为您提供了U-App的统计明细数据，同时包含了多主题的分析模板和可订阅的数据包，通过任务引导式教您深度挖掘数据中的业务信息。您可以通过阿里云数据湖分析DLA的数据订阅功能对原始明细log数据进行查询和分析。开通...
数据建模
创建时序数据库 Lindorm实例创建成功后，系统会默认创建default数据库，将数据默认写入该数据库，您无法删除default数据库。时序引擎也支持创建多个数据库，不同的数据库在存储层面进行物理隔离，支持设置不同的数据有效期（TTL）、时间...
客户案例
该服务通过订阅数据包返还数据到MaxCompute，预置分析模板并结合可视化分析BI工具来快速完成数据分析工作，为企业提供更加灵活的一站式数据分析能力。解决方案架构如下。详细案例信息，请参见 友盟+案例。电商案例：玩物得志 客户简介 玩物...
支持的数据源
数据源类别 数据库类型 阿里云数据库 RDS MySQL RDS SQL Server RDS PostgreSQL RDS MariaDB PolarDB MySQL版 PolarDB PostgreSQL版 MongoDB Redis PolarDB分布式版 自建数据库：ECS上的自建数据库 有公网IP:Port的自建数据库 通过专线/VPN...
云数据库Redis实例间单向数据迁移
如果您需要将一个 云数据库 Redis 版 实例的数据迁移到另一个 云数据库 Redis 版 实例中，且您未创建新实例，推荐您通过 备份集克隆、数据闪回功能 将数据克隆至新实例，若您已创建新实例，建议您通过数据传输服务DTS（Data Transmission ...
常见问题
本文为您介绍数据集成任务常见问题。资源组操作及网络连通 在做离线同步时，我们需要先了解哪些DataWorks及其网络能力？同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下...
通用参考：按量付费转包年包月
任务类型 所用资源组 资源组介绍及计费说明 调度任务 公共调度资源组 使用公共资源组 公共调度资源组计费说明：按量付费 数据集成任务 公共数据集成（调试）资源组 使用公共资源组 公共数据集成（调试）资源组：按量计费 调用数据服务API ...
混合云备份HBR
存储容量单位包SCU（Storage Capacity Unit）是一种预付费的存储容量资源包，可以抵扣多种不同类型云存储产品的按量付费账单。抵扣系数 SCU可以抵扣多款云产品的部分存储费用，下表列出中国内地SCU抵扣HBR存储费用时的抵扣系数。说明 其他...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
基于Delta lake的一站式数据湖构建与分析实战
数据湖作为一个集中化的数据存储仓库，支持的数据类型具有多样性，包括结构化、半结构化以及非结构化的数据，数据来源上包含数据库数据、binglog 增量数据、日志数据以及已有数仓上的存量数据等。数据湖能够将这些不同来源、不同格式的数据...
集成与开发概览
数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、云BI及实时数据仓库等多种业务场景。离线集成。更多信息，请参见 离线集成概述。离线集成是一种低代码的数据开发工具，...
MTU配置说明
IPsec-VPN连接只支持传输已经分片的数据包，不支持对数据包分片及数据包分片重组。在您使用IPsec-VPN时，IPsec协议会对数据包进行加密，加密过程会扩大数据包长度，扩大后的数据包长度可能会超过网络中设置的最大数据传输单元MTU（Maximum ...
数据服务
数据服务访问RDS实例情况说明 为了更好地保障用户通过DataWorks数据服务访问RDS实例的安全性，新增数据源 时，选择的数据源类型不同（实例模式、连接串模式），在DataWorks数据服务中封装API时将会有不同的提示和建议，详情如下：数据源...
功能特性
配置管理 数据保护 敏感数据管理 DMS的敏感数据保护能力能根据所选的敏感数据扫描模板、敏感数据识别模型以及脱敏算法对数据进行脱敏处理，以避免敏感数据滥用，有效保护企业的敏感数据资产，防止数据泄露造成企业经营资金损失或罚款。...
离线同步并发和限流之间的关系
在一些数据同步场景，脏数据的出现会导致任务同步效率下降，以关系数据库写出为例，默认是执行batch批量写出模式，在遇到脏数据时会退化为单条写出模式（以找出batch批次数据具体哪一条是脏数据，保障正常数据正常写出），但单条写出效率会...
迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...
背景信息 在数据传输控制台创建从 OceanBase 数据库 Oracle 租户迁移数据至 Oracle 数据库的数据迁移项目，您可以通过结构迁移、全量迁移和增量同步，无缝迁移源端数据库中的存量业务数据和增量数据至 Oracle 数据库。同时，数据传输支持将...
功能更新动态（2024年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 新建Doris数据源 创建GreenPlum数据源 新建Amazon S3数据源 离线集成 新增集成任务...
常见问题
1、人工智能众包目前支持什么类型的需求？目前支持数据采集（文本、图片、语音、视频），数据清洗（对文本、语音、图片）进行判定和分类，内容审核（对文本、图片、语音和视频内容根据规则进行审核）;数据标注正在研发中，预计18年12月底...
什么是Databricks数据洞察
Databricks数据洞察（简称DDI）是基于Apache Spark的全托管大数据分析平台。产品内核引擎使用Databricks Runtime，并针对阿里云平台进行了优化。DDI为您提供了高效稳定的阿里云Spark服务，您无需关心集群服务，只需专注在Spark作业的开发上...
概述
若集群中某些库表的数据几乎没有更新、插入和修改操作，且读取频率非常低，如果您有降本需求，可以使用 PolarDB MySQL版 提供的冷数据归档功能，将这部分数据转存至低成本的OSS上存储，以降低数据存储成本。本章节介绍了冷数据归档方法、...
同步方案概览
数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、云BI及实时数据仓库等多种业务场景。本文将介绍数据同步功能支持的数据库、同步类型和同步拓扑。说明 数据同步在某些...
迁移方案概览
数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景。本文将介绍数据迁移功能支持的数据库、版本和迁移类型，以及具体的配置文档。说明 数据迁移在某些场景...
支持的数据库
数据同步 数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、查询与报表分流、云BI及实时数据仓库等多种业务场景。同步支持的数据库、版本和同步类型以及配置文档，请参见...
什么是数据库网关
使用指引 如果您是第一次使用数据库网关，您可以参考下述步骤开始使用：准备工作 新建数据库网关 添加数据库 为什么选择数据库网关 数据库网关提供安全可靠、低成本的数据库接入服务，通过数据库网关您可以安全且低成本地将第三方云或本地...
包的组成部分
PolarDB PostgreSQL版（兼容Oracle）的包是由包规格和包正文两个主要的部分构成的。包规格：这是一个公有接口（公有成员可以在包的外部引用）。我们在包定义中声明所有包含在包中数据库对象。包正文：包含包定义内部声明的所有数据库对象的...
- 产品推荐
- 这些文档可能帮助您