数据服务入门
已创建目标数据源，作为生成API所需的源端输入数据。详情请参见 配置数据源。本文示例创建MySQL类型的数据源。背景信息 DataWorks数据服务作为数据库和数据应用之间的桥梁，旨在为个人、团队及企业提供全面的数据服务及共享能力，帮助用户...
导入数据
前提条件 已新建导入数据所需的云计算资源，具体操作，请参见 新建云计算资源。说明 支持进行数据导入的云计算资源有：RDS MySQL、MaxCompute、AnalyticDB PostgreSQL、AnalyticDB MySQL 3.0、PostgreSQL。操作步骤 登录企业数据智能平台。...
导入数据
前提条件 已新建导入数据所需的云计算资源，具体操作，请参见 新建云计算资源。说明 支持进行数据导入的云计算资源有：RDS MySQL、MaxCompute、AnalyticDB PostgreSQL、AnalyticDB MySQL 3.0、PostgreSQL、Hologres。操作步骤 登录 数据...
添加数据集
您可以在页面左侧的搜索框列表内拖动列表右侧的滚动轴选择一个您所需的数据表，也可直接在数据表列表上方的搜索框内输入数据表的名称后单击右侧的 图标，搜索到您所需的数据表。选择一个数据表后，在右侧表格数据展示区域中单击表头行内某...
创建RDS MySQL数据订阅通道
结构更新 订阅整个实例所有对象的结构创建、删除及修改，您需要使用数据订阅客户端过滤所需的数据。说明 如果选择整个库作为订阅对象，那么该库中新增对象的增量数据也可以被订阅到。如果选择某个表作为订阅对象，那么只有这个表的增量数据...
功能特性
RDS MySQL跨地域备份 RDS SQL Server跨地域备份 RDS PostgreSQL跨地域备份 PolarDB跨地域备份 长期保留备份 支持长期保留备份文件，帮助用户在必要时找回所需的数据，保护数据资产。RDS MySQL长期保留备份 恢复演练 定期自动化演练数据库的...
使用DTS创建数据订阅
结构更新 订阅整个实例所有对象的结构创建、删除及修改，您需要使用数据订阅客户端过滤所需的数据。说明 若您需要订阅 结构更新，可以参考 通过触发器和函数实现PostgreSQL的DDL增量迁移 在源库中创建触发器和函数来捕获DDL信息。源库对象 ...
创建RDS PostgreSQL数据订阅任务
结构更新 订阅整个实例所有对象的结构创建、删除及修改，您需要使用数据订阅客户端过滤所需的数据。说明 若您需要订阅 结构更新，可以参考 通过触发器和函数实现PostgreSQL的DDL增量迁移 在源库中创建触发器和函数来捕获DDL信息。源库对象 ...
配置数据订阅任务
结构更新 订阅整个实例所有对象的结构创建、删除及修改，您需要使用数据订阅客户端过滤所需的数据。源库对象 从 源库对象 列表中，选择待订阅对象，单击图标，将其移动到 已选择对象 列表中。说明 订阅对象支持选择的粒度为库、表。如果...
恢复数据库
规格越高恢复速度越快，数据量越大恢复所需的时间也就越长。更多信息，请参见 备份恢复性能说明。操作步骤 说明 本示例仅介绍通用配置流程，不同数据库引擎的恢复配置略有不同。关于各类数据库引擎的详细配置案例，请参见 备份与恢复概览。...
在工作空间创建数据源或注册集群
示例创建MaxCompute数据源所需的权限如下。步骤一：创建数据源或注册集群 工作空间创建完成后，您需将所需的引擎项目创建为当前工作空间的数据源或注册为工作空间的集群，用于执行后续开发操作。创建数据源 进入管理中心页面。登录 ...
范围选择器功能介绍
选择数据格式 在选中地图中的区域范围后，可自定义选择所需的范围数据格式内容，可选数据格式内容包括如下几种：JSON API：单击链接右侧的 图标，即可复制JSON数据的API链接。JEOJEON API：单击链接右侧的 图标，即可复制JEOJEON数据的API...
范围选择器功能介绍
选择数据格式 在选中地图中的区域范围后，可自定义选择所需的范围数据格式内容，可选数据格式内容包括如下几种：JSON API：单击链接右侧的 图标，即可复制JSON数据的API链接。GeoJSON API：单击链接右侧的 图标，即可复制GeoJSON数据的API...
数据接口配置说明
视图模式配置面板示例 代码模式 在代码模式下，您可以根据示例接口代码，自定义编写所需数据接口的代码。实现新增或配置数据接口的内容。说明 配置数据接口代码规范，请参见 组件开发包文件概览。配置数据接口 在 数据接口设置 页签中，...
申请、续期和交还数据源权限
参数 描述 数据源 选择所需申请的数据源。如需新建数据源，请参见 数据源管理。权限类型 选择需申请的权限类型，支持 同步读、同步写、执行。同步读：通过同步组件对来源存储中的数据进行读取的权限。同步写：通过同步组件对目标存储进行...
申请、续期和交还数据源权限
参数 描述 数据源 选择所需申请的数据源。如需新建数据源，请参见 数据源管理。权限类型 选择需申请的权限类型，支持 同步读、同步写、执行。同步读：通过同步组件对来源存储中的数据进行读取的权限。同步写：通过同步组件对目标存储进行...
数据接口配置说明
视图模式配置面板示例 代码模式 在代码模式下，您可以根据示例接口代码，自定义编写所需数据接口的代码。实现新增或配置数据接口的内容。图 2.代码模式面板示例 说明 配置数据接口代码规范，请参见 组件开发规范。配置数据接口 在 数据接口...
配置迁移实例
说明 迁移不同的数据库所需的权限有所差异，详情请参见 迁移方案概览 中对应的配置案例。SourceEndpoint.Password String 否 Test123456 源库数据库账号的密码。SourceEndpoint.OwnerID String 否 140692647406*源实例所属的阿里云账号ID。...
配置订阅实例
说明 订阅不同的数据库所需的权限有所差异，详情请参见 DTS数据订阅方案概览 中对应的配置案例。SourceEndpoint.Password String 否 Test123456 源实例的数据库账号密码。SourceEndpoint.OracleSID String 否 testsid Oracle数据库的SID...
数据扫描和识别
扫描时长将由您所需扫描的数据量决定。当存在大量数据表时（例如：表数量超过10000张），或者OSS文件总量特别大（例如：OSS总量超过PB）时，扫描周期会相应延长。在 DSC 扫描数据的过程中，已经完成扫描的阶段性结果，会在 数据安全中心...
PolarDB MySQL版迁移至ClickHouse集群
数据传输服务DTS（Data Transmission Service）支持将 PolarDB MySQL版 集群迁移至ClickHouse集群，帮助您实现数据地流转，将企业数据集中分析。前提条件 已创建20.8及以上版本的目标ClickHouse集群，详情请参见 新建集群。说明 ClickHouse...
数据集成：全领域数据汇聚
计费 运行数据集成任务可能产生的费用由以下几部分组成：运行数据集成任务所需的 数据集成资源组 费用。计费详情请参见 独享数据集成资源组计费说明：包年包月、公共数据集成（调试）资源组：按量计费。运行数据集成任务所需的 调度资源组 ...
PolarDB MySQL版同步至ClickHouse集群
数据传输服务DTS（Data Transmission Service）支持将 PolarDB MySQL版 集群同步至ClickHouse集群，帮助您轻松实现数据的流转，将企业数据集中分析。前提条件 已创建20.8及以上版本的目标ClickHouse集群，详情请参见 新建集群。说明 ...
准备用于数据订阅的数据库账号
源库的数据库账号所需权限 数据库 所需权限 创建及授权方法 RDS MySQL 只读账号，或具备REPLICATION CLIENT、REPLICATION SLAVE、SHOW VIEW和SELECT权限的自定义账号。创建账号 和 修改账号权限。自建MySQL 待订阅对象的SELECT权限。...
准备用于数据同步的数据库账号
无 双向同步任务对账号权限的要求 双向同步任务要求源和目标数据库具备如下权限，以允许DTS在源和目标数据库中创建库dts，用于做数据防循环复制。数据库 所需权限 创建及授权方式 RDS MySQL 高权限账号。创建数据库和账号。自建MySQL 待...
准备用于数据迁移的数据库账号
源库的数据库账号所需权限 数据库 所需权限 创建及授权方法 RDS MySQL 待迁移对象的读权限。创建数据库和账号 和 修改账号权限。自建MySQL 结构迁移：待迁移对象的SELECT权限。全量数据迁移：待迁移对象的SELECT权限。增量数据迁移：待迁移...
恢复数据
还原时间 还原方式 为 按时间点，选择所需复制数据所在的时间点。按备份集 还原方式 为 按备份集 时所见，选择要恢复的备份集。实例规格 新实例的规格。存储空间 新实例的存储空间。单击 确定。恢复SQL Server数据 恢复SQL Server数据的...
功能支持
查询子句 全密态数据库支持如下常见数据库查询所需的子句。说明 示例中 table_name 表示表名，col 表示列名，ciphertext_col 表示密文列。子句 示例 WHERE SELECT col1,col2 FROM table_name WHERE ciphertext_col1>ciphertext_col2 ORDER ...
DLF+EMR之统一权限最佳实践
背景说明 元数据和数据权限是DLF产品提供的数据湖构建所需的基础能力，数据湖上引擎及产品。通过DLF提供的统一元数据视图访问湖上数据，解决湖上数据面临的元数据一致性及数据难以共享的问题，同时各引擎也可通过集成DLF统一权限服务获得...
搭建与管理（基于Hadoop）
选择外部数据源 外部数据源保存了创建外部数据湖连接所需的URL、端口、用户鉴权等。选择或创建E-MapReduce或Hadoop外部数据源。参数详情，请参见 表3 外部数据源参数说明。表 3.外部数据源参数说明 参数名称 说明 选择MaxCompute项目 选择...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
大数据安全治理的难点
使用大数据系统的常见人员包括开发、运营、分析师，甚至销售及HR都会来查询自己所需的数据。如此多类型的用户，授权、管理难度加大，什么样的人员需要授予什么样的权限？如果他们离职、换部门了怎么办？这其中很有可能出现 权限蠕变、过度...
敏感数据溯源
背景信息 通过DataWorks的 数据保护伞 的 数据脱敏管理，开启目标 数据识别规则 的 数据水印 功能后，则在DataWorks中，对命中该规则的数据所执行的所有操作（例如查询、下载等）均会自动生成水印信息。水印信息用于记录用户的访问行为，...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大...
加速服务
说明 在加速服务的外部表方案中，所需的Hologres引擎由数据服务提供，因此，您无需单独购买Hologres引擎，只需专注于选择目标MaxCompute表。华东2（上海）、华北2（北京）、华东1（杭州）、华南1（深圳）地域。公共数据服务资源组将于2023...
大数据AI公共数据集分析
操作难度 低 所需时间 30分钟 使用的阿里云产品 DataWorks：一站式大数据开发与治理平台，绑定计算引擎后可在DataWorks上开发调度对应引擎的分数据开发治理任务。MaxCompute：适用于数据分析场景的企业级SaaS模式云数据仓库，为海量数据...
基于PolarDB PostgreSQL和LLM构建企业专属Chatbot
目前有两种常见的方法实现：微调（Fine-tuning）：通过提供新的数据集对已有模型的权重进行微调，不断更新输入以调整输出，以达到所需的结果。这适用于数据集规模不大或针对特定类型任务或风格进行训练，但训练成本和价格较高。提示调整...
添加项目基底数据
添加基底数据对话框内，提供了创建一个项目所需的所有功能，如添加空间实体、选择区域及查看区域数据等。本文介绍在添加基底数据面板内各个功能的使用方法。选择空间实体 进入空间构建平台。在 我的项目 页面，单击 创建项目。输入项目名称...
添加项目基底数据
添加基底数据对话框内，提供了创建一个项目所需的所有功能，如添加空间实体、选择区域及查看区域数据等。本文介绍在添加基底数据面板内各个功能的使用方法。选择空间实体 进入空间构建平台。在 我的项目 页面，单击 创建项目。输入项目名称...
- 产品推荐
- 这些文档可能帮助您