导入概述
为了更好地满足各种不同的业务场景，StarRocks支持多种数据模型，StarRocks中存储的数据需要按照特定的模型进行组织。本文为您介绍数据导入的基本概念、原理、系统配置、不同导入方式的适用场景，以及一些最佳实践案例和常见问题。背景信息...
导入概述
为了更好地满足各种不同的业务场景，StarRocks支持多种数据模型，StarRocks中存储的数据需要按照特定的模型进行组织。本文为您介绍数据导入的基本概念、原理、系统配置、不同导入方式的适用场景，以及一些最佳实践案例和常见问题。背景信息...
通过Flink导入数据
云数据库 SelectDB 版 兼容Apache Doris，支持通过Flink Doris Connector，将Kafka中的非结构化数据以及MySQL等上游业务数据库中的变更数据，实时同步到 云数据库 SelectDB 版 中，有效地满足海量数据的分析需求。功能介绍 Flink Doris ...
加工数据
背景信息 数据开发DataStudio提供丰富的节点，并对引擎能力进行封装，本案例使用 ODPS SQL节点 对同步至MaxCompute的用户数据与访问日志数据进行分层加工，具体逻辑请参照下文。业务流程管控：使用 虚拟节点 统筹管理整个业务流程，例如...
文档修订记录
数据保护伞默认提供了 数据开发/数据地图展示脱敏、数据集成静态脱敏 等多种一级脱敏场景，若该类场景生效的数据范围及用户范围无法满足您更细化的脱敏需求，则也可基于一级场景自定义二级脱敏场景使用。创建数据脱敏场景 2023.11.20 新增...
产品架构
数据订阅的工作原理 数据订阅支持实时拉取RDS实例的增量日志，用户可以通过DTS提供的SDK数据订阅服务端来订阅增量日志，同时可以根据业务需求，实现数据定制化消费。DTS服务端的日志拉取模块主要实现从数据源抓取原始数据，通过解析、过滤...
工作原理
工作原理 本地安装一个数据库网关代理（database gateway agent）。数据库网关代理负责与数据库网关云端服务（database gateway cloud service）建立安全的、可信任的通道。不同账号、不同网关所建立的通道彼此隔离。通道建立后，当您...
数据治理中心概述
普通用户 数据治理工作中实际处理待治理问题的整改人员，可使用个人视角查看检查项事件及治理项问题，并执行整改操作。如您需整改租户下存在的问题，则需被授权为该空间的成员。说明 通常，除阿里云主账号和具有 AliyunDataWorksFullAccess...
自建SQL Server通过物理网关迁移上云
物理协议迁移上云和逻辑数据迁移上云的区别 对比项 物理协议迁移上云 逻辑数据迁移上云 迁移原理 采用数据库原生物理备份协议以数据块的方式写入到目标端。采用JDBC逻辑协议获取SQL并写入到目标端。操作系统要求 仅支持Windows上的SQL ...
自建SQL Server通过物理网关迁移上云
物理协议迁移上云和逻辑数据迁移上云的区别 对比项 物理协议迁移上云 逻辑数据迁移上云 迁移原理 采用数据库原生物理备份协议以数据块的方式写入到目标端。采用JDBC逻辑协议获取SQL并写入到目标端。操作系统要求 仅支持Windows上的SQL ...
管理工作空间
工作空间管理员可以加入成员至工作空间，并赋予工作空间管理员、数据分析、数据开发或访客角色，以实现多角色协同工作。本文为您介绍工作空间的基本操作。前提条件 已开通数据湖构建DLF并创建数据目录，详情请参见 快速入门 和 数据目录。...
设置连接池
工作原理 前端连接与后端连接 在客户端（应用）与数据库建立连接时，以数据库代理为中间节点可将该连接分为前端连接（客户端与数据库代理的连接）和后端连接（数据库代理与数据库的连接）。如下图所示。未开启连接池时的连接建立过程 未...
离线同步数据质量排查
如果写出数据和目标存储已有数据发生数据约束（主键冲突、唯一键约束、外键约束等），数据库则使用来源数据update更新目标表已有数据行，在目标表存在多个数据约束的情况下，数据替换可能会失败并产生脏数据 如果写出数据和目标存储已有...
如何使用DataV Proxy
DataV Proxy应用工作原理 将加密的SQL查询字符串和数据库ID值传递给应用程序。由该应用程序连接到数据库，获取查询结果。将查询结果返回到DataV页面。启动DataV Proxy应用 Windows：下载 DataV Proxy应用安装包。解压后双击打开 datav_...
通过Spark导入数据
工作原理 Spark SelectDB Connector底层实现依赖于SelectDB的Stage导入方式，当前支持两种使用方式：通过在用户对象存储上创建外部Stage（External Stage），进行批量数据拉取和导入，适用于大规模数据导入的场景。这种导入方式依赖用户侧...
概述
本文介绍了Serverless的工作原理、核心优势和适用场景。背景 数据库是现代企业IT系统中非常重要的一部分。在创建数据库时，客户往往需要比较保守地去配置数据库集群的资源，包括CPU、内存、存储以及连接数等多种参数配置，以确保业务能够在...
数据迁移与同步FAQ
DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：将Redis数据库中的数据（即键值对）迁移至另一个Redis数据库中。通常迁移完成后即可...
备份集查询功能概览
工作原理 DBS与数据湖Data Lake Analytics深度集成，提供备份集在线查询能力，通过DLA直接对OSS上的备份数据文件进行查询。备份集查询功能的整体架构如下图所示。DBS也支持在单个备份计划下查询多个备份集。您需要选择目标备份集并创建数据...
云数据库AnalyticDB PostgreSQL 服务协议
阿里云产品及服务协议-总则《阿里云产品及服务协议》是 阿里云计算有限公司（以下简称“阿里云”）与您就阿里云所提供服务的相关事项所订立的有效合约。《阿里云产品及服务协议》以下或简称“本服务协议”、“服务协议”或“本协议”。阿里...
数据管理服务协议
《数据管理服务协议》是阿里云计算有限公司（以下简称“阿里云”）与您就数据管理服务的相关事项所订立的有效合约。《数据管理服务协议》以下或简称“本服务协议”、“服务协议”或“本协议”。背景信息 在接受本协议之前，请您仔细阅读...
IO加速
本文档将详细介绍该技术的优势、适用场景和工作原理，帮助您在面临大规模或频繁数据读写需求时显著提升数据库性能。背景 RDS PostgreSQL在数据处理过程中，数据会从磁盘读取到内存，在内存中处理完成后，数据再从内存写入到磁盘中。与内存...
查看数据库信息
在此页面可以查看数据库名称、状态、工作模式等信息。其中，命令行链接地址是指登录到数据库的链接地址。由于 PolarDB-X 1.0 完全兼容MySQL协议，通过MySQL客户端可以操作 PolarDB-X 1.0 数据库。将 命令行链接地址 复制粘贴到操作系统终端...
SL 651协议概述
SL 651是国家水文局制定的用于水文监测数据通信的协议，它规定了水文监测数据采集与传输的格式、内容、传输方式等技术参数，支持通过TCP（安全性低，不推荐）和TLS两种方式接入设备。使用限制 仅华东2（上海）、华北2（北京）和华南1（深圳...
产品服务协议
提示条款 欢迎您与阿里云计算有限公司（以下简称“阿里云”）共同签署本《阿里云产品服务协议》（下称“本协议”）并使用阿里云服务！协议中条款前所列索引关键词仅为帮助您理解该条款表达的主旨之用，不影响或限制本协议条款的含义或解释...
CDT服务条款
提示条款 欢迎您与阿里云计算有限公司（以下简称“阿里云”）共同签署本《阿里云产品服务协议》（下称“本协议”）并使用阿里云服务！协议中条款前所列索引关键词仅为帮助您理解该条款表达的主旨之用，不影响或限制本协议条款的含义或解释...
文件传输&CDN测速任务错误码
617 设置工作路径失败 设置上传或者下载任务的工作路径时候，发生错误。618 密码错误 登录密码错误，请检查密码是否有误。619 用户名错误 登录用户名错误，请检查用户名是否有误。620 操作未完成 由于与服务器之间的会话被终止，导致操作未...
版本发布记录
深度集成的生态 接入融合分析和数据回流能力 目前支持如下数据源的接入融合分析和数据回流能力，包括对象存储OSS上7种以上结构化、半结构化、以及多种压缩格式的数据文件，表格存储，AnalyticDB，云数据库版或自建数据库（MySQL、...
第三方认证文件管理
DataWorks的数据同步功能支持第三方身份认证机制，您需要提前在DataWorks的认证文件管理页面上传认证文件，并在配置数据源同时开启第三方认证功能，使得只有可信的应用和服务才能访问数据资源。本文为您介绍如何上传和引用认证文件。背景...
快速入门
本文为您介绍使用数据工作站功能前需要完成的工作，以及功能的使用流程。准备工作 将您需要分析的实例录入至DMS。具体操作，请参见 云数据库录入 和 他云/自建数据库录入。实例已开启安全托管。开启操作，请参见 开启安全托管。管理员将待...
OpenEvent概述
DataWorks的OpenEvent旨在将DataWorks的各类状态变更情况以消息的方式触达到用户，便于用户订阅消息并做出个性化的响应。例如，您可以通过OpenEvent订阅表变更，从而实现核心表的实时监控；通过OpenEvent订阅任务变更，实现定制化开发实时...
功能发布记录 2022年之前
DataWorks的数据治理中心从全局视角、工作空间视角、个人视角，自动发现并量化平台使用过程中数据存储、任务计算、代码开发、数据质量及数据安全等维度存在的待治理问题，并通过健康分模型进行统计，以治理报告及治理排行榜的形式呈现治理...
功能特性
监控告警 数仓和数据湖 功能集 功能 功能描述 参考文档 数据存储 数据缓存 云数据库SelectDB支持数据缓存功能，当您需要管理缓存数据并提升云数据库 SelectDB 版的访问速度时，可以根据该文档对缓存进行有效管理，并利用LRU和TTL管理策略，...
Stream Load
StarRocks支持从本地直接导入数据，支持CSV文件格式，数据量在10 GB以下。本文为您介绍Stream Load导入的基本原理、使用示例和最佳实践。背景信息 Stream Load是一种同步的导入方式，通过发送HTTP请求将本地文件或数据流导入到StarRocks中...
AnalyticDB MySQL 2.0数据导入
MaxCompute中已经没有原始数据，原始数据只存在于 AnalyticDB for MySQL 2.0集群的数据库中，可以使用两种数据迁移方式将 AnalyticDB for MySQL 2.0集群中的数据导入到 数仓版（3.0）。具体操作，请参见 数据迁移。准备工作 了解 ...
通过函数计算节点实现GitHub实时数据分析与结果发送
DataWorks提供“Github十大热门编程语言”模板，通过对GitHub中公开数据集进行加工和分析，并将分析结果以邮箱的方式发送给指定用户。运行本案例后，您将得到Github中Top10编程语言每小时被提交的次数与排行。说明 手动配置与实际应用中的...
新功能发布记录
详情请参见 云数据库服务协议。2024年4月 类别 名称 说明 相关文档 新增 查询改写功能 AnalyticDB for MySQL 不仅支持查询物化视图，还支持查询改写，即执行用户查询时，自动将查询改写成对物化视图的查询，提高查询效率。查询改写功能 ...
部署与运维
用户可以通过控制台页面管理数据库、用户、权限、参数等，或执行数据备份、设置监控报警等日常运维工作。为了便于用户将 PolarDB-X 与其他系统集成，PolarDB-X DBPaas平台也提供了丰富的OpenAPI接口，包括实例管理接口、数据库管理接口，...
DB2数据源
DB2数据源作为数据中枢，为您提供读取和写入DB2数据库的双向通道，能够快速解决海量数据的计算问题。本文为您介绍DataWorks的DB2数据同步的能力支持情况。支持的版本 DB2 Reader和DB2 Writer使用的DB2驱动版本为 IBM Data Server Driver ...
多可用区部署
事实上，绝大部分的业务都能接受读取100 ms前的数据，而且Lindorm的客户端支持就近读写，如果用户的读写客户端在同一可用区，大部分情况下客户端读到的都是最新数据（没有因为毛刺或者机器终止工作导致当前可用区的partition不可用或者超时...
通过RAM角色授权模式配置数据源
本文以OSS数据源为例，为您介绍如何通过RAM角色授权模式配置数据源，提高云上数据的安全性。前提条件 如果您需使用RAM用户登录并完成本文操作流程，请先为RAM用户授予 AliyunDataWorksFullAccess 和 AliyunRAMFullAccess 权限策略，详情请...
- 产品推荐
- 这些文档可能帮助您