支持的数据源
湖仓版（3.0）通过DataWorks导入数据 PolarDB分布式版（原DRDS）DTS 数仓版（3.0）通过DTS导入数据 湖仓版（3.0）通过DTS导入数据 DataWorks 数仓版（3.0）通过DataWorks导入数据 湖仓版（3.0）通过DataWorks导入数据 PolarDB MySQL 联邦...
导入结构和数据
背景信息 ODC 支持批量导入数据库对象的结构和数据。通过 ODC 导入任务可以分别导入数据库对象的结构和数据、仅导入数据或者仅导入结构。导入结构和数据：同时导入数据库对象的定义语句及其数据。仅导入数据：仅导入表/视图对象的数据。仅...
数据迁移或同步方案概览
本文汇总了 PolarDB-X 1.0 支持的数据迁移或同步的方案。说明 下表中√表示支持，×表示...大√数据集成：从MaxCompute导入到 PolarDB-X 1.0。从 PolarDB-X 1.0 导出到MaxCompute。详细操作步骤，请参见DataWorks文档 数据集成 相关内容。大√
JSON格式导入
示例如下：[{"id":123,"city":"beijing"},{"id":456,"city":"shanghai"},.]这种方式通常用于Stream Load导入方式，以便在一批导入数据中表示多行数据。重要 必须配合设置 strip_outer_array=true 使用。Doris在解析时会将数组展开，然后...
数据导入常见问题
导入数据的时候出现类似如下错误时，建议您查看并调大 load_process_max_memory_limit_bytes 和 load_process_max_memory_limit_percent 的参数值。修改配置项的具体操作，请参见 修改配置项。数据导入过程中，发生远程过程调用（Remote ...
产品和业务限制
C8：16个 联系技术支持申请更多 一次性申请的ECU个数上限 C8：8个 无需 单个分析型数据库MySQL版每天最大申请扩容或缩容 12次 无例外 单个分析型数据库MySQL版连续24小时导入数据量限制 2 ecuCount diskSize 无例外 单个分析型数据库...
使用程序进行大数据导入
本文介绍如何通过编写代码的方式，离线导入大数据量到 PolarDB-X 1.0 数据库。背景信息 假设当前数据库有一个表需要导入到 PolarDB-X 1.0 数据库中，数据量大致为814万，表结构如下。CREATE TABLE `post`(`postingType` int NOT NULL,`id` ...
数据变更最佳实践
批量和实时导入数据 批量导入：适用于大数据量导入的场景，导入过程中可以查询旧数据，导入操作完成后一键切换新数据。导入失败时，支持回滚新数据，不影响查询旧数据。例如，从MaxCompute、OSS中导入数据到 AnalyticDB MySQL版 时，推荐...
数据导入优化建议
数据量大的情况，推荐使用INSERT OVERWRITE SELECT做批量导入。导入并发和资源说明 单张表的导入会在系统内部串行，不同表之间的导入任务会并行，默认并行度是2。以MaxCompute表导入HybridDB for MySQL为例，同一张表的不同分区导入实际上...
数据迁移和同步方案概览
使用场景 数据源 文档链接 从Kafka同步 Kafka 从Kafka同步 从Flink导入 Flink 从JDBC connector导入 从Flink SQL导入 从大数据导入/同步 DataWorks 从DataWorks同步 MaxCompute 从MaxCompute外表导入（19.15.2.2）从MaxCompute外表导入（20...
导入导出表数据
导入数据 在 Project Explorer 区域，单击MaxCompute项目的 Tables&Views 节点前的下拉箭头，右键单击需要导入数据的表，选择 Import data into table。在 Importing data to table_name 对话框中，配置导入文件参数。Input File：导入数据...
导入Kafka数据
数据格式 待导入数据的格式。极简模式：如果待导入的数据为单行格式，您可以选择 极简模式。JSON字符串：如果待导入的数据为JSON，您可以选择 JSON字符串。导入任务会将数据解析为键值对格式，只解析到第一层。解析数组元素 打开 解析数组...
数据导入
本文介绍导入数据量大或数据属性复杂时，可以使用的解决方法，帮助您更快地导入数据。导入方法 图数据库GDB支持如下三种导入方法，具体请参见 数据导入简介。从阿里云云存储对象（OSS）导入数据。使用DataWorks数据集成同步数据到GDB。使用...
Insert Into
但Insert Into有默认的超时时间，如果您预估的导入数据量过大，需要修改系统的Insert Into导入超时时间。例如，当导入数据量为36 GB时，导入时间约小于等于3600s*10 M/s。其中10 M/s是最大导入限速，您需要根据当前集群情况计算出平均的...
Broker Load
本文介绍如何通过Broker Load导入数据至 云数据库 SelectDB 版 实例。背景信息 Broker Load是一种异步的导入方式，通过读取远端存储（如HDFS、S3）上的数据，导入数据到 云数据库 SelectDB 版 的表中。您可通过MySQL协议创建 Broker Load ...
导入Kafka数据
采用公网导入数据时，网络的性能和带宽无法保障，容易出现导入延迟问题。其他限制 限制项 说明 元数据同步延迟 导入任务每10分钟与Kafka集群同步一次集群的元数据信息。对于新增的Topic、Partitons，导入其元数据会存在10分钟左右的延迟。...
通过Spark导入数据
工作原理 Spark SelectDB Connector底层实现依赖于SelectDB的Stage导入方式，当前支持两种使用方式：通过在用户对象存储上创建外部Stage（External Stage），进行批量数据拉取和导入，适用于大规模数据导入的场景。这种导入方式依赖用户侧...
导入与导出
原因：因为MaxCompute表比较大，导入数据消耗的时间长，超过了AnalyticDB MySQL中INSERT操作的时间限制。解决方法：修改INSERT_SELECT_TIMEOUT参数后重新导入数据。具体操作，请参见 常见配置参数。如何解决 导入MaxCompute数据 时，出现...
轮播页面
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
Broker Load
其次，由于Broker Load是单次导入中唯一的一种异步导入的方式，所以您想使用异步方式导入大文件时，可以考虑使用Broker Load。数据量 以下内容是针对单个BE的情况，如果您集群有多个BE，则下面标题中的数据量应该乘以BE个数来计算。例如，...
轮播页面
数据项配置 说明 数据源 组件的数据源中通过 代码编辑 或 可视化编辑 展示了组件所包含的数据字段。也可以修改 数据类型，灵活配置组件数据。数据映射 当您需要自定义图表字段配置时，可以在 数据映射 模块设置不同的字段映射内容，将这些...
Spark Load
适用场景 Spark Load通过外部的Spark资源实现对导入数据的预处理，提高Doris大数据量的导入性能并且节省Doris集群的计算资源。主要用于初次迁移、大数据量导入Doris的场景。源数据在Spark可以访问的存储系统中，如HDFS。数据量达到10 GB...
SelectDB数据源
否 94371840 maxRetries 每批次导入数据失败后的重试次数。否 3 labelPrefix 每批次上传文件的label前缀。最终的label将由 labelPrefix+UUID 组成全局唯一的label，确保数据不会重复导入。否 datax_selectdb_writer_loadProps COPY INOT的...
通过DataX导入数据
配置导入数据格式使用参数format，导入数据格式默认使用CSV，支持JSON，详情请参考 类型转换。flushInterval 否 30000 数据写入批次的时间间隔。默认为30000ms 命令行提交任务。cd target/datax/datax/bin python datax.py./...
Spark Load
Spark Load通过外部的Spark资源实现对导入数据的预处理，提高StarRocks大数据量的导入性能并且节省StarRocks集群的计算资源。Spark Load主要用于初次迁移、大数据量导入StarRocks的场景（数据量可到TB级别）。本文为您介绍Spark Load导入的...
Doris数据源
QUANTILE_STATE Aggregate 1.2.x、2.x 支持 实现原理 Doris Writer通过Doris原生支持的 StreamLoad 方式导入数据，Doris Writer会将Reader端读取到的数据缓存在内存中，并拼接成文本，然后批量导入至Doris数据库。更多详情请参见 Doris官方...
通过DataWorks导入数据
maxBatchRows 每批次导入数据的最大行数。默认为500000。loadProps COPY INTO的请求参数，主要用于配置导入的数据格式。默认JSON格式导入。如果 loadProps 没有配置，或者配置为"loadProps":{}，都采用默认的JSON格式。使用JSON格式时，...
导入概述
异步导入 Spark Load 通过外部的Spark资源实现对导入数据的预处理，提高StarRocks大数据量的导入性能并且节省StarRocks集群的计算资源。Spark Load是一种异步导入方式，需要通过MySQL协议创建导入作业，并通过 SHOW LOAD 查看导入结果。...
导入概述
导入方式 为适配不同的数据导入需求，StarRocks系统提供了以下导入方式，以支持不同的数据源（例如HDFS、Kafka和本地文件等），或者按不同的方式导入数据，StarRocks目前导入数据的方式分为同步导入和异步导入两种。所有导入方式都支持CSV...
数据的导入导出
MSE ZooKeeper提供通过快照（Snapshot）导入数据，同时支持导出快照（Snapshot）和事务日志（Transaction log）文件。本文介绍如何使用ZooKeeper导入和导出数据。前提条件 已 创建ZooKeeper引擎。使用限制 在使用数据导入和导出功能时，...
OSS与ClickHouse间的数据导入与导出
步骤二：导入数据 通过S3表引擎导入数据 ClickHouse的HDFS表引擎能够从指定OSS地址读取特定格式的文件数据，语法如下：CREATE TABLE[IF NOT EXISTS][db.]table_name[ON CLUSTER cluster](name1[type1][NULL|NOT NULL][DEFAULT|MATERIALIZED...
自定义区域下钻层（v3.x版本）
导入数据接口 按组件绘制格式处理数据后，导入组件，重新绘制。不需要重新请求服务端数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果 区域。导入默认区域接口 按组件绘制格式处理数据后，导入组件，重新...
区域热力层（v3.x版本）
动作 动作 说明 导入数据接口 按组件绘制格式处理数据后，导入组件，重新绘制。不需要重新请求服务端数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据源 页签的 数据响应结果 区域。请求数据接口 重新请求服务端数据，上游数据...
Stream Load
StarRocks支持从本地直接导入数据，支持CSV文件格式，数据量在10 GB以下。本文为您介绍Stream Load导入的基本原理、使用示例和最佳实践。背景信息 Stream Load是一种同步的导入方式，通过发送HTTP请求将本地文件或数据流导入到StarRocks中...
导入Amazon S3文件
文件数量和总数据量都很大，但导入数据的速度不及预期（正常情况下，可达到80 MB/s）。Logstore Shard数量过少。更多信息，请参见 性能限制。Logstore Shard数量较少时，请尝试增加Shard的个数（10个及以上），并观察延迟情况。具体操作，...
Stream Load
StarRocks支持从本地直接导入数据，支持CSV文件格式，数据量在10 GB以下。本文为您介绍Stream Load导入的基本原理、使用示例和最佳实践。背景信息 Stream Load是一种同步的导入方式，通过发送HTTP请求将本地文件或数据流导入到StarRocks中...
水波图
动作 动作 说明 导入数据接口 按组件绘制格式处理数据后，导入组件，重新绘制。不需要重新请求服务端数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据源 页签的 数据响应结果 区域。请求数据接口 重新请求服务端数据，上游数据...
导入OSS数据
文件数量和总数据量都很大，但导入数据的速度不及预期（正常情况下，可达到80 MB/s）。Logstore Shard数量过少。更多信息，请参见 性能限制。Logstore Shard数量较少时，请尝试增加Shard的个数（10个及以上），并观察延迟情况。具体操作，...
Stream Load
适用场景 Stream Load主要适用于导入本地文件或通过程序导入数据流中的数据。说明 本文部分内容来源于Apache Doris，详情请参见 Stream load。基本原理 下面为您展示了Stream Load的主要流程，省略了部分导入细节。1A.User submit load to ...
分区分桶
概述 为了能高效处理大数据量的存储和计算，云数据库 SelectDB 版 按分治思想对数据进行分割处理，将数据分散到分布式系统中进行处理。SelectDB中 所有的表引擎都支持如下两种的数据划分。一层：仅使用一层分区时。建表时不写分区语句即可...
- 产品推荐
- 这些文档可能帮助您