Excel导入
简介 Excel导入组件用于向数据库批量上传相关业务数据。组件内置两个按钮下载导入模板和批量提交。下载导入模板会下载Excel导入组件数据源对应实体的Excel模板文件。批量提交按钮会触发文件上传，并按Excel导入组件数据源对应实体字段解析...
数据导入方式介绍
为满足多样化的数据导入需求，云原生数据仓库AnalyticDB MySQL版 提供了多种数据导入方式，包括：通过外表导入数据、使用DataWorks导入数据和利用JDBC通过程序导入数据等。本文介绍各导入方式的特性及适用场景，帮助您选择正确的数据导入...
支持的数据源
湖仓版（3.0）通过DataWorks导入 大数据 MaxCompute 外表 数仓版（3.0）通过外表导入至数仓版 湖仓版（3.0）通过外表导入至湖仓版 DataWorks 数仓版（3.0）通过DataWorks导入 湖仓版（3.0）通过DataWorks导入 Flink Flink 数仓版（3.0）...
使用kettle将本地数据导入AnalyticDB MySQL 2.0
准备工作 使用Kettle将本地Excel数据导入 云原生数据仓库AnalyticDB MySQL版 2.0集群之前，需要完成以下准备工作。在本地主机中安装kettle。在 云原生数据仓库AnalyticDB MySQL版 2.0集群中创建目标数据库、表组和表。关于如何创建 云原生...
数据迁移或同步方案概览
本文汇总了 PolarDB-X 1.0 支持的数据...详细操作步骤，请参见 使用程序进行大数据导入。大√数据集成：从MaxCompute导入到 PolarDB-X 1.0。从 PolarDB-X 1.0 导出到MaxCompute。详细操作步骤，请参见DataWorks文档 数据集成 相关内容。大√
通过Kettle导入至数仓版
本文以Excel为例，介绍如何通过Kettle将本地Excel数据导入至 AnalyticDB MySQL版 数仓版（3.0）。背景信息 Kettle是一款非常受欢迎的开源ETL工具软件，主要用于数据整合、转换和迁移。Kettle不仅支持各类关系型数据库和NoSQL数据源（HBase...
导入结构和数据
通过 ODC 导入任务可以分别导入数据库对象的结构和数据、仅导入数据或者仅导入结构。导入结构和数据：同时导入数据库对象的定义语句及其数据。仅导入数据：仅导入表/视图对象的数据。仅导入结构：仅导入数据库对象的定义语句。导入文件格式...
JSON格式导入
本文为您介绍进行JSON格式数据导入时的参数说明和注意事项。支持的导入方式 目前只有以下导入方式支持JSON格式的数据导入：将本地JSON格式的文件通过 Stream Load 方式导入。通过 Routine Load 订阅并消费Kafka中的JSON格式消息。说明 暂不...
数据导入常见问题
本文汇总了StarRocks数据导入的常见问题。通用问题 如何选择导入方式？影响导入性能的因素都有哪些？报错“close index channel failed“或“too many tablet versions”，该如何处理？报错“Label Already Exists”，该如何处理？报错...
产品和业务限制
限制项 描述 例外申请方式 购买分析型数据库MySQL版的限制 账户余额大于等于500元现金 请联系技术支持 开通分析型数据库MySQL版的用户限制 用户需实名认证 无 可创建的最大分析型数据库MySQL版数 3个 联系技术支持申请更多 单个分析型数据...
使用程序进行大数据导入
本文介绍如何通过编写代码的方式，离线导入大数据量到 PolarDB-X 1.0 数据库。背景信息 假设当前数据库有一个表需要导入到 PolarDB-X 1.0 数据库中，数据量大致为814万，表结构如下。CREATE TABLE `post`(`postingType` int NOT NULL,`id` ...
数据迁移和同步方案概览
使用场景 数据源 文档链接 从Kafka同步 Kafka 从Kafka同步 从Flink导入 Flink 从JDBC connector导入 从Flink SQL导入 从大数据导入/同步 DataWorks 从DataWorks同步 MaxCompute 从MaxCompute外表导入（19.15.2.2）从MaxCompute外表导入（20...
数据变更最佳实践
批量和实时导入数据 批量导入：适用于大数据量导入的场景，导入过程中可以查询旧数据，导入操作完成后一键切换新数据。导入失败时，支持回滚新数据，不影响查询旧数据。例如，从MaxCompute、OSS中导入数据到 AnalyticDB MySQL版 时，推荐...
07批量导入逻辑表
按照数据模型导入Excel模板完成模型录入。操作目的 通过数据模型导入功能，一次批量导入多张数据模型。导入模型如下：workspace-tables 说明 该Excel中的模型均使用demo来标识模型构建人，可以在Excel中做替换，用来标识不同的模型构建人。...
导入Kafka数据
本文介绍如何将Kafka数据导入到日志服务，实现数据的查询分析、加工等操作。前提条件 已有可用的Kafka集群。已创建Project和Logstore。具体操作，请参见 创建项目Project 和 创建Logstore。版本说明 目前，只支持Kafka 2.2.0及以上版本。...
导入导出表数据
提示 Success，表示数据导入成功，您可以在表中查看导入的数据。导出数据 在 Project Explorer 区域，单击MaxCompute项目的 Tables&Views 节点前的下拉箭头，右键单击需要导出数据的表，选择 Export data from table。在 Exporting data ...
数据导入
导入顺序 当需要导入的数据量较大时，您可以将数据划分为多个导入任务，然后按照先导入点文件，后导入边文件的顺序依次将数据导入至图数据库GDB。代码格式如下：导入点文件 curl-u {username}:{password}-X POST \-H 'Content-Type:...
导入数据元
本文介绍如何通过Excel批量导入数据元数据。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。说明 若您已在 资产加工 页面，请跳过“单击 资产加工”的...
导入Kafka数据
最大Topic数量 单个数据导入配置最大支持指定10,000个Topic。单条日志大小 单条日志最大为3 MB。单条日志大小超过限制时，该日志会被丢弃。数据处理流量观测 仪表盘中的写失败条数代表被丢弃的数据条数。如何查看，请参见 查看导入配置。...
导入数据元
本文介绍如何通过Excel批量导入数据元数据。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。说明 若您已在 资产加工 页面，请跳过“单击 资产加工”的操作...
数据导入优化建议
批量和实时导入如何选择 从MaxCompute或者OSS导入HybridDB for MySQL，推荐使用 INSERT OVERWRITE SELECT 做批量导入：批量导入适合大数据量导入，性能较好。批量导入适合数据仓库语义，即导入过程中旧数据可查询，导入完成一键切换新数据...
Broker Load
背景信息 Broker Load是一种异步的导入方式，通过读取远端存储（如HDFS、S3）上的数据，导入数据到 云数据库 SelectDB 版 的表中。您可通过MySQL协议创建 Broker Load 导入，并通过 SHOW LOAD 命令检查导入结果。单次导入数据量最多可支持...
通过Spark导入数据
工作原理 Spark SelectDB Connector底层实现依赖于SelectDB的Stage导入方式，当前支持两种使用方式：通过在用户对象存储上创建外部Stage（External Stage），进行批量数据拉取和导入，适用于大规模数据导入的场景。这种导入方式依赖用户侧...
Insert Into
完整示例 在数据库sales中有表store_sales，又新建表bj_store_sales，希望将store_sales中销售记录在bj的数据导入到表bj_store_sales中，导入的数据量约为10 GB，当前集群的平均导入速度约为5 M/s。store_sales schema：(id,total,user_id,...
导入指标
通过Excel导入指标数据，可实现批量创建指标。本文介绍如何导入指标。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。说明 若您已在 资产加工 页面，请...
导入指标
通过Excel导入指标数据，可实现批量创建指标。本文介绍如何导入指标。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。说明 若您已在 资产加工 页面，请跳...
Broker Load
其次，由于Broker Load是单次导入中唯一的一种异步导入的方式，所以您想使用异步方式导入大文件时，可以考虑使用Broker Load。数据量 以下内容是针对单个BE的情况，如果您集群有多个BE，则下面标题中的数据量应该乘以BE个数来计算。例如，...
导入与导出
您可以调大单次导入的 批量插入条数 及增加 任务期望最大并发数，数据导入性能会随着导入压力的增加而线性增加。DataWorks导入数据至AnalyticDB MySQL集群时，为什么导入的目标表存在数据倾斜？当导入的目标表存在数据倾斜时，集群部分节点...
SelectDB数据源
DataWorks数据集成支持使用SelectDB ...否 无 flushInterval 数据写入批次的时间间隔（单位：ms），如果 maxBatchRows 和 batchSize 参数设置的很大，则可能还未达到设置的数据量大小，系统就会根据写入的时间间隔执行数据导入。否 30000
通过DataX导入数据
使用示例 如下以MySQL数据源为例，介绍在Linux环境下如何通过DataX将MySQL数据导入至 云数据库 SelectDB 版。步骤一：配置DataX环境 下载DataX程序包代码，插件代码下载请访问 Doris社区。运行DataX程序包中的init-env.sh脚本，构建DataX...
轮播页面
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
轮播页面
动作 动作 说明 导入大屏轮播数据接口 按组件绘制格式处理数据后，导入组件，重新绘制。不需要重新请求服务端数据，参考数据示例。[{"id":1,"serieName":"大屏一","url":"https://img.alicdn.com/imgextra/i4/O1CN01nZeSa71FYaTamJg2D_!...
Spark Load
适用场景 Spark Load通过外部的Spark资源实现对导入数据的预处理，提高Doris大数据量的导入性能并且节省Doris集群的计算资源。主要用于初次迁移、大数据量导入Doris的场景。源数据在Spark可以访问的存储系统中，如HDFS。数据量达到10 GB...
Doris数据源
DataWorks数据集成支持使用Doris Writer导入表数据至Doris。本文为您介绍DataWorks的Doris数据同步能力支持情况。支持的Doris版本 Doris Writer使用的驱动版本是MySQL Driver 5.1.47，该驱动支持的内核版本如下。驱动能力详情请参见 Doris...
Spark Load
Spark Load通过外部的Spark资源实现对导入数据的预处理，提高StarRocks大数据量的导入性能并且节省StarRocks集群的计算资源。Spark Load主要用于初次迁移、大数据量导入StarRocks的场景（数据量可到TB级别）。本文为您介绍Spark Load导入的...
数据的导入导出
数据导入 重要 数据导入功能会清空集群中已经存在的数据，请谨慎操作。登录 MSE注册配置中心管理控制台，并在顶部菜单栏选择地域。在左侧导航栏，选择 注册配置中心>实例列表。在 实例列表 页面，单击目标实例名称。在左侧导航栏，选择 ...
通过DataWorks导入数据
云数据库 SelectDB 版 支持使用DataWorks的数据集成功能，通过SelectDB Writer导入表数据。本文以MySQL数据源为例，介绍如何通过DataWorks同步数据至 云数据库 SelectDB 版。使用限制 DataWorks的数据集成功能仅支持离线写入 云数据库 ...
导入概述
保证Exactly-Once：外部系统需要保证数据导入的At-Least-Once，StarRocks的Label机制可以保证数据导入的At-Most-Once，即可整体上保证数据导入的Exactly-Once。基本概念 名词 描述 导入作业 读取用户提交的源数据并进行清洗转换后，将数据...
导入概述
保证Exactly-Once：外部系统需要保证数据导入的At-Least-Once，StarRocks的Label机制可以保证数据导入的At-Most-Once，即可整体上保证数据导入的Exactly-Once。基本概念 名词 描述 导入作业 读取用户提交的源数据并进行清洗转换后，将数据...
OSS与ClickHouse间的数据导入与导出
本文为您介绍如何将OSS中的数据导入至ClickHouse集群及如何将ClickHouse集群上的数据导出至OSS。前提条件 已在OSS上创建存储空间，详情请参见 控制台创建存储空间。已创建ClickHouse集群，详情请参见 创建ClickHouse集群。OSS数据导入至...
- 产品推荐
- 这些文档可能帮助您