CREATE TABLE AS SELECT（CTAS）
示例2 从 customer 表读取 customer_id、customer_name 列的数据，并将数据写入新表 new_customer。示例语句如下：CREATE TABLE new_customer AS SELECT customer_id,customer_name FROM customer;示例3 从 customer 表读取 customer_id、...
通过Logstash导入数仓版
Logstash是开源的服务器端数据处理管道，能够同时从多个数据源采集数据，然后对数据进行转换，并将数据写入指定的存储中。AnalyticDB MySQL 完全兼容MySQL，您可以将Logstash Input插件支持的任一数据源中的数据写入 AnalyticDB MySQL。...
实时同步任务延迟解决方案
说明 实时同步任务从一个系统读数据，并将数据写入另一个系统，当写数据比读数据慢时，则读数据一侧的系统会受到反压，导致速度变慢。即造成瓶颈的系统可能会由于反压导致另一侧系统的一些异常，此时要优先关注造成瓶颈的系统的异常情况。...
通过导入实现列更新
通过正常的导入方式将一部分列的数据写入SelectDB的Memtable，此时Memtable中并没有整行数据。在Memtable下刷的时候，会查找历史数据，用历史数据补齐一整行，并写入数据文件中，同时将历史数据文件中相同Key的数据行标记删除。当出现并发...
定时SQL Exactly-Once
当您将数据写入到相同的Hash Key中时，如果待写入数据的Sequence ID小于等于Hash Key中记录的最近一次写入的数据的Sequence ID，则日志服务将拒绝数据写入并返回错误。当您将数据写入到相同的Hash Key中时，如果待写入数据的Sequence ID...
如何将本地.rdb文件恢复到云数据库 Redis 版实例
重启后，如需打开AOF，可以执行 redis-cli CONFIG SET appendonly yes，执行后Redis会在指定目录创建新的AOF文件并将当前内存中的数据写入新文件。但该配置仅适用于当前运行中的Redis实例，如需永久打开，请将Redis配置文件（redis.conf）...
Flink数据导入
步骤二：数据写入 通过SQL语句在Flink中创建源表和结果表，并通过源表和结果表将数据写入 AnalyticDB MySQL 中。步骤三：数据验证 登录 AnalyticDB MySQL 目标数据库，来查看并验证源数据是否成功导入。步骤一：数据准备 在其中一个Flink...
INTO子句
语法 SELECT_clause INTO<measurement_name>FROM_clause[WHERE_clause][GROUP_BY_clause]语法描述 INTO 子句支持多种指定measurement的格式：INTO将数据写入到一个指定的measurement。如果您使用CLI写入数据，那么写入数据的measurement...
搜索索引介绍
数据同步服务LTS实时监听宽表WAL，筛选出宽表WAL中带有SearchIndex的表，并将筛选的数据写入至搜索引擎。搜索引擎收到数据后实时构建倒排索引。数据查询的流程如下：查询操作发送至Lindorm宽表引擎，计算层自动进行查询编译，基于优化器...
Kafka兼容说明
本文介绍通过开源Kafka客户端将数据写入流表的操作步骤。操作步骤 获取流引擎连接地址。具体操作，请参见 查看连接地址。创建流表。如何创建，请参见 流表。获取Kafka Topic名称。Kafka Topic名称的格式为：LINSTREAM-+Database名+“.”+流...
写入时空对象
在索引表创建完成、时空对象创建完成后，即可调用数据写入接口将数据写入到Lindorm Ganos中。单条记录写入 Lindorm Ganos通过GeoTools API中的SimpleFeatureWriter写入单条数据，SimpleFeatureWriter支持事务，可以通过DataStore的...
写入时空对象
在索引表创建完成、时空对象创建完成后，即可调用数据写入接口将数据写入到HBase Ganos中。单条记录写入 HBase Ganos通过GeoTools API中的SimpleFeatureWriter写入单条数据，SimpleFeatureWriter支持事务，可以通过DataStore的...
写数据表
写数据表组件将数据写入MaxCompute表。本文为您介绍写数据表的参数配置。前提条件 如果您需要写入分区表，则需要先创建待写入的分区表，再使用该组件写入数据，关于如何创建分区表，详情请参见 创建分区表。使用限制 支持的计算引擎为...
数据模型
ColumnName Type AggregationType Comment user_id LARGEINT 无 用户ID date DATE 无 数据写入日期 timestamp DATETIME 无 数据写入时间，精确到秒 city VARCHAR(20)无 用户所在城市 age SMALLINT 无 用户年龄 sex TINYINT 无 用户性别 ...
集群吞吐性能测试
将500个大小为4 GB的文件按顺序写入到 文件存储 HDFS 版，读写数据的缓存大小为8 MB，并将统计数据写入/tmp/TestDFSIOwrite.log 中。hadoop jar./share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.6-tests.jar TestDFSIO-...
查询机制
INSERT 当您使用INSERT插入一条数据时，具体过程如下：从数据文件中读取一个数据块到内存中，并将这行数据写入这个数据块，系统生成一条INSERT的WAL日志。当执行COMMIT命令后，系统会产生一条COMMIT的WAL日志。INSERT WAL日志和COMMIT WAL...
写入文件提示无法满足最小写入副本要求
本文介绍写入文件提示无法满足最小写入副本要求问题的原因和解决方案。具体报错 报错信息如下所示。其中，【X】是当前正在运行的DataNode数量，【Y】是被排除在此操作之外的DataNode数量。org.apache.hadoop.ipc.RemoteException(java.io....
全球多活使用限制
不一致情况 图示 说明 value互换 子实例A在1.1时刻收到SET命令（key->value_A），并于1.2时刻将数据写入数据库。子实例B在2.1时刻收到SET命令（key->value_B），并于2.2时刻将数据写入数据库。在3.1时刻子实例A向子实例B同步数据（key->...
全球多活使用限制
不一致情况 图示 说明 value互换 子实例A在1.1时刻收到SET命令（key->value_A），并于1.2时刻将数据写入数据库。子实例B在2.1时刻收到SET命令（key->value_B），并于2.2时刻将数据写入数据库。在3.1时刻子实例A向子实例B同步数据（key->...
通过HTTP API写入数据
Length:150 {"error":"field type conflict:input field \"booleanonly\"on measurement \"tobeornottobe\"is type float,already exists as type boolean dropped=1"} 将数据写入到一个不存在的数据库：curl-i-XPOST 'https://<网络地址>:...
创建/刷新物化视图支持批量写入
SELECT INTO 语法用于建立一张新表，并将查询所对应的数据写入表中，而不是将查询到的数据返回给客户端。其表结构与查询的输出列完全相同。原理介绍 对于物化视图的创建（CREATE MATERIALIZED VIEW）和刷新（REFRESH MATERIALIZED VIEW），...
Fluentd插件
Fluentd插件 产品介绍 该插件是基于Fluentd开发的输出插件，主要是将采集到的数据写入DataHub。该插件遵守Fluentd输出插件开发规范，安装方便，可以很方便地将采集得到的数据写到DataHub。产品安装 通过Ruby gem安装 注意：RubyGem源建议...
文件网关的缓存有什么作用
本地客户端通过文件网关向OSS上传文件时，数据会先写入文件网关的缓存。当文件完全写入缓存并关闭后，文件网关会将缓存中的文件上传至OSS。如果在上传过程中有新的文件写入缓存，上传过程将会中断，等待文件完全写入缓存并关闭后，上传才会...
自媒体：易撰
客户价值 在获取数据并写入数据库时并发较高，MySQL单机数据库无法满足写入并发要求，PolarDB-X+RDS满足了高并发写的诉求，实现了更高的业务承载量。分钟级计算节点升配和增加节点，解决客户业务高峰的资源瓶颈。高弹性海量存储，解决客户...
使用Flink写入时序引擎
说明 实时计算Flink版默认不具备访问公网的能力，如需通过公网将数据写入时序引擎，请参见 Flink全托管集群如何访问公网。已开通时序引擎。Lindorm时序引擎为3.4.7及以上版本，如何查看或升级时序引擎版本，请参见 时序引擎版本说明 和 ...
命令行界面
使用 insert 将数据写入TSDB For InfluxDB® 输入insert，然后输入符合行协议的数据，可将数据写入TSDB For InfluxDB®。使用 insert into<retention policy><line protocol>可将数据写入到指定的保留策略。将数据写入单个field，其中，该...
创建物化视图的跨机并行加速和批量写入
SELECT INTO 语法用于建立一张新表，并将查询所对应的数据写入表中，而不是将查询到的数据返回给客户端。其表结构与查询的输出列完全相同。原理介绍 对于物化视图的创建和刷新，以及 CREATE TABLE AS/SELECT INTO 语法，由于在数据库层面...
创建数据库和集合并写入数据
本文以DMS（Data Management Service）为例，介绍如何在云数据库MongoDB中创建数据库和集合并写入数据。前提条件 已完成快速入门的如下步骤：创建副本集实例（可选）重置密码 设置白名单 通过DMS连接MongoDB副本集实例（可选）创建数据库...
创建数据库和集合并写入数据
本文以DMS（Data Management Service）为例，介绍如何在云数据库MongoDB中创建数据库和集合并写入数据。前提条件 已完成快速入门的如下步骤：创建单节点实例（可选）重置密码 设置白名单 通过DMS连接MongoDB单节点实例（可选）创建数据库...
创建数据库和集合并写入数据
本文以DMS（Data Management Service）为例，介绍如何在云数据库MongoDB中创建数据库和集合并写入数据。前提条件 已完成快速入门的如下步骤：创建分片集群实例（可选）重置密码 设置白名单 通过DMS连接MongoDB分片集群实例（可选）创建数据...
从自建PostgreSQL迁移至PolarDB PostgreSQL版
为避免迁移前后数据不一致，迁移操作开始前请停止自建数据库的相关业务，并停止数据写入。准备工作 创建一个Linux操作系统的ECS实例，本案例使用的ECS为Ubuntu 16.04 64位操作系统。详情请参考 创建ECS实例。说明 要求ECS实例和迁移的目标 ...
实时消费Kafka数据
通过 AnalyticDB PostgreSQL版 可读外表对Kafka数据进行转换，并将数据写入 AnalyticDB PostgreSQL版 目标表中。前提条件 Kafka服务与 AnalyticDB PostgreSQL版 实例需在同一专有网络（VPC）。重要 如果Kafka服务与 AnalyticDB PostgreSQL...
从RDS PostgreSQL迁移至PolarDB PostgreSQL版
为避免迁移前后数据不一致，迁移操作开始前请停止自建数据库的相关业务，并停止数据写入。准备工作 创建一个Linux操作系统的ECS实例，本案例使用的ECS为Ubuntu 16.04 64位操作系统。详情请参考 创建ECS实例。说明 要求ECS实例和迁移的目标 ...
开源Flink 1.11及以上版本实时写入
FlinkDataStreamToHoloExample：一个使用纯Flink DataStream接口实现的应用，将数据写入至Hologres。FlinkRoaringBitmapAggJob：一个使用Flink及RoaringBitmap，结合Hologres维表，实现实时去重统计UV的应用，并将统计结果写入Hologres。...
通过Telegraf写入时序引擎
但需注意分隔符只能选用Lindorm时序引擎所支持的 单值数据写入。关于其他可配置项的设置，请参见 Telegraf 在线文档。启动Telegraf，开启数据上报。数据上报开始后，可以从时序引擎实例的管控平台的监控页面，看到数据的写入情况。监控页面...
Logstash数据写入问题排查方案
在使用阿里云Logstash将数据写入阿里云Elasticsearch（output指定为阿里云Elasticsearch）时，您可能会遇到网络不通、管道配置错误、负载高、管道正常启动但无数据写入目标端以及服务正常但缺少数据等问题，此时您可以参考本文的排查方案...
使用MongoDB工具将自建数据库迁移至分片集群实例
为保障数据一致性，迁移操作开始前请停止自建数据库的相关业务，并停止数据写入。如果您之前使用Mongodump命令对数据库进行过备份操作，请将 dump 文件夹中的备份文件移动至其他目录并确保 dump 文件夹为空，否则执行备份操作将会覆盖该...
Flume插件
产品介绍 Flume-DataHub插件是基于Flume开发的DataHub数据订阅/发布插件，可以将采集到的数据写入DataHub，也可以从DataHub读取数据写入其他系统。该插件遵守Flume插件开发规范，安装方便，可以很方便的向DataHub发布/订阅数据。产品安装 ...
整库离线同步至OSS
说明 如果您希望将每日数据写入至OSS新的文件夹中，您可以使用变量${bdp.system.bizdate} 对文件路径进行命名。文件类型 定义写入目的端的文件格式，包括csv、text及parquet。说明 csv仅支持严格的csv格式。如果待写入数据包括列分隔符，则...
创建快照
背景信息 创建快照所需时间为分钟级别，并取决于文件系统实际写入数据的容量大小。文件系统的第一份快照为全量快照，耗时较久。再次创建快照，相对耗时较短，但依然取决于和上一份快照之间的数据变化量。变化越大，耗时越久。创建快照时，...
- 产品推荐
- 这些文档可能帮助您