客户端FAQ
常见问题 Q：JDBC读取数据报错：java.lang.NumberFormatException:For input string:"xxxx"A：尝试按照普通数据类型解析密文数据，例如 getInt/getBigDecimal/getBoolean/getLong/getFloat/getDouble，由于密文不符合普通数据类型格式要求...
使用列索引加速ETL
PolarDB 支持ETL（Extract Transform Load）功能，开启该功能后，您可以在RW节点上使用列存索引，RW节点的SQL语句中的 SELECT 请求会发送至只读列存节点并使用列存索引功能进行加速查询，读取数据后，PolarDB 会通过内部网络将数据传回RW...
查询诊断
您也可以根据需求选择按照占用内存、磁盘读取数据量、磁盘读取数据耗时、网络传输数据量、网络传输数据耗时对算子排序以及计算整体比例。算子统计信息介绍如下：名称 说明 算子名称 算子名称与编号，在计划树中唯一。类型ID 算子类型编号。...
备份对数据库的影响
备份原理与影响 类目 逻辑备份 物理备份 全量备份原理 对每张表数据进行切分，然后在数据库上执行SQL语句，多线程并行读取数据。在数据库所在服务器上安装DBS备份网关，然后通过备份网关将数据库文件进行备份（拷贝）。增量备份原理 支持...
读数据表
用途 读数据表 算子用于从数据源中读取数据，作为下游节点输入数据的来源。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 选择计算资源 选择需要读取的数据源，支持的数据源类型...
查看并管理实时任务
指定来源表读取数据时点：设置指定开始时间会让所有支持startTime的来源表均从该时刻开始读取数据。重要 目前支持Log Service CDC、Kafka CDC、MySQL CDC、MongoDB CDC、OceanBase CDC指定来源表读取数据时点。SQL作业中的代码参数配置将...
数据源读取时间超时的优化思路
本文介绍导致DataV读取数据源超时的常见原因和解决方法。使用SQL查询的业务数据表数量太大，查询超时 针对查询条件所使用的字段添加索引，减少扫描行数。在数据库中增加定时任务，定时计算所需要的业务指标并更新结果表。DataV组件直接查询...
数据源读取时间超时的优化思路
本文介绍导致DataV读取数据源超时的常见原因和解决方法。使用SQL查询的业务数据表数量太大，查询超时 针对查询条件所使用的字段添加索引，减少扫描行数。在数据库中增加定时任务，定时计算所需要的业务指标并更新结果表。DataV组件直接查询...
GetRange
Java SDK：范围读取数据 Go SDK：范围读取数据 Python SDK：范围读取数据 Node.js SDK：范围读取数据.NET SDK：范围读取数据 PHP SDK：范围读取数据 服务能力单元消耗 GetRange操作消耗读服务能力单元的数值为查询范围内所有行主键数据大小...
查看并管理实时任务
指定来源表读取数据时点：设置指定开始时间会让所有支持startTime的来源表均从该时刻开始读取数据。重要 目前支持Log Service CDC、Kafka CDC、MySQL CDC、MongoDB CDC、OceanBase CDC指定来源表读取数据时点。SQL作业中的代码参数配置将...
配置AnalyticDB for PostgreSQL输入组件
表 选择数据同步的来源表：如果 来源表量 选择了 单表，在下拉列表中选择读取数据的表。如果 来源表 选择了 多表，则按照下图操作指引，添加读取数据的多个表。在①处配置筛选多表的表达式，连续多个表的格式如 table[A-Z]、table_[01-05]...
配置AnalyticDB for PostgreSQL输入组件
表 选择数据同步的来源表：如果 来源表量 选择了 单表，在下拉列表中选择读取数据的表。如果 来源表 选择了 多表，则按照下图操作指引，添加读取数据的多个表。在①处配置筛选多表的表达式，连续多个表的格式如 table[A-Z]、table_[01-05]...
读取OSS数据
如果直接使用OSS外部表，每次读取数据都涉及OSS的I/O操作，且MaxCompute本身针对内部存储设计的许多高性能优化都无法应用，因此性能上会有所损失。如果您需要对数据进行反复计算或对计算的高效性比较敏感，推荐先在MaxCompute项目中创建...
主键列自增
读取数据时，如果已记录完整的主键，您可以使用 读取单行数据 或者 批量读取数据 方式读取数据；如果未记录自增主键列的值，您可以使用 范围读取数据 方式按照第一个主键列确定范围读取数据。说明 要更新已存在的行数据时，如果未记录自增...
主键列自增
读取数据时，如果已记录完整主键，您可以使用 读取单行数据 或者 批量读取数据 方式读取数据；如果未记录自增主键列的值，您可以使用 范围读取数据 方式按照第一个主键列确定范围读取数据。说明 如果要更新已存在的行，请先通过 GetRange ...
Query Profile介绍
LocalDiskReadIOTime 从本地缓存读取数据产生的I/O耗时。该指标仅适用于存算分离实例。RemoteReadIOTime 从远端OSS读取数据产生的I/O耗时。该指标仅适用于存算分离实例。IoSeekTime IO Seek寻址过程产生的总耗时。该指标仅适用于存算分离...
读取数据
读取数据时，请根据实际查询场景使用相应查询方式读取数据。重要 当要读取带有自增主键列的表数据时，请确保已获取到包含自增主键列值在内的完整主键。更多信息，请参见 主键列自增。如果未记录自增主键列的值，您可以使用范围读取数据按照...
Hive数据源
您可以基于HDFS文件和Hive JDBC两种方式读取数据：基于HDFS文件读取数据 Hive Reader插件通过访问HiveMetastore服务，解析出您配置的数据表的HDFS文件存储路径、文件格式、分隔符等信息后，再通过读取HDFS文件的方式读取Hive中的表数据。...
查询时序数据
nextToken 如果一次查询仅返回了部分符合条件的行，此时response中会包括nextToken，可在下一次请求中指定nextToken用来继续读取数据。示例 以下示例用于查询test_timeseries_table时序表中满足指定条件的时序数据。private static void ...
CoAP连云HAL
接口说明：调用此接口从指定DTLS连接中读取数据。此接口为同步接口，若超前读取到数据时立即返回，否则在超时时间到时解除阻塞并返回。参数说明：参数 数据类型 方向 说明 context DTLSContext*输入 DTLS会话句柄。p_data unsigned char*...
离线批量写入数据
如果读取数据，您可以通过离线批量读取数据、基础数据读取等方式实现。更多信息，请参见 离线批量读取数据 和 读取数据。如果需要删除数据，您可以通过调用DeleteRow或BatchWriteRow接口实现，更多信息，请参见 删除数据。您还可以通过如下...
读取数据
表格存储 提供了单行读取、批量读取、范围读取、迭代读取和并行读取的查询方式用于读取数据表中数据。数据写入到数据表后，您可以选择所需数据查询方式进行数据读取。如果需要了解 表格存储 各场景的应用案例，请参见 快速玩转Tablestore...
如何选择备份方式
全量备份原理 对每张表数据进行切分，然后在数据库上运行SQL语句，多线程并行读取数据。在数据库所在服务器上安装DBS备份网关，然后通过备份网关将数据库文件进行备份（拷贝）。更多详情，请参见 添加备份网关。增量备份原理 支持实时捕获...
读取数据
读取数据时，请根据实际查询场景使用相应查询方式读取数据。重要 当要读取带有自增主键列的表数据时，请确保已获取到包含自增主键列值在内的完整主键。更多信息，请参见 主键列自增。如果未记录自增主键列的值，您可以使用范围读取数据按照...
OCS与数据库结合使用示例
运行结果如下：从MySQL中查询数据.Key=non-beijing,Value=7 从OCS中读取数据.Key=non-beijing,Value=7 从OCS中读取数据.Key=non-beijing,Value=7 从OCS中读取数据.Key=non-beijing,Value=7 …… …… 从结果可以看出，程序第1次是从MySQL...
数据库代理主机监控详情
每次读取数据量 io_read_byte 每次读取数据量，单位：MB。每次写入数据量 io_write_byte 每次写入数据量，单位：MB。每秒接收数据量 net_recv 每秒接收数据量，单位：MB。每秒发送数据量 net_send 每秒发送数据量，单位：MB。
使用二级索引读取数据
注意事项 索引表只能用于读取数据。本地二级索引表的第一列主键必须与数据表的第一列主键相同。当需要返回的属性列不在索引表中时，您需要自行反查数据表来获取数据。单行读取数据 调用 GetRow 接口读取一行数据。更多信息，请参见 读取...
配置IBM DB2输入组件
读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 配置数据同步时，每条并发SQL语句读取数据的条数，默认的批量条数为1024。输入过滤 配置抽取数据的筛选条件，配置说明如下：配置固定值，...
配置IBM DB2输入组件
读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 配置数据同步时，每条并发SQL语句读取数据的条数，默认的批量条数为1024。输入过滤 配置抽取数据的筛选条件，配置说明如下：配置固定值，...
列存索引配置参数说明
loose_etl_from_imci_compress 从只读列存节点读取数据时，是否需要压缩文件。取值如下：OFF（默认）：从只读列存节点读取数据时，不压缩文件。ON：从只读列存节点读取数据时，压缩文件。loose_imci_default_pack_shift 设置列存索引的行组...
使用二级索引读取数据
注意事项 索引表只能用于读取数据。当需要返回的属性列不在索引表中时，您需要自行反查数据表来获取数据。单行读取数据 调用 GetRow 接口读取一行数据。更多信息，请参见 读取单行数据。参数 使用GetRow接口读取索引表中数据时有如下注意...
逻辑备份、物理备份与快照
数据库备份DBS 支持逻辑备份与物理备份，详细说明如下：区别项 逻辑备份 物理备份 全量备份 对每张表数据进行切分，然后在数据库上运行SQL语句，多线程并行读取数据。在数据库所在服务器上安装DBS备份网关，然后通过备份网关将数据库文件...
创建MySQL表并读取数据
本文介绍如何在DLA中创建MySQL表并读取数据。登录 DLA控制台。单击左侧导航栏的 SQL访问点，然后单击 登录DMS，在DLA中创建如下表所示的MySQL表。CREATE EXTERNAL TABLE hello_mysql_vpc_rds.tbl_person(id int,name varchar(1023),age int...
通过Logstash导入数仓版
reset_beginning：指定Logstash启动后从哪个位置开始读取数据，默认是结束位置，即Logstash进程会从上次读取结束时的偏移量开始继续读取数据；如果之前没有消费过，则从头读取数据。如果您要导入原数据，需将 reset_beginning 值改为 true...
使用二级索引读取数据
注意事项 索引表只能用于读取数据。本地二级索引表的第一列主键必须与数据表的第一列主键相同。当需要返回的属性列不在索引表中时，您需要自行反查数据表来获取数据。单行读取数据 调用 GetRow 接口读取一行数据。更多信息，请参见 读取...
方案实现
步骤四：读取数据 数据读取包括如下两种方式：主键读取 通过getRow,getRange,batchGetRow等接口基于原生表格存储的主键列读取数据。主键读取用于索引（自动）反查，您也可以提供主键（文件编号md5）的单条查询的页面，亿量级下查询速度保持...
Data Warehouse的创建
Impala虚拟数仓依赖该用户进行角色扮演以读取数据，新增用户请参见 在FreeIPA中添加用户。Data Warehouse启动步骤 Step 1：登录DataService集群的Management Console，点击Data Warehouse。Step 2：激活默认环境，Delegation Username必须...
Tableau
Tableau是一款操作简单且功能强大的报表分析工具，支持连接 AnalyticDB MySQL 数据源。在Tableau中连接 AnalyticDB MySQL 后，可以通过拖放或单击的方式快速创建智能视图...选择某个数据库后，可以读取数据表以及预览数据进行可视化报表制作。
数据导入概览
④ 图数据库GDB加载程序从满足RAM角色的Bucket中读取数据并将数据加载至图数据GDB实例。使用DataWorks数据集成同步数据到GDB DataWorks 是阿里云上的一站式大数据智能云研发平台，其中数据集成服务支持导出数据到GDB，您也可以使用平台完成...
将自建ClickHouse向企业版迁移
在目标集群中使用 Remote 函数从源集群的源表中读取数据。INSERT INTO db.table SELECT*FROM remote('source-hostname:9000',db,table,'exporter','password-here')在源集群中使用 Remote 函数将数据推送到目标集群中。说明 为了使 Remote ...
- 产品推荐
- 这些文档可能帮助您