Kyuubi概述
批数据处理：Kyuubi提供了SQL接口用于常见的批处理，通常是大型提取、转换、加载（ETL）过程。Kyuubi及其引擎都是存储独立的，支持众多的数据源，并且Kyuubi支持在连接级别隔离后台引擎实例，以便实现更好的计算资源隔离并提升稳定性。...
批处理
注意事项 批处理将对满足条件的所有文件生成对应数据处理任务，请使用文件较少的前缀进行测试并验证数据处理效果。暂停批处理将立即停止生成新的数据处理任务，但已经提交生成的数据处理任务将会继续正常运行。输出路径应避免以输入路径为...
API概览
本产品（RDS Data API/2022-03-30）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK...BatchExecuteStatement 批处理SQL语句 调用BatchExecuteStatement接口对一组数据执行批处理SQL语句。
表流读写
这将设置一个“软最大值”，这意味着批处理大约此数量的数据，并可能处理超过该限制的数据量。如果你使用Trigger。如果Trigger.Once用于流式传输，则忽略此选项。如果将此选项与maxFilesPerTrigger结合使用，则微批处理将处理数据，直到...
任务类型
（Chunk：一批待处理数据分片集合）执行阶段：客户端接收到通知后拉取数据进行处理，处理完后继续拉取新的数据，直到数据都处理完成。拓扑任务 任务拓扑 是一种特殊的任务，是由许多通过事件触发的任务的集合。任务拓扑本身可以通过 CRON ...
SQL概述
提交MaxCompute作业后，会存在几十秒到数分钟不等的排队调度，所以适合处理批作业，提交一次作业批量处理海量数据。不适合直接对接需要每秒处理几千至数万笔事务的前台业务系统。使用向导 如果您需要.参考文档 说明 了解MaxCompute SQL 与...
集群任务限流
Process 阶段 Processor 接收到数据后，通过多线程的方式对这批数据进行处理。处理后通过队列推送至 Writer。Write 阶段 Writer 接收到数据后，通过多线程的方式对数据进行写操作。数据写操作完成之后，Writer 根据是否有新数据标志进行...
DeleteBatch-删除批处理任务
删除指定的一个批处理任务。接口说明 删除批处理任务时，当任务状态处于 Ready（就绪），Failed（失败），Suspended（暂停），Succeeded（完成）时可以删除，其他运行中的状态禁止删除。删除批处理任务时，可以先通过 GetBatch 查询批处理...
BatchExecuteStatementResult
名称 类型 描述 示例值 object BatchExecuteStatement 的返回值。GeneratedFieldsList array 批处理 SQL 执行过程中的自增列。array 批处理 SQL 中的一条 SQL 执行的自增列。Field 自增列的值，详情请参见 Field。
任务拆分和执行
处理数据服务需要实现接口 IProcessor：public interface IProcessor,O>{/*数据处理，将读取出的对象加工转换为要处理的对象*@param r*@return*/DataProcessResult<O>process(ClusterJobExecuteContext context,I i)throws Exception;数据...
队列服务订阅推送
Commit为完成提交，表示该消费者已经收到了这批数据并且处理完毕，可以推送下一批数据。Negative为否定提交，表示消费者已经收到了数据但是因为某些原因无法处理，队列服务根据错误Code决定是否推送下一批数据。可以在Negative的同时以文本...
功能特性
集群任务可以分成两个阶段：拆分阶段：对数据进行分片，不限制拆分层数，将拆分结果上报给服务端，由服务端根据拆分的 Chunk（一批待处理数据分片集合）通知客户端来拉取数据进行处理。执行阶段：客户端接收到通知后拉取数据进行处理，处理...
ResumeBatch-恢复批处理任务
将一个Suspend（暂停）或Failed（失败）的批处理任务恢复。接口说明 只有 Suspended（暂停），Failed（失败）状态的批处理任务可以恢复，恢复后继续执行未完成的任务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的...
Windows实例中数据恢复
在处理磁盘相关问题时，您可能会碰到操作系统中数据盘分区丢失的情况。本文介绍了Windows系统下常见的数据盘分区丢失的问题以及对应的处理方法，同时提供了使用云盘的常见误区以及最佳实践，避免可能的数据丢失风险。前提条件 已注册阿里云...
SuspendBatch-暂停批处理任务
将一个 Running（正在执行）的批处理任务暂停。接口说明 任务状态 Running（正在执行）时，可以暂停任务。如果想继续执行，需要调用 ResumeBatch 接口。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后...
减灾与应急时空解决方案与案例
方案背景 华宁环球（北京）减灾...特别在栅格数据处理上接口设计简单、功能丰富，并有效解决了困扰一般WebGIS用户的栅格数据处理性能问题。PolarDB云原生架构不仅可保证数据库的安全稳定运行，而且能通过节点的扩缩容实现整体系统的弹性能力。
函数概述
SQL分析自身预置了诸多函数，可以满足大部分业务场景的数据处理需求。本文为您介绍SQL分析提供的函数类型及函数使用相关说明。背景信息 SQL分析预置的函数类型如下。函数类型 说明 数据预处理函数 进行平滑、滤波等操作，去除异常数据，...
历史版本常见问题
版本范围 5.4.11-*5.4.12-*BLOB字段被Update时有概率出现乱码风险 现象描述 非下推update语句对Set子句中的BLOB类型数据处理存在问题，导致非下推update语句写入BLOB类型数据时按照Char类型进行了类型转换，产生不符合预期的结果。...
GetBatch-获取批处理任务信息
获取批处理任务信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 ...
ListBatches-查询批处理任务列表
查询批处理任务列表，支持排序，支持按照任务标签，任务状态等条件查询。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权...
MapReduce
MapReduce处理数据的完整流程如下：输入数据：对文本进行分片，将每片内的数据作为单个Map Worker的输入。分片完毕后，多个Map Worker便可以同时工作。在正式执行Map前，需要将输入数据进行分片。所谓分片，就是将输入数据切分为大小相等的...
巡航标记
动作 动作 说明 请求巡航路径 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如巡航标记配置了API数据源为 http://api.test ，传到 请求巡航路径 动作的数据为 { id:'1'}，则最终请求接口为 ...
特征离散化
平台上其他数据处理组件。按照平台规范开发的自定义组件。OUT端口-输出参数 参数名 参数描述 输出数据类型 输出 输出参数包含待离散化变量中配置的输入参数。浮点数 其他参数 参数名 参数描述 是否必填 参数默认值 参数范围 离散化方法 等...
等值面层（v3.x版本）
动作 动作 说明 请求插值点数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如等值面层配置了API数据源为 https://api.test ，传到 请求插值点数据接口 动作的数据为 { id:'1'}，则最终请求接口为 ...
基础数据类型
为了更好地处理数据，在创建表前，您需要了解Lindorm SQL支持的基础数据类型及相关使用限制。适用引擎 基础数据类型适用于宽表引擎和时序引擎。基础数据类型 数据类型 宽表引擎 时序引擎 对应的Java类型 描述 BOOLEAN 〇 〇 java.lang....
系统函数分类
数据探索自身预置了诸多函数，用于常见的数据处理需求。这些预置的系统函数具有跨引擎的特点，在离线、实时、在线3种模型的不同引擎中具有相同的行为和使用方式。本文为您介绍数据探索提供的系统函数类型及函数使用相关说明。函数分类 数据...
产品功能
阿里云图数据库自动机器学习（Graph Database Auto Machine Learning，简称GDB Automl）支持数据处理、模型训练、数据预测和导出部署。本文为您详细介绍GDB Automl的产品功能。数据处理 数据导入 目前版本支持从图数据库GDB导入数据、从...
查看资源用量大盘
资源用量大盘为您展示当前租户下已使用的数据处理单元总量和按任务类型分别统计的消耗趋势以及按项目粒度统计的消耗增量排行，帮助您了解数据处理单元的消耗情况以及时调整资源规格配置。本文为您介绍如何查看资源用量大盘。前提条件 需...
柱状层
动作 动作 说明 请求点位数据 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如柱状层配置了API数据源为 https://api.test ，传到 请求点位数据 动作的数据为 { id:'1'}，则最终请求接口为 ...
点热力层（v3.x版本）
动作 动作 说明 请求数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如点热力层配置了API数据源为 https://api.test ，传到 请求数据接口 动作的数据为 { id:'1'}，则最终请求接口为 ...
CDC测试
DT=Delay Time 处理数据量 处理Binlog的数据量，单位为字节/秒。BPS=Bytes Per Second 处理事件个数 每秒处理Binlog事件的个数。EPS=Events Per Second 处理事务个数 每秒处理事务的个数。说明 以Binlog文件中的事务个数作为统计依据。TPS=...
缺失值处理
是 整数或浮点数 说明 若存在非数值数据，则会置为NaN csv组件 igateoffline组件 平台上其他数据处理组件 按照平台组件开发的自定义组件 OUT端口-输出参数 参数名 参数描述 是否必填 输出数据类型 输出 输出包含保留变量、时间变量和缺失...
点热力层（v3.x版本）
动作 动作 说明 请求热力点数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如点热力层配置了API数据源为 https://api.test ，传到 请求热力点数据接口 动作的数据为 { id:'1'}，则最终请求接口为 ...
探照灯
动作 动作 说明 请求数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如探照灯配置了API数据源为 http://api.test ，传到 请求数据接口 动作的数据为 { id:'1'}，则最终请求接口为 http://api.test?id=1 ...
探照灯
动作 动作 说明 请求数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如探照灯配置了API数据源为 http://api.test ，传到 请求数据接口 动作的数据为 { id:'1'}，则最终请求接口为 http://api.test?id=1 ...
精模
动作 动作 说明 请求数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如精模配置了API数据源为 https://api.test ，传到 请求数据接口 动作的数据为 { id:'1'}，则最终请求接口为 https://api.test?id=1 ...
探照灯
动作 动作 说明 请求数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如探照灯配置了API数据源为 https://api.test ，传到 请求数据接口 动作的数据为 { id:'1'}，则最终请求接口为 ...
存储异常问题排查
本文介绍关于存储相关异常问题诊断流程和排查思路。诊断流程 执行以下命令，查看Pod事件，确认Pod无法启动是由存储问题导致。kubectl describe pods若查看Pod处于下图所示的状态，说明Pod使用的存储都已成功挂载到Pod上。此时Pod没启动...
存储异常问题排查
本文介绍关于存储相关异常问题诊断流程和排查思路。诊断流程 执行以下命令，查看Pod事件，确认Pod无法启动是由存储问题导致。kubectl describe pods若查看Pod处于下图所示的状态，说明Pod使用的存储都已成功挂载到Pod上。此时Pod没启动...
点热力层（v4.x版本）
请求热力点数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如点热力层配置了API数据源为 https://api.test ，传到 请求热力点数据接口 动作的数据为 { id:'1'}，则最终请求接口为 ...
- 产品推荐
- 这些文档可能帮助您