RestAPI（HTTP形式）数据源
答：是的 是否支持自动翻页，例如当请求参数后面没数据时便停止翻页。答：不支持，否则无法进行split切分。如果需要指定翻页次数，但指定翻页次数比实际页数多，导致后面数据为空，系统会如何处理？答：当后面页数数据为空时，相当于SQL查...
概述
数据传输是 OceanBase 数据库提供的一种支持同构或异构数据源与 OceanBase 数据库之间进行数据交互的服务，具备在线迁移存量数据和实时同步增量数据的能力。产品功能 数据传输提供可视化的集中管控平台，您只需要进行简单的配置即可实时...
概述
授权后，权限生效的用户可以在该数据填报中管理自己提交的数据，同时也支持提交数据。提交数据：用于设置数据填报管理数据的权限。授权后，权限生效的用户可以在该数据填报中提交数据。数据集 支持授予某用户编辑和使用数据集的权限。编辑...
发布中心概述
功能介绍 发布中心由 待发布对象 和 发布记录 组成：在 待发布对象 页面，记录了 集成同步、规范建模 和 数据处理 模块提交的数据对象。您可以单击数据对象操作列下的 图标，发布数据对象至生产环境。在 发布记录 页面，您可以查看数据对象...
发布中心概述
功能介绍 发布中心由 待发布对象 和 发布记录 组成：在 待发布对象 页面，记录了 集成同步、规范建模 和 数据处理 模块提交的数据对象。您可以单击数据对象操作列下的 图标，发布数据对象至生产环境。在 发布记录 页面，您可以查看数据对象...
导入
导入状态：导入并保存：仅导入并保存数据，不生成新的版本 导入并提交：导入数据，并将最新导入的数据提交一个新的版本 批量导入仅支持导入.xlsx 格式文件，每次最多可导入30000条数据，并且文件大小不超过10MB。查看导入结果。在 完成 页...
导入导出表数据
Record Limit：导入数据的最大行数。Size(MB)Limit：导入数据量最大值，单位为MB。Error Record Limit：容错行数。Include Column Header：是否导入列标题。单击 OK，完成数据导入。提示 Success，表示数据导入成功，您可以在表中查看导入...
Config和Hint配置参数
INSERT、UPDATE、DELETE超时时间 INSERT_SELECT_TIMEOUT 集群级别修改INSERT、UPDATE和DELETE语句的最大执行时间。默认值：24*360000，取值范围为大于0的整数。单位：毫秒（ms）。SET ADB_CONFIG INSERT_SELECT_TIMEOUT=3600000;使用限制 ...
Tunnel命令常见问题
java.io.IOException:Error writing request body to server 产生原因 这是上传数据到服务器时产生的异常，通常是因为上传过程中的网络连接断开或超时导致的：当您的数据源并非是本地文件，需要从数据库等地方获取时，数据在写入的过程中还...
非持久设置
持久性是数据库的一个保证已提交事务的记录的特性（即使是发生服务器崩溃或断电）。然而，持久性会明显增加数据库的负荷，因此如果你的站点不需要这个保证，本数据库可以被配置成运行更快。在这种情况下，你可以调整下列配置来提高性能。...
Spark常见报错
解决方法：Spark作业中广播表的最大内存为8 GB，您可以在提交Spark作业时使用 spark.sql.autoBroadcastJoinThreshold 参数配置广播表的内存。单位MB。Spark会使用抽样方法估算表的大小，如果表分布不均匀，估算就会出现错误。您可以将 ...
离线同步常见问题
（自动生成是指配置cleanup=true执行同步任务）向ES写入数据时，会做一次无用户名的提交，但仍需验证用户名，导致提交失败，因此提交的所有请求数据都被记录，导致审计日志每天都会有很多，如何处理？Elasticsearch writer配置了Settings，...
参考：渐进式计算
可以看出，第n+1天执行过程中有6天的数据是被重复计算的。如下图所示：渐进式计算方式：第n（n>=7）天执行需要处理[n-6,n]区间的数据；第n+1天执行需要处理[n,n+1]区间的数据。即第n+1天执行只需要处理当天的增量数据，再和之前6天计算好的...
局部事务
未提交的局部事务可能失效，如果出现此情况，需要重试该局部事务内的操作。在局部事务中读写数据有如下限制：不能使用局部事务ID访问局部事务范围（即创建时使用的分区键值）以外的数据。同一个局部事务中所有写请求的分区键值必须与创建...
使用Fluid加速Lindorm S3协议兼容的数据访问
步骤二：创建Dataset和Runtime 说明 为了方便管理数据，Fluid定义了数据集Dataset（数据集是逻辑上相关的一组数据的集合，会被计算引擎使用）和Runtime（实现数据集安全性、版本管理和数据加速等能力的执行引擎，定义了一系列生命周期的...
Tunnel SDK常见问题
问题类别 常见问题 Tunnel SDK Upload 使用Tunnel SDK上传数据时，上传的数据可以自动分配到各个分区吗？使用Tunnel SDK上传数据时，编写完UDF打成JAR包后上传，对JAR包大小有要求吗？使用Tunnel SDK上传数据时，是否有分区数量限制？使用...
错误码
常见 PolarDB-X 数据节点连接失败的原因如下：后端数据节点连接数已满 计算节点到数据节点的连接超时 数据节点拒绝连接 如果排除后端数据节点问题后仍然出现该错误，请联系技术支持。PXC-4103 ERR_ATOM_CONNECTION_POOL_FULL 描述：PolarDB...
系统信息函数和运算符
（在SQL标准中数据库被称为“catalogs”，因此 current_catalog 是该标准的拼写方式）current_query()→text 返回当前所执行查询的文本，由客户端提交的（可能包含一个以上的语句）。current_role→name 这个等同于 current_user。current_...
测试与发布API
开发的API只有通过测试并发布至数据服务市场中，用户才可以在数据服务市场中查询并申请调用该API的权限。本文为您介绍如何测试与发布API至数据服务市场中。前提条件 在开始执行操作前，请确认您已完成API的创建。更多信息，请参见 API任务...
Tomcat 连接池连接 OceanBase 数据库示例程序
通过 db.app.pool.maxTotal 指定连接池的最大为 10，即连接池中最多可以创建 10 个数据库连接。通过 db.app.pool.maxIdle 指定连接池空闲连接数最大为 20。通过 db.app.pool.minIdle 指定连接池空闲连接数最小为 5。通过 db.app.pool....
数据集成概述
基本概念 并发数 并发数是数据同步任务中，可以从源并行读取或并行写入数据存储端的最大线程数。限速 限速是数据集成同步任务可以达到的传输速度限制。脏数据 脏数据是对于业务没有意义，格式非法或者同步过程中出现异常的数据。单条数据...
SET
odps.sql.unstructured.external.max.dop 外部表访问的Worker的最大并发度。大于0的整数。odps.sql.executionengine.enable.string.to.date.full.format 是否转换带时分秒的日期字符串。True：是。False：否。默认值是False。odps.sql....
开发PyODPS 3任务
o.get_table('table_name').get_partition('ds='+args['ds'])更多场景的PyODPS任务开发，请参考：PyODPS使用第三方包 节点运行ECS机器上的脚本 PyODPS节点实现结巴中文分词 PyODPS节点实现避免将数据下载到本地 后续步骤 如何判断Shell...
开发PyODPS 2任务
o.get_table('table_name').get_partition('ds='+args['ds'])更多场景的PyODPS任务开发，请参考：PyODPS使用第三方包 节点运行ECS机器上的脚本 PyODPS节点实现结巴中文分词 PyODPS节点实现避免将数据下载到本地 后续步骤 如何判断Shell...
一站式HTAP服务
在重度OLAP的业务场景中，通常需要将数据从OLTP数据库中导出，然后将数据迁移并导入到专业的OLAP数据仓库，在数据仓库中进行大规模的分析型查询。专业的数据仓库通常会把每个列的数据以连续的形式保存在存储介质上，并提供向量化模型的执行...
公告
该地域项目的存储、下载后付费账单归属的 产品明细 将从 大数据计算服务MaxCompute（包月）变成 大数据计算服务MaxCompute（按量付费），同时对应的用量明细选择的计量规格变成 大数据计算服务MaxCompute（按量付费）。当您使用的包年包月...
通过直连数据源模式创建API
直连数据源模式是通过SQL直接从数据源创建API。本文为您介绍如何使用直连API模式生成API。步骤一：选择生成API的方式 在Dataphin首页，单击顶部菜单栏 服务。系统默认进入 市场 页面。按照下图操作指引，进入 API创建方式选择 对话框。在 ...
通过SQL模式创建API（Dataphin表）
select max(<返回参数1>)as<别名c>,sum(<返回参数1>)as<别名b>,min(<返回参数1>)as<别名d>,count(*)as<别名e>from<逻辑表名>where<请求参数名1>like${请求参数值1} 使用示例-在数据表A中查询字段c%like%id_card时，返回字段a的最大值，参数...
产品计费
本文介绍 数据库自治服务DAS 不同版本的费用、到期、欠费以及续费说明。计费详情 重要 实际价格以产品购买页为准。企业版 V3 说明 支持企业版 V1和V2免费迁移至企业版 V3，迁移完成前按照当前版本计费，迁移完成后按照迁移目标版本计费。...
权限自查建议
随着项目的不断演进，人员的权限也会更新迭代，您需要及时审视人员权限合理性，提升项目数据安全。本文为您介绍权限查询要点，并提供调整建议供参考。背景信息 在项目创建初期，为了提升业务处理效率，通常在用户和权限管理上相对宽松。...
Oracle数据源
DataWorks的数据集成实时同步Oracle数据是基于Oracle Logminer日志分析工具实现的，Oracle仅支持在主库中为主库或备库开启补充日志。离线同步支持读取视图表。支持的字段类型 字段类型 离线读（Oracle Reader）离线写（Oracle Writer）实时...
导入概述
基本概念 名词 描述 导入作业 读取用户提交的源数据并进行清洗转换后，将数据导入到StarRocks系统中。导入完成后，数据即可被用户查询到。Label 用于标识一个导入作业，所有导入作业都有一个Label。Label可由用户指定或系统自动生成。Label...
新建数据库SQL任务
本文为您介绍如何基于Dataphin新建数据库SQL任务。使用限制 支持存储过程的创建及执行，但是Dataphin系统将不做语法校验及解析。执行数据库SQL需要获取数据源的执行权限，不支持表级权限校验。更多信息，请参见 申请、续期和交还数据源权限...
新建数据库SQL任务
本文为您介绍如何基于Dataphin新建数据库SQL任务。使用限制 支持存储过程的创建及执行，但是Dataphin系统将不做语法校验及解析。执行数据库SQL需要获取数据源的执行权限，不支持表级权限校验。更多信息，请参见 申请、续期和交还数据源权限...
约束和限制
目录下面采样最新和最老的文件，每个文件读取前1000行 元数据发现SLS数据源发现历史投递数据 如果投递中途修改了分区格式，不会发现修改前的数据 一键建仓/多库合并支持的数据源网络类型 VPC 一键建仓/多库合并支持的数据源 PolarDB MySQL ...
导入概述
基本概念 名词 描述 导入作业 读取用户提交的源数据并进行清洗转换后，将数据导入到StarRocks系统中。导入完成后，数据即可被用户查询到。Label 用于标识一个导入作业，所有导入作业都有一个Label。Label可由用户指定或系统自动生成。Label...
通过外表导入至湖仓版
通过外表导入数据可以最大限度地利用集群资源，实现高性能数据导入。您也可以进一步选择通过Tunnel方式和Storage API两种方式访问并导入MaxCompute数据，相较于Tunnel方式，Storage API方式可以 提高数据访问和处理的效率。本文介绍如何...
SQL备份与回滚（公测中）
在 DMS 的SQL窗口对数据库进行变更操作时，可能会由于误更新、误删除等原因导致数据不符合预期。此时，您可以使用 DMS 的SQL备份与回滚功能，快速将数据恢复到变更前的状态。背景信息 在新交互模式下的SQL窗口进行数据变更操作时，您可选择...
表数据管理
查看数据 进入数据页签后，ODC 以表格的形式展示表中的数据，并导航栏中提供了以下功能键查看和管理表中的数据：功能 说明 编辑 单击编辑图标进入编辑态，以修改表中的数据。提交（Oracle 模式）Oracle 模式下自动提交默认设置为关（OFF）...
设置资产数据源
本文介绍DataV设置资产数据源的方法，以及 设置数据源 页面的内容，包括数据源、数据过滤器以及数据响应结果等。配置资产数据源 登录 DataV控制台。在 我的可视化 页面，单击您创建的可视化应用项目上方的 编辑 按钮。在画布编辑器页面，...
- 产品推荐
- 这些文档可能帮助您