COPY
COPY FROM 能够处理以新行、回车或者回车/新行结尾的行。为了减少由作为数据的未加反斜线的新行或者回车带来的风险，如果输出中的行结束并不完全相似，COPY FROM 将会抱怨。CSV 格式 这种格式选项被用于导入和导出很多其他程序（例如电子...
Logview诊断实践
下面将介绍作业停留在每个子阶段的可能原因和解决措施。调度阶段 问题现象：子状态为 Waiting for cluster resource，作业排队等待被编译。产生原因：计算集群资源紧缺。解决措施：查看计算集群的状态，需要等待计算集群的资源，如果是预...
HTAP中的行列混存查询优化
在目前的优化器中，基本流程如下：通过Cardinality estimation估算出每个算子的输入/输出行数与该算子输出数据之后的近似分布。其依赖两个模块，即统计信息的采集与计算以及计算输入输出行数的逻辑。通过cost model计算cost，将每个算子的...
表流读写
mnt/delta/events/_checkpoints/etl-from-json").table("events")完整模式 您还可以使用结构化流式处理技术将整个批替换为每个批。一个示例用例是使用聚合来计算摘要：Scala%spark spark.readStream.format("delta").load("/mnt/delta/...
基本语句
一种更干净的方法是为表名或者列名使用 format()的%I 规范（被新行分隔的字符串会被串接起来）：EXECUTE format('SELECT count(*)FROM%I ' 'WHERE inserted_by=$1 AND inserted$2',tabname)INTO c USING checked_user,checked_date;...
Oracle同步至Tablestore
本实践以Oracle作为来源数据源，以Tablestore作为去向数据源，因此您需要在DataWorks的工作空间的 数据源管理 页面新增Oracle数据源和Tablestore数据源，两个数据源支持的数据同步能力请参见 Oracle数据源、Tablestore数据源。已购买独享...
E-MapReduce数据迁移方案
这个新的写入的数据，我们在划分数据阶段，记得不要放到数据同步的目录里。作业同步 Hadoop、Hive、Spark或MR等如果有较大的版本升级，可能涉及作业改造，要视具体情况而定。常见问题：Gateway OOM 修改/etc/ecm/hive-conf/hive-env.sh。...
周期任务补数据
周期任务补数据功能用于对周期任务在指定的历史业务日期内进行数据回刷。周期任务开发完成并提交发布后，任务会按照调度配置定时运行，如果您希望在指定时间段运行周期任务或回刷历史一段时间区间的数据，可以使用补数据功能。节点使用的...
周期任务补数据
周期任务补数据功能用于对周期任务在指定的历史业务日期内进行数据回刷。周期任务开发完成并提交发布后，任务会按照调度配置定时运行，如果您希望在指定时间段运行周期任务或回刷历史一段时间区间的数据，可以使用补数据功能。节点使用的...
文档更新动态（2023年）
更新说明 创建Flink SQL任务 新建元表 新建镜像表 新增支持创建补数据任务 新增支持创建补数据任务：支持配置补数据任务，可设置定时补数据或手动触发补数据，以回刷节点范围和业务日期相对规律，确定补数据的场景，减少人工投入。...
功能更新动态（2023年）
创建Flink SQL任务 新建元表 新建镜像表 调度运维 新增支持创建补数据任务：支持配置补数据任务，可设置定时补数据或手动触发补数据，以回刷节点范围和业务日期相对规律，确定补数据的场景，减少人工投入。补数据任务业务日期支持选择最近n...
导入与导出
报错：disk is over flow 解决方法：删除部分数据以释放足够的磁盘空间，或者联系阿里云技术支持对AnalyticDB MySQL集群进行扩容，保证磁盘空间足够后再重启DTS任务即可。DTS同步数据至AnalyticDB MySQL集群时，如何解决缺少表或者缺少字段...
常见问题
在没有脏数据的情况下，数据以batch方式写入。但是遇到了脏数据，正在写入的batch就会失败，并回退到逐行写入，生成大量的data part，大幅度降低了写入速度。您可以参考如下两种方式判断是否有脏数据。查看报错信息，如果返回信息包含 ...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
离线同步数据质量排查
如果写出数据和目标存储已有数据发生数据约束（主键冲突、唯一键约束、外键约束等），数据库则使用来源数据update更新目标表已有数据行，在目标表存在多个数据约束的情况下，数据替换可能会失败并产生脏数据 如果写出数据和目标存储已有...
深度解析PolarDB数据库并行查询技术
显然并行IO是一个简单易行的方法，如果多个线程可以同时发起IO，每个线程只读取部分数据，这样就可以快速的将数据读到数据库的缓冲区中。并行读取数据的示意图如上所示，每个worker代表一个线程，如果数据已经有partition分区，可以每个...
CREATE AGGREGATE
如果状态转移函数不是严格的，那么在碰到每个输入行时都将会调用它，并且它必须自行处理空值输入和空状态值。这允许聚集的作者完全控制该聚集如何处理空值。如果最终函数被声明为“strict”，那么当最终状态值为空时将不会调用它，而是自动...
SET
odps.stage.mapper.split.size 修改每个Map Worker的输入数据量，即输入文件的分片大小，从而间接控制每个Map阶段下Worker的数量。说明 SQL语句中使用Limit，会限制Limit作用的Worker单并发运行。因此在设置该配置项的时候，SQL语句中应...
插件配置概述
Edn codec plugin logstash-codec-edn_lines 读取并产生以新行分隔的EDN格式数据。Edn_lines codec plugin logstash-codec-es_bulk 将Elasticsearch bulk格式解码到单独的事件中，并将元数据解码到[@metadata](/metadata)字段。Es_bulk ...
REINDEX
为每个新索引完成生成索引的首个操作。生成索引后，其标志 pg_index.indisready 切换到“true”使其准备好插入，使其在执行生成的事务完成后对其他会话可见。此步骤在每个索引的单独事务中完成。然后执行第二个操作以添加在第一个操作运行...
创建函数
如果函数返回一个集合，则这是每个返回行的成本。较大值会导致计划程序尝试避免超出必要的频率来对函数求值。ROWS result_rows result_rows 是一个正数，给出计划程序预计函数返回的估计行数。只有当函数声明为返回一个集合时，才允许使用...
依赖关系
数据集成任务需手动将产出表以 projectname.tablename 格式作为节点输出，下游对同步产出表进行清洗时，自动解析才能解析到。因为需通过唯一的输出定位到唯一的节点，以此形成节点依赖关系，所以节点输出（projectname.tablename）需确保...
PolarDB HTAP实时数据分析技术解密
IMCI执行引擎中，每个Operator使用迭代器函数来访问数据。不同的是，每次调用迭代器时会返回一批数据，而不是一行。可以认为是一个支持batch处理的火山模型。串行执行受限于单核计算效率、访存延时和IO延迟等。而IMCI执行器在几个关键物理...
Kafka数据源
后面紧跟一组用大括号包含配置项，每个配置项也以key=value格式书写，典型的Kerberos配置文件格式如下（根据实际情况替换以下内容中的xxx）：[libdefaults]default_realm=xxx[realms]xxx={ kdc=xxx } 配置项 说明[libdefaults].default_...
CREATE TYPE
这种类型由一组属性名组成，每个属性名都与一个特定的数据类型相关联。如果属性的数据类型支持排序操作，则还可以为每个属性指定一个排序规则。组合类型在本质上与表结构的行类型相似，不过使用CREATE TYPE创建组合类型可以避免实际上创建...
CREATE TYPE
这种类型由一组属性名组成，每个属性名都与一个特定的数据类型相关联。如果属性的数据类型支持排序操作，则还可以为每个属性指定一个排序规则。组合类型在本质上与表结构的行类型相似，不过使用CREATE TYPE创建组合类型可以避免实际上创建...
PolarDB PostgreSQL 14版相对于PolarDB PostgreSQL 11...
每个新版本的发布都带来了许多改进和新特性，以提高性能、可用性和安全性。目前，升级到PolarDB PostgreSQL14版本可以显著提升数据库性能与使用体验。PolarDB PostgreSQL 14版本（简称PG 14版本）引入了新的查询优化算法和存储引擎，提高了...
LogHub（SLS）实时ETL同步至Hologres
每完成一个数据处理节点配置，您可以单击右上角 数据输出预览 按钮，在弹出对话框中，单击 重新获取上游输出，模拟得到Logstore采样数据经过当前数据处理节点前置节点处理后的结果，得到当前数据处理节点输入数据。在 数据输出预览 窗口，...
列存索引技术架构介绍
在IMCI执行引擎中，每个Operator也使用迭代器函数来访问数据，但不同的是每次调用迭代器会返回一批数据，而不是一行，可以认为这是一个使用了向量化模式的火山模型。串行执行受制于单核计算效率、访存延时、IO延迟等限制，执行能力有限。而...
命令行界面
可以使用 influx 写入数据（手动地或者从文件中）、交互式地查询数据和以不同的格式查看查询结果。下载CLI 根据操作系统的不同，下载合适的二进制包，下载地址如下：macOS(amd64)Linux(amd64)Windows 解压下载的压缩包，进入到解压后的文件...
操作手册
渲管默认使用青岛（华北1）区域，如果使用其他区域的 BatchCompute，请修改配置中的OSS_HOST（OSS_BUCKET 必须与 OSS_HOST 属于同一个region）与 BATCHCOMPUTE_REGION，每个 REGION 的 OSS_HOST 也可以咨询产品团队获取。区域的选择和计算...
CREATE FUNCTION
如果该函数返回一个集合，这就是每个被返回行的代价。如果没有指定代价，对 C 语言和内部函数会指定为 1 个单位，对其他语言的函数则会指定为 100 单位。更大的值会导致规划器尝试避免对该函数的不必要的过多计算。ROWS result_rows 一个...
EXPLAIN
那么实际的运行时间统计会被显示出来，包括在每个计划节点上花费的总时间（以毫秒计）以及它实际返回的行数。这对观察计划器的估计是否与实际相近很有用。说明 当使用了 ANALYZE 选项时语句会被实际执行。尽管 EXPLAIN 将丢弃 SELECT 所...
数据模型
基本概念 在 云数据库 SelectDB 版 中，数据以表（Table）的形式进行逻辑上的描述。一张表包括行（Row）和列（Column），Row即您数据表中的一行数据，Column用于描述一行数据中不同的字段。Column可以分为两大类：Key和Value。从业务角度看...
SELECT
这样一个项的输出是把每一个函数的第一行串接起来，然后是每个函数的第二行，以此类推。如果有些函数产生的行比其他函数少，则在缺失数据的地方放上空值，这样被返回的总行数总是和产生最多行的函数一样。如果函数被定义为返回 record 数据...
垃圾回收机制
PolarDB PostgreSQL版（兼容Oracle）通过多版本来实现MVCC机制，当执行UPDATE和DELETE操作时会产生一个新的数据行版本，老的数据行版本会变成无效版本，这些无效版本数据会占用数据块的空间，需要及时进行清理，否则会导致数据的膨胀。...
什么是DataWorks
产品架构 DataWorks十多年沉淀数百项核心能力，通过 智能数据建模、全域数据集成、高效数据生产、主动数据治理、全面数据安全、数据分析服务六大全链路数据治理的能力，帮助企业治理内部不断上涨的“数据悬河”，释放企业的数据生产力。...
内建函数概述
之后对于每一行数据（当前行），会按照窗口定义中的 frame_clause 从数据流中截取一段数据，构成当前行的窗口。窗口函数会根据窗口中包含的数据，计算得到窗口函数针对当前行对应的输出结果。partition by[,.]：可选。指定分区。分区列的值...
仪表盘管理
仪表盘是数据管理DMS提供的两种可视化应用类型之一，仪表盘提供自动布局和可交互能力，帮助您快速打造可视化报表。本文介绍仪表盘的功能与使用方法。仪表盘编辑器介绍 演示仪表板门户包含以下内容：序号 名称 说明 ① 仪表盘菜单树 创建与...
MaxCompute数据源
MaxCompute数据源作为数据中枢，为您提供读取和写入数据至MaxCompute的双向通道。使用限制 说明 DataWorks的MaxCompute数据源可使用 Tunnel Endpoint 地址访问相应MaxCompute项目的Tunnel服务，从而通过上传、下载等方式同步该项目的数据。...
- 产品推荐
- 这些文档可能帮助您