创建IBM DB2数据源
通过创建IBM DB2数据源能够实现Dataphin读取IBM DB2的业务数据或向IBM DB2写入数据。本文为您介绍如何创建IBM DB2数据源。背景信息 IBM DB2是一套关系型数据库管理系统。如果您使用的是IBM DB2，在对接Dataphin进行数据开发时，您需要先...
创建Hologres数据源
类型 支持公网数据库、阿里云数据库与ECS(VPC)自建数据库，您可根据您数据库类型及业务情况进行选择与配置：公网数据库：通过公网可直接访问的数据库。阿里云数据库：在阿里云购买的数据库。支持VPC网络或公网IP进行访问。VPC网络访问数据...
创建PostgreSQL数据源
类型 支持公网数据库、阿里云数据库与ECS(VPC)自建数据库，您可根据您数据库类型及业务情况进行选择与配置：公网数据库：通过公网可直接访问的数据库。阿里云数据库：在阿里云购买的数据库。支持VPC网络或公网IP进行访问。VPC网络访问数据...
创建Microsoft SQL Server数据源
类型 支持公网数据库、阿里云数据库与ECS(VPC)自建数据库，您可根据您数据库类型及业务情况进行选择与配置：公网数据库：通过公网可直接访问的数据库。阿里云数据库：在阿里云购买的数据库。支持VPC网络或公网IP进行访问。VPC网络访问数据...
创建MySQL数据源
访问方式 支持公网数据库、阿里云数据库与ECS(VPC)自建数据库，您可根据您数据库类型及业务情况进行选择与配置：公网数据库：通过公网可直接访问的数据库。阿里云数据库：在阿里云购买的数据库。支持VPC网络或公网IP进行访问。VPC网络访问...
创建PolarDB-X数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 JDBC URL 链接地址的格式为 ...
创建PolarDB数据源
数据源配置 基于业务数据源是否区分生产数据源和开发数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类...
创建ClickHouse数据源
类型 支持公网数据库、阿里云数据库与ECS(VPC)自建数据库，您可根据您数据库类型及业务情况进行选择与配置：公网数据库：通过公网可直接访问的数据库。阿里云数据库：在阿里云购买的数据库。支持VPC网络或公网IP进行访问。VPC网络访问数据...
通过代理连接地址连接数据库
在读写分离、高并发读等业务场景中，建议在业务应用中将数据库连接地址配置为数据库代理连接地址，RDS PostgreSQL可以根据代理连接地址配置的读写属性和读权重进行自动分配，减少主实例负载。本文介绍如何通过数据库代理连接地址连接RDS ...
新建离线自定义源类型
对于非RDBMS类型的数据库，数据源的链接方式与配置项比较多样化。您可通过JSON定义数据源连接所需配置项，并上传读/写插件驱动包创建非RDBMS类型自定义源。集成组件生成说明 完成创建离线自定义源类型后，在集成管道的组件库中会自动生成该...
新建离线自定义源类型
对于非RDBMS类型的数据库，数据源的链接方式与配置项比较多样化。您可通过JSON定义数据源连接所需配置项，并上传读/写插件驱动包创建非RDBMS类型自定义源。集成组件生成说明 完成创建离线自定义源类型后，在集成管道的组件库中会自动生成该...
数据源概述
数据源功能概述 配置数据源时，您需要了解如下内容：能力 说明 数据源支持情况与配置 在配置数据集成同步任务前，您需要提前在DataWorks数据源管理页面配置好需要同步的数据源。数据集成目前支持几十种数据源，目前支持的数据源及其配置...
Doc
TairDoc是类似RedisJSON的文档数据结构，支持JSON数据的增删改查。TairDoc简介 主要特性 完整地支持JSON标准。部分兼容 JSONPath RFC draft-4标准。说明 仅JSON.GET命令支持。完整地支持 JSONPointer 语法。文档作为二进制树存储，可以快速...
Dataphin数据集成模块自定义组件中关于自定义数据源...
概述 日常答疑中，经常有用户对于自定义组件中JSON串配置项的意义和用法不是特别清楚，本篇通过具体问题说明自定义组件中JSON串和自定义数据源配置项的对应关系，并提供自定义组件用法的一些注意事项。问题描述 问题1：辛苦问下这两个地址...
Commons Pool 连接 OceanBase 数据库示例程序
本文将介绍如何使用 Commons Pool、MySQL Connector/J 和 OceanBase 数据库构建一个应用程序，实现基本的数据库操作，包括创建表、插入数据、更新数据、删除数据、查询数据和删除表等。点击下载 commonpool-mysql-client 示例工程 前提条件...
配置模板（公有云）
实时监控支持通过导入或导出监控配置及报警规则的方式实现配置跨云、跨租户、跨环境迁移能力。您可根据业务需要，选择不同维度下的监控项进行导入导出操作，如应用业务监控项、业务自定义监控项、环境维度资源监控项、应用维度资源监控项。...
配置转换组件
本文介绍数据库传输服务DTS提供的ETL功能支持的转换组件及其配置方法。背景信息 ETL支持的转换组件如下：表JOIN 字段计算器 表记录过滤 使用限制 ETL支持的转换组件存在如下限制：表JOIN：仅支持两个表之间做JOIN操作。字段计算器 和 表...
访问JDBC外表
云原生多模数据库Lindorm计算引擎支持访问外部JDBC数据源，您可以通过Spark SQL完成Lindorm与外部数据源之间的数据流转以及联邦计算。前提条件 已开通Lindorm实例的计算引擎服务，具体操作请参见 开通与变配。确保外部数据源已开通访问权限...
创建数据源
本文为您介绍如何创建数据源，您可以添加文件类数据源，也可以针对 DB 类创建数据源。创建文件类数据源 登录资金安全监控控制台，在左侧导航栏单击 数据源。在 数据源 页面上，单击 新建数据源。在 新建数据源 页面上，输入以下配置信息：...
Spark常见报错
解决方法：请参考 访问Elasticsearch数据源 文档中的配置示例，访问ElasticSearch数据。MetaException.*User have none of the privileges 报错出现日志：Driver日志。报错原因：执行Spark作业的用户没有访问元数据的权限。解决方法：您...
驱动管理
驱动配置参数说明 参数 描述 配置格式 配置格式有如下三种：键值对配置 JSON格式 配置格式为键值对配置时 单击 新增配置，通过设置 配置名称、值、注释 来配置驱动。最多添加100个键值对。配置格式为JSON格式时 编写JSON格式配置内容，内容...
DataX
mode.limit-users=false 自定义DATAX作业配置（JSON）启用该参数后，还需配置 DATAX作业配置（JSON），编写JSON格式的配置文件。数据源类型 选择抽取数据的数据源类型。数据源实例 选择在 数据源中心 中创建的数据源。数据源筛选SQL 从数据...
使用限制
驱动配置中JSON格式≤1 KB 驱动配置中JSON格式的内容不可超过1 KB。驱动配置中配置文件≤1 MB 驱动配置中上传的配置文件大小，不可超过1 MB。设备配置JSON格式≤1 KB 设备配置中JSON格式的内容不可超过1 KB。场景联动相关限制 限制 描述 ...
SetEdgeInstanceDriverConfigs
调用该接口配置边缘实例驱动。限制条件 单阿里云账号调用该接口的每秒请求数（QPS）最大限制为10。说明 RAM用户共享主账号配额。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以...
配置安全规则
将数据库添加到数据库审计系统后，您可以为数据库配置安全规则（即审计规则），当数据库的审计记录命中审计规则时，数据库审计系统会触发告警。本文介绍如何配置审计规则。背景信息 审计规则支持内置规则和自定义规则。内置规则即数据库...
BatchGetEdgeInstanceDeviceConfig
调用该接口批量获取边缘实例设备配置。限制条件 单阿里云账号调用该接口的每秒请求数（QPS）最大限制为5。说明 RAM用户共享主账号配额。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI ...
配置API输出组件
配置API输出组件，可以将外部数据库中读取的数据写入到API，或从大数据平台对接的存储系统中将数据复制推送至API，进行数据整合和再加工。本文为您介绍如何配置API输出组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建API...
配置API输出组件
配置API输出组件，可以将外部数据库中读取的数据写入到API，或从大数据平台对接的存储系统中将数据复制推送至API，进行数据整合和再加工。本文为您介绍如何配置API输出组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建API...
JSON索引（2.0版）
例如，以下示例中的 json_test 字段类型为JSON类型，建表成功后分析型数据库MySQL版自动为 json_test 列构建JSON索引。create tablegroup par2_group;CREATE TABLE json_tbl(id bigint COMMENT '',sid bigint COMMENT '',json_test json ...
BatchGetEdgeInstanceDriverConfigs
Format String JSON 配置文件格式，取值有KV（键值对配置）、JSON（JSON格式）、FILE（配置文件）。Key String key1 配置的关键字。在有多个配置的情况下，用于区分配置。DriverId String 021d154d2a2f4dd7a489773d9e04*驱动ID。...
创建DataV大屏（空白画布篇）
您可以在大屏编辑器中的 全部资产栏 处，单击 信息>通用标题，为 柱状图 组件添加一个 通用标题 组件，同样您可以在配置面板中，修改 通用标题 组件的名称等相关配置项内容，详细组件配置项的配置方法请参见 通用标题。如果需要设置其它...
PostgreSQL逻辑备份
配置方法，请参见 通过专线访问的本地自建数据库备份到云存储、通过VPN网关或智能网关访问的本地自建数据库备份到云存储 等。无公网IP:Port的自建数据库(通过数据库网关DG接入)：可通过数据库网关备份自建数据库，您需要提前为数据库实例...
数据操作
创建数据表后，您可以通过命令行工具在数据表中插入新数据、更新一行数据、读取数据、删除一行数据、扫描数据以及导入导出数据。插入新数据 在表中插入新数据。您也可以通过导入JSON格式的配置文件来插入新数据到表中。命令格式 put-pk '...
二级索引
为数据表创建二级索引后，您可以使用索引表、查看索引表信息、使用索引表查询数据以及删除索引表。前提条件 已创建数据表，且数据表的最大版本数（max Versions）必须为1。已为数据表创建预定义列。创建二级索引 说明 二级索引包括全局二级...
导出和导入动态配置
动态配置文件格式 动态配置文件每一行对应一个完整的配置类 JSON 结构，配置类中可包含多个属性，多个配置类的 JSON 数据以换行符分隔。内容格式如下：{"region":"Alipay","appName":"testModel","name":"测试配置","resourceId":...
配置API输入组件
配置API输入组件后，可以读取API数据源中的数据至Dataphin，进行数据集成与数据开发。本文为您介绍如何配置API输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建API数据源。具体操作，请参见 创建API数据源。进行API...
配置API输入组件
配置API输入组件后，可以读取API数据源中的数据至Dataphin，进行数据集成与数据开发。本文为您介绍如何配置API输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建API数据源。具体操作，请参见 创建API数据源。进行API...
数据表操作
创建数据表后，您可以使用表、查询表信息、列出表名称、更新表以及删除表。说明 关于宽表模型的更多信息，请参见 宽表模型。创建表 创建一张数据表，同时指定数据表的主键、数据生命周期（TimeToLive）等。您也可以通过导入JSON格式的配置...
Database外表联邦分析
云原生数据仓库AnalyticDB PostgreSQL（简称ADB PG）支持通过JDBC的方式访问Oracle、PostgreSQL、MySQL外部数据源。说明 本特性只支持存储弹性模式实例，且需要 云原生数据仓库 AnalyticDB PostgreSQL 版 实例和目标访问的外部数据源处于同...
错误代码
常见错误代码列表如下：ERROR 7001:Table rule execute error ERROR 7002:Unable to find table rule ERROR 7022:Physical database connection pool is full,database name:x ERROR 7022:Get connection from physical database timeout,...
- 产品推荐
- 这些文档可能帮助您