开源数据库开发工具-开源数据库开发工具文档介绍内容-阿里云

ETL工具支持概览

dbsync：阿里云提供的开源数据库同步工具。支持从MySQL、PostgreSQL并发同步数据到 AnalyticDB PostgreSQL版。支持简单的数据转换。支持通过解析Binlog，准实时地从MySQL同步数据到 AnalyticDB PostgreSQL版。其他支持Greenplum的ETL工具。

AliPG优势

背景信息 PostgreSQL（简称PG）是一款全球流行的企业级开源数据库，被业界誉为“最先进的开源数据库”。AliPG兼容PostgreSQL开源数据库，于2015年正式商用，目前支持10及以上的大版本，已稳定运行多年，支撑了大量阿里巴巴集团内部以及云上...

新建数据库

服务器 Hologres实例的网络地址实例选择后自动生成端口 Hologres实例的网络地址实例选择后自动生成连通性测试测试是否连通无使用新的数据库开发 新DB绑定成功后，返回HoloStudio，在PG管理页面单击刷新，即可显示新的数据库，您...

必读：简单模式和标准模式的区别

绑定后不同工作空间模式下，DataWorks模块对应操作的数据源如下表所示：DataWorks模块标准模式简单模式数据开发操作开发环境数据源（实例，项目、数据库）操作生产环境数据源（实例，项目、数据库）运维中心开发环境运维中心：操作...

EMR Studio概述

EMR Studio是E-MapReduce提供的开源大数据开发套件，包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等...

HoloStudio快速入门

操作步骤使用DataWorks-HoloStudio进行开发的完整操作步骤如下：新建数据库（推荐）实例购买成功后，系统会自动生成一个名叫postgres的数据库，该数据库分配的资源少且仅供管理用途，实际业务需要您新建一个DB。为节省SQL操作，Hologres...

注意事项

使用实例前，请设置好磁盘空间报警。...请勿使用开源HBCK工具开源HBCK通过对比meta表和HDFS上的meta文件对集群状态进行检查，但是云数据库HBase不开放HDFS端口，如果使用开源HBCK工具会造成实例meta信息异常实例不可用。

关于开发小助手

开发小助手 DevHelper 提供了常用的辅助开发工具和 mPaaS 专用辅助工具，该工具集通过 mPaaS 插件提供给开发者。在将开发小助手接入开发工程后，您就可以使用开发小助手进行调试、帮助开发。在应用中，开发小助手以悬浮窗的形式出现，在...

使用OpenAPI

本文为您介绍使用开源大数据平台E-MapReduce OpenAPI的基本信息。关于使用阿里云OpenAPI的详细介绍，请参见使用OpenAPI。基本信息版本说明版本号说明 2021-03-20 推荐使用。接入点说明根据实例所在的地域，选择对应的服务接入点地址，...

SDK下载

阿里云E-MapReduce SDK...下载地址 aliyun-java-sdk-core：访问阿里云开发工具包（SDK）获取阿里云的SDK核心库。aliyun-java-sdk-emr：访问 aliyun-java-sdk-emr 获取E-MapReduce的部分依赖。说明 SDK包更新频繁，建议您获取最新版本的SDK。

基本概念

产品名词解释名词描述 IoT Studio 物联网应用开发（IoT Studio）是阿里云物联网平台的一部分，提供了Web可视化开发、移动可视化开发、业务逻辑开发与物联网数据分析等一系列便捷的物联网开发工具。Web可视化开发 IoT Studio提供的开发...

通过Mongo Shell管理数据库账号

Mongo Shell是MongoDB自带的数据库管理工具。云数据库MongoDB支持通过Mongo Shell管理数据库账号。本文介绍如何通过Mongo Shell创建和查询数据库账号。前提条件已创建云数据库MongoDB实例。不同类型实例的创建方法如下：创建单节点实例 ...

关于开发者工具

开发小助手：DevHelper 提供了常用的辅助开发工具和 mPaaS 专用辅助工具，该工具集通过 mPaaS 插件提供给开发者。在将开发小助手接入开发工程后，您就可以使用开发小助手进行调试、帮助开发。公有云答疑小助手：公有云答疑小助手是 mPaaS ...

什么是EMR on ECS

与自建Hadoop集群对比开源大数据开发平台EMR与自建Hadoop集群的优势对比如下表所示。对比项阿里云EMR 自建Hadoop集群成本支持按量和包年包月付费方式，集群资源支持灵活调整，数据分层存储，资源使用率高。无额外软件License费用。需...

签名机制

您可以从阿里云开发工具包（SDK）了解更多阿里云SDK的信息。步骤一：构造规范化请求字符串排序参数。排序规则以首字母顺序排序，排序参数包括公共参数和接口自定义参数，不包括公共请求参数中的 Signature 参数。说明当使用GET方法...

安装宽表SQL Driver

数据库驱动 Lindorm面向目前主流的应用开发语言分别提供了以下数据库驱动（Database Driver，可以简单理解为执行SQL的SDK）。Java Lindorm面向Java语言应用开发提供了遵循 JDBC 接口规范的Driver。关于该Driver的安装和使用，请参见使用...

开发者工具概述

本文介绍在开发过程中可能会使用到的相关工具，包括Cloud Toolkit、toolkit-maven-plugin、Terraform、Jenkins、云效等，帮助您提升开发和部署效率。工具功能相关文档 Cloud Toolkit Cloud Toolkit是阿里云为开发者在IDE中提供的一款插件...

生命周期策略

本文为您介绍开源大数据开发平台E-MapReduce（简称EMR)的产品生命周期策略及产品终止策略（包含产品粒度与发行版本粒度），以便您知晓详细规则，提早做好相应准备。背景信息产品的更新换代是基础技术软件领域的常态。在开源大数据社区蓬勃...

生命周期策略

本文为您介绍开源大数据开发平台E-MapReduce（简称EMR)的产品生命周期策略及产品终止策略（包含产品粒度与发行版本粒度），以便您知晓详细规则，提早做好相应准备。背景信息产品的更新换代是基础技术软件领域的常态。在开源大数据社区蓬勃...

测试工具

HammerDB简介 HammerDB是一个开源的数据库负载测试和基准工具，包含Linux和Windows版本，可以测试运行在任意的数据库系统上。HammerDB具有自动化的，多线程和动态脚本可扩展特点。HammerDB目前支持的数据库种类很多，主流的数据库都已经...

生态对接

本文为您介绍MaxCompute支持连接的商业智能BI工具、数据库管理工具及ETL工具。MaxCompute的生态架构如下图所示。商业智能（BI）工具商业智能（BI）工具支持将计算引擎得到的数据通过仪表板、图表或其他图形输出实现数据可视化，以直观的...

PolarDB-X历史

同年11月11日，TDDL（Taobao Distributed Data Layer）首次发布，开创了分布式数据库中间件+开源数据库应用在高并发交易系统的先河。当时的TDDL虽然是一个客户端jar，但创造性地提出了三层（Matrix、Group、Atom）拆分拓扑结构，满足应用按...

管理Databases

database=db.create_database("<yourDbname>")为待创建的数据库名称。本文以 milvus_demo 为例，您可以根据实际情况更改。使用Database 通常情况下，Milvus实例默认会自动创建一个名为“default”的预设数据库。除非在创建Collection时另有...

CREATE DATABASE

CREATE DATABASE 用于创建数据库。创建数据库 说明每个集群最多可以创建2048个数据库。语法 CREATE DATABASE[IF NOT EXISTS]db_name 参数 db_name：数据库名。密码规则如下：长度不超过64个字符。以小写字符开头。可包含字母、数字以及...

CREATE DATABASE

本文介绍创建数据库的基本语法。CREATE DATABASE基本语法如下：CREATE DATABASE[IF NOT EXISTS]db_name[ON CLUSTER cluster];参数说明：db_name：数据库名。以小写字母开头，可包含字母、数字以及下划线（_），但不能包含连续两个及以上的...

ALTER DATABASE

如果想要修改时序数据库的指定属性，或为其添加新的数据库属性，您可以使用 ALTER DATABASE 语句。引擎与版本 ALTER DATABASE语法仅适用于时序引擎。无版本限制。语法 alter_database_statement:=ALTER DATABASE database_identifier[WITH...

Presto

背景信息 EMR数据开发的Zeppelin在以下两方面做了增强：在多个EMR集群中动态切换。无需配置，所有配置都是自动完成。Zeppelin的Presto解释器提供以下主要功能：支持任何Presto SQL语句（包括DDL和DML等）。支持多行SQL，每条SQL语句以分号;...

CREATE EXTERNAL DATABASE

AnalyticDB MySQL 湖仓版（3.0）和数仓版（3.0）支持通过 CREATE ...语法 CREATE EXTERNAL DATABASE[IF NOT EXISTS]<db_name>参数 db_name：外部数据库名。数据库名命名规则，请参见命名约束。示例 CREATE EXTERNAL DATABASE adb_demo;

概述

如果您在2022年2月21日21点前使用过数据开发功能，需要继续在EMR上使用数据开发功能，建议您尽快迁移到EMR Workflow，详情请参见 EMR旧版数据开发迁移公告。您也可以迁移到大数据开发治理平台DataWorks，详情请参见 EMR数据开发停止更新...

与开源PostgreSQL性能对比

测试数据量本次实验测试数据量如下表所示：参数说明表数目 8 行数 64,000,000 总数据量 128 GB 性能结果写场景 TPS/实例类型 PolarDB for PostgreSQL 14 开源PostgreSQL 14数据库 oltp_insert 43129.08 41161.66 oltp_update_index ...

CREATE DATABASE

示例创建数据库 CREATE DATABASE DB1;结果验证您可以通过 SHOW DATABASES;语句，查看数据库是否创建成功。指定数据库属性创建数据库DB1，其中数据存满30天后转入冷存储，存满60天后会被清除。CREATE DATABASE DB1 WITH(cold_boundary=30...

CREATE DATABASE

CREATE DATABASE语句用于创建数据库，并可以指定数据库的默认属性（如数据库默认字符集，校验规则等）。语法 create_database_stmt:CREATE {DATABASE|SCHEMA}[IF NOT EXISTS]database_name[database_option_list]database_option_list:...

DROP DATABASE

DROP DATABASE语法用于删除指定的数据库。引擎与版本 DROP DATABASE语法适用于宽表引擎和时序引擎。宽表引擎仅2.2.16及以上版本支持DROP DATABASE语法。时序引擎无版本限制。语法 drop_database_statement:=DROP DATABASE[IF EXISTS]...

通过JDBC方式连接StarRocks实例

public class ConnStarrocks {/*连接MySQL数据库 1、加载驱动程序 2、数据库连接字符串"jdbc:mysql:/localhost:9030/数据库名?3、数据库登录名 4、数据库登录密码*/static final String JDBC_DRIVER="com.mysql.jdbc.Driver";static final...

实现开发生产等多套环境隔离

在相应的数据目录中创建数据库，建议开发、生产的数据目录下的数据库名称相同，指向的OSS路径不同，方便后续的迁移工作。EMR集群的环境隔离分别设置2个EMR集群中各个引擎的catalog信息，保证EMR开发环境的集群引擎使用上述创建的开发环境...

BI工具兼容概述

AnalyticDB PostgreSQL版基于开源数据库Greenplum构建，兼容Greenplum接口及相关工具，兼容业界主流BI工具，也兼容阿里云提供的Quick BI及DataV等数据智能和展现工具。针对业界主流工具，用户可以选择以Greenplum或PostgreSQL作为数据源...

Presto SQL作业配置

在数据开发过程中如果您需要使用Presto SQL，可以在E-MapReduce中配置Presto SQL作业。本文介绍如何配置Presto SQL作业。操作步骤进入数据开发的项目列表页面。通过阿里云账号登录阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况...

创建数据库

您可以使用DMS（Data Management Service）、客户端（Navicat for MySQL、DBeaver、DBVisualizer、SQL WorkBench/J）、业务系统中的程序代码或者MySQL命令行工具连接云原生数据仓库AnalyticDB MySQL版集群，然后通过CREATE DATABASE语句...

湖仓一体

本章节介绍如何通过云数据库SelectDB 提供的联邦查询技术，对数据湖、数据库、远端文件等外部数据源进行联邦分析。为您提供简单、快速的数据分析体验。概述云数据库SelectDB 提供多源数据目录功能（Multi-Catalog或Catalog），支持对接...

通过开源Kafka命令行工具访问消息引擎

查看消费组信息读取数据库，系统会自动创建一个消费组，您可以通过以下语句，查看消费组信息。查看消费组列表。bin/kafka-consumer-groups.sh-bootstrap-server消息引擎Kafka地址>-list 查看消费组详情。bin/kafka-consumer-groups.sh-...

开源数据库开发工具

新品推荐