数据源

更新时间: 2024-12-31 17:14:14

数据源负责从各种数据存储系统中提取数据,包括数据库(如MySQL、PostgreSQL)、大数据存储(如TableStore)、API、文件等。本文为您介绍DataV-Board支持的所有数据源,并提供数据源的选型指导。

使用限制

  • 数据源支持情况因不同版本而异,详情请参见规格说明

  • 部分数据源支持限制区域,详情请参见数据库地域支持

  • 数据库类数据源需要能通过外网访问,并配置访问白名单,详情请参见配置数据库白名单

  • 数据库类数据源的连接有10秒超时限制。

数据源分类

DataV-Board支持的数据源非常丰富,包含数据库类、大数据存储类、API类、文件类等。

说明
  • 支持代表支持,不支持代表不支持。

  • 勾选白名单设置的数据源,一定要在数据库配置白名单方可正常连接。

数据源类型

数据源

公网连接

VPC连接

白名单设置

备注说明

数据库类

添加RDS for MySQL数据源

支持

支持

支持

无。

添加RDS for PostgreSQL数据源

支持

支持

支持

无。

添加RDS for SQLServer数据源

支持

支持

支持

当 SQLServer 是微软 Azure 时必须勾选encrypt

添加PolarDB for MySQL数据源

支持

支持

支持

无。

添加PolarDB for PostgreSQL数据源

支持

支持

支持

无。

添加PolarDB for Oracle数据源

支持

支持

支持

无。

添加AnalyticDB for MySQL数据源

支持

支持

支持

无。

添加AnalyticDB for PostgreSQL数据源

支持

支持

支持

无。

添加OceanBase for MySQL数据源

支持

支持

支持

无。

添加Oracle数据源

支持

不支持

支持

无。

添加兼容MySQL数据库的数据源

支持

不支持

支持

可兼容旧版MySQL,需开启insecureAuth

可支持兼容 Azure Database for MySQL

添加达梦数据库

支持

支持

支持

国产数据库。

添加人大金仓数据库

支持

支持

支持

国产数据库。

添加PolarDB-X数据源

支持

支持

支持

国产数据库。

添加实时数仓Hologres数据源

支持

支持

支持

无。

添加ClickHouse数据源

支持

支持

支持

无。

大数据存储类

添加TableStore数据源

支持

不支持

支持

无。

添加对象存储OSS数据源

支持

不支持

不支持

无。

添加日志服务SLS数据源

支持

不支持

不支持

无。

文件和静态数据

添加CSV文件

不涉及

不涉及

不涉及

文件大小不得超过512KB。

添加静态数据

不涉及

不涉及

不涉及

JSON格式数据,仅在组件数据源配置面板。

通用API类

添加API数据源

支持

不支持

不涉及

支持GET或POST,仅在组件数据源配置面板。

添加Open API数据源

支持

不支持

不涉及

无。

添加阿里云API网关数据源

支持

不支持

不涉及

无。

三方API类

添加DataV数据代理服务

不涉及

不涉及

不涉及

DataV数据代理服务提供了一个开源的数据库代理服务,可以在ECS上进行部署。通过数据代理服务,可以降低数据库暴露公网IP带来的风险。

关于DataV数据代理服务的部署安装,请参见配置DataV数据代理服务

添加DataWorks数据服务数据源

支持

不涉及

不涉及

暂时不支持DataWorks API服务的POST请求。

地域支持见DataWorks服务支持地域

添加DataV Atlas地图服务数据源

支持

不涉及

不涉及

无。

其他

添加阿里云Elastic Search数据源

支持

不涉及

不涉及

地域支持见Elastic Search服务支持地域

添加开源Elastic Search数据源

支持

不涉及

不涉及

无。

添加区块链服务数据源

支持

不涉及

不涉及

无。

重要

数据库类的数据源,请确保能被正常访问:

  • 数据库没有被防火墙禁止。

  • 数据库域名能够被解析。

数据源选型指南

数据源整体的选型原则如下:

  • 数据库类型:若需要关系型数据库,则选择RDS系列或者PolarDB系列;需要国产化支持时,可以考虑达梦数据库或人大金仓数据库;若需要大规模数据分析,则考虑实时数仓Hologres、分析型数据库ClickHouseAnalyticDB系列。

  • 非结构化数据存储:若需要处理大量非结构化数据时,可以选择对象存储OSS、日志服务SLSTableStore

  • 文件和静态数据:若是简单的文件处理,可以选择CSV文件或者静态数据源。

  • API整合和服务接入:若需要整合各种服务和API时,可以选择API网关、Open APIDataWorks等服务。

  • 搜索引擎:需要全文搜索和分析功能时,可选择Elastic Search服务。

说明

数据库选型指南,更多请参见如何选择阿里云数据库服务

数据库类选型说明

DataV-Board支持接入自建数据库。当您使用虚拟机或者ECS自建数据库时,若

  • 公网能访问到数据库地址:可采用兼容MySQL数据源方式或对应数据库的外网连接方式。

  • 公网不能访问到数据库地址:可采用DataV数据代理服务。

DataV数据代理服务

若无法使用外网或不想使用外网访问时,可以使用数据代理服务。数据代理服务的适用场景包括:

  • 内网数据库。

  • 不想开放数据库外网访问。

  • SQL查询耗时较长,突破10秒超时限制。

API类选型说明

在使用数据源时,API、阿里云API网关和Open API这三种类型该如何选择?

数据源类型

类型说明

使用场景

API

通用的数据接口。

若您有直接可用的API,可使用API数据源连接。例如,已有站点提供的接口,或已购买的云服务搭建的接口等。具体使用操作请参见添加API数据源

阿里云API网关

阿里云的一款云产品,提供API托管服务。

若您已有API中的逻辑在使用API数据源时不支持(例如计算签名等),可使用阿里云API网关托管您的API。DataV-Board连接阿里云API网关数据源时可以间接调用您在API网关中托管的API,此时阿里云API网关相当于API的代理。具体使用操作请参见添加阿里云API网关数据源

Open API

阿里云提供的云产品开放接口的调用方式。使用Open API可以方便地调用各云产品提供的API接口,通常用于获取阿里云产品的信息。

若您想获取阿里云产品的数据信息(例如ECS负载状况、SLS日志统计),可以使用Open API数据源。Open API仅支持调用阿里云产品提供的API。具体使用操作请参见添加Open API数据源

API的调用方式多种多样,DataV-Board无法直接调用所有的API,但可将这些API通过阿里云API网关进行托管。您可以根据实际情况选择是否使用阿里云API网关托管您的API,包含但不限于以下几种情况:

  1. 若您的API基于自定义算法进行过签名鉴权,DataV-Board无法直接调用此类API。阿里云API网关可以实现自定义算法逻辑,满足您API的鉴权计算,这样DataV-Board可直接对接阿里云API网关调用您的API。

  2. 若系统无法直接访问到您的API(例如,您的API在专有网络VPC内),可通过阿里云API网关进行托管。

  3. 若您不愿将API的调用细节透露,可通过阿里云API网关隐藏实际的调用细节。

  4. 若您的API使用了DataV-Board暂不支持的数据源或接口,例如调用函数计算等,此类API也可通过阿里云API网关中的数据源来获取数据。

数据库地域支持

数据库类数据源支持地域:

地域

地域 ID

华东1(杭州)

cn-hangzhou

华东2(上海)

cn-shanghai

华南1(深圳)

cn-shenzhen

华北1(青岛)

cn-qingdao

华北2(北京)

cn-beijing

华北3(张家口)

cn-zhangjiakou

华北5(呼和浩特)

cn-huhehaote

华东2 金融云

cn-shanghai-finance-1

华南1 金融云

cn-shenzhen-finance-1

中国香港

cn-hongkong

DataWorks服务支持地域:

地域

地域 ID

华东1(杭州)

cn-hangzhou

华东2(上海)

cn-shanghai

华南1(深圳)

cn-shenzhen

华北2(北京)

cn-beijing

Elastic Search服务支持地域:

地域

地域 ID

华东1(杭州)

cn-hangzhou

华东2(上海)

cn-shanghai

华南1(深圳)

cn-shenzhen

华北1(青岛)

cn-qingdao

华北2(北京)

cn-beijing

华北3(张家口)

cn-zhangjiakou

中国香港

cn-hongkong

新加坡

ap-southeast-1

马来西亚(吉隆坡)

ap-southeast-3

印度尼西亚(雅加达)

ap-southeast-5

日本(东京)

ap-northeast-1

德国(法兰克福)

eu-central-1

美国(硅谷)

us-west-1

常见问题

关于数据源配置的更多问题,请参见数据源配置常见问题

上一篇: 数据准备 下一篇: 数据源管理
阿里云首页 DataV数据可视化 相关技术圈