创建Amazon RDS for SQL Server数据源

通过创建Amazon RDS for SQL Server数据源能够实现Dataphin读取Amazon RDS for SQL Server的业务数据或向Amazon RDS for SQL Server写入数据。本文为您介绍如何创建Amazon RDS for SQL Server数据源。

权限说明

仅支持具备新建数据源权限点的自定义全局角色和超级管理员数据源管理员板块架构师项目管理员角色创建数据源。

操作步骤

  1. Dataphin首页,在顶部菜单栏选择管理中心 > 数据源管理

  2. 数据源页面,单击+新建数据源

  3. 新建数据源页面的关系型数据库区域,选择Amazon RDS for SQL Server

    如果您最近使用过Amazon RDS for SQL Server,也可以在最近使用区域选择Amazon RDS for SQL Server。同时,您也可以在搜索框中,输入Amazon RDS for SQL Server的关键词,快速搜索。

  4. 新建Amazon RDS for SQL Server数据源页面中,配置连接数据源参数。

    1. 配置数据源的基本信息。

      参数

      说明

      数据源名称

      填写数据源名称。命名规则如下:

      • 只能包含中文、英文字母大小写、数字、下划线(_)或短划线(-)。

      • 长度不能超过64个字符。

      数据源编码

      配置数据源编码后,您可以在Flink_SQL任务或使用Dataphin JDBC客户端中,通过数据源编码.表名称数据源编码.schema.表名称的格式直接访问Dataphin数据源表,实现快捷消费;如果需要根据任务执行环境自动切换数据源,请通过${数据源编码}.table${数据源编码}.schema.table的变量格式访问。更多信息,请参见Flink_SQL任务开发方式

      重要
      • 数据源编码配置成功后不支持修改。

      • 数据源编码配置成功后,才能在资产目录和资产清单的对象详情页面进行数据预览。

      • Flink SQL中,目前仅支持MySQL、Hologres、MaxCompute、Oracle、StarRocks、Hive、SelectDB数据源。

      数据源描述

      对数据源的简单描述。不得超过128个字符。

      数据源配置

      选择需要配置的数据源:

      • 如果业务数据源区分生产数据源和开发数据源,则选择生产+开发数据源

      • 如果业务数据源不区分生产数据源和开发数据源,则选择生产数据源

      标签

      您可根据标签给数据源进行分类打标,如何创建标签,请参见管理数据源标签

    2. 配置数据源与Dataphin的连接参数。

      若您的数据源配置选择生产+开发数据源,则需配置生产+开发数据源的连接信息。如果您的数据源配置为生产数据源,仅需配置生产数据源的连接信息。

      说明

      通常情况下,生产数据源和开发数据源需配置为非同一个数据源,以实现开发数据源与生产数据源的环境隔离,降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源,即相同参数值。

      配置方式可选择JDBC URL主机两种方式,默认选择为JDBC URL。

      JDBC URL配置方式

      参数

      说明

      JDBC URL

      连接地址的格式为jdbc:sqlserver://host:port/dbname

      Schema

      请填写与用户名相关联的Schema。

      用户名密码

      输入鉴权用户名和密码,为确认任务正常执行,请确认用户拥有所需数据权限。

      类型

      支持可直连数据库阿里云数据库ECS(VPC)自建数据库,您可根据数据库类型及业务情况进行选择与配置。

      • 可直连数据库:通过默认调度集群或注册调度集群直连数据库,适用于如下场景:①公网数据库,②与注册调度集群在同一网络环境下的数据库。如需添加访问白名单,可添加Dataphin默认调度集群的公网出网IP:47.102.192.174。

      • 阿里云数据库:在阿里云购买的数据库。支持VPC代理直连进行访问。

        • VPC代理当前使用的数据库为VPC网络环境下阿里云数据库,连接请指定授权IP白名单:100.104.0.0/16。

          • 区域:数据库所在Region。仅支持Dataphin实例相同区域的数据库。如您的Dataphin实例位于华东2(上海),仅支持选择华东2(上海)区域。

          • VPC ID:填写数据库所在VPC网络的VPC ID。您可登录专有网络控制台进行查看。如下图所示:

            image..png

          • VPC实例ID:填写数据库的专有网络实例ID,即VpcCloudInstanceId。您可以通过调用DescribeDrdsInstance API进行获取。更多信息,请参见DescribeDrdsInstance

        • 直连:通过默认调度集群或注册调度集群直连数据库,如需添加访问白名单,可添加Dataphin默认调度集群的公网出网IP:47.102.192.174。

      • ECS(VPC)自建数据库:您在阿里云ECS上自建的数据库。支持VPC方式访问。VPC网络访问数据库需配置以下信息:

        • 区域:据库所在Region。仅支持Dataphin实例相同区域的数据库。如您的Dataphin实例位于华东2(上海),仅支持选择华东2(上海)区域。

        • VPC ID:填写ECS所在VPC网络的VPC ID。您可登录专有网络控制台进行查看。如下图所示:

          image..png

        • ECS ID:填写部署数据库的ECS服务器的ECS ID。您可登录ECS控制台进行查看。如下图所示:

          image..png

      主机配置方式

      • 主机配置方式

        参数

        描述

        服务器地址

        输入服务器的IP地址和端口号。

        支持单击+新增来添加多组IP地址和端口号,单击image图标删除多余的IP地址和端口号,但需至少保留一组。

        dbname

        输入数据库名称。

      • 参数配置

        参数

        描述

        参数

        • 参数名称:仅支持选择已有参数名称。

        • 参数值:当已选择参数名称时,参数值为必填。仅支持英文字母大小写、数字、半角句号(.)、下划线(_)和短划线(-),长度不超过256个字符。

        说明

        支持通过单击+添加参数新增多个参数,单击image图标删除多余参数,至多可添加30参数。

        Schema

        需填写与用户名相关联的Schema信息。

        用户名密码

        输入鉴权用户名和密码,为确认任务正常执行,请确认用户拥有所需数据权限。

      说明

      当配置方式选择为主机并完成新建数据源后,若需要切换为JDBC URL配置方式,系统会将服务器的IP地址和端口号拼接为JDBC URL进行填充。

    3. 配置数据源的高级设置。

      参数

      说明

      loginTimeout

      数据库的loginTimeout时长(单位:秒),默认900秒(15分钟)。

      说明
      • 若您在JDBC URL中带有loginTimeout配置,则loginTimeoutJDBC URL中配置的超时时间。

      • Dataphin V3.11版本之前的创建数据源,loginTimeout默认为-1,表示无超时限制。

      socketTimeout

      数据库的socketTimeout时长(单位:毫秒),默认1800000毫秒(30分钟)。

      说明
      • 若您在JDBC URL中带有socketTimeout配置,则socketTimeoutJDBC URL中配置的超时时间。

      • Dataphin V3.11版本之前的创建数据源,socketTimeout默认为-1,表示无超时限制。

      连接重试次数

      数据库连接超时,将自动重试连接直到完成设定的重试次数。若达最大重试次数仍未连接成功,则连接失败。

      说明
      • 默认重试次数为1,支持配置0~10之间参数。

      • 连接重试次数将默认应用于离线集成任务全域质量(需开通资产质量功能模块),离线集成任务中支持单独配置任务级别的重试次数。

      说明

      重复参数的取值规则:

      • 若某一参数同时存在于JDBC URL高级设置的参数和主机配置方式的参数配置中时,则以JDBC URL中该参数的取值为准。

      • 若某一参数同时存在于JDBC URL高级设置的参数中时,则以JDBC URL中该参数的取值为准。

      • 若某一参数同时存在于高级设置的参数和主机配置方式的参数配置中时,则以高级设置的参数配置中该参数的取值为准。

  5. 选择默认资源组,该资源组用于运行与当前数据源相关任务,包括数据库SQL、离线整库迁移、数据预览等。

  6. 进行测试连接或直接单击确定进行保存,完成Amazon RDS for SQL Server数据源的创建。

    单击测试连接,系统将测试数据源是否可以和Dataphin进行正常的连通。若直接单击确定,系统将自动对所有已选中的集群进行测试连接,但即使所选中的集群均连接失败,数据源依然可以正常创建。

    测试连接针对公共调度集群或已经在Dataphin注册且正常使用的注册调度集群进行连接测试公共调度集群为系统默认选中,不支持取消选中。注册调度集群下不存在资源组时,不支持进行连接测试,需先创建资源组后再进行测试连接。

    • 所选集群只用于测试与当前数据源的网络连通,不用于后续相关任务的运行。

    • 测试连接时长通常在2分钟内,若超时,您可以单击image图标查看具体原因并重试。

    • 无论测试结果为连接失败连接成功成功有风险,系统都将为您记录最终结果的生成时间。

      说明

      公共调度集群的测试结果包含成功有风险连接成功连接失败三种连接状态;在Dataphin注册的注册调度集群的测试结果仅包含连接成功连接失败两种连接状态。

    • 测试结果为连接失败时,您可以单击image图标查看具体失败原因。

    • 测试结果为成功有风险时,代表应用集群连接成功、调度集群连接失败,当前数据源无法用于数据开发和集成。您可以单击image图标查看日志信息。

    重要