全部产品
存储与CDN 数据库 安全 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网
分析型数据库

8.1 业务系统连接并进行查询

更新时间:2017-10-10 15:45:49

8.1 业务系统连接分析型数据库并进行查询

使用jdbc odbc php python R-Mysql等连接分析型数据库的例子和注意事项介绍,以及流控、retry链接、异常处理等方法。

分析型数据库集群系统部署在阿里云环境中,用户在部署业务应用系统时,尽可能保证业务系统与阿里云环境的网络联通性,如购买阿里云ECS主机( https://www.aliyun.com/product/ecs/ )作为业务系统的服务器。

JDBC直接连接分析型数据库

最简单直接的连接并访问分析型数据库的方式是通过JDBC,分析型数据库支持MySQL自带的客户端以及大部分版本的mysql-jdbc驱动。

支持的mysql jdbc驱动版本号

  • 5.0系列: 5.0.2,5.0.3,5.0.4,5.0.5,5.0.7,5.0.8
  • 5.1系列: 5.1.1,5.1.2,5.1.3,5.1.4,5.1.5,5.1.6,5.1.7,5.1.8,5.1.11,5.1.12,5.1.13,5.1.14,5.1.15,5.1.16,5.1.17,5.1.18,5.1.19,5.1.20,5.1.21,5.1.22,5.1.23,5.1.24,5.1.25,5.1.26,5.1.27,5.1.28,5.1.29,5.1.31,5.1.32,5.1.33,5.1.34
  • 5.4系列
  • 5.5系列

Java程序中,将合适的mysql-jdbc驱动包(mysql-connector-java-x.x.x.jar)加入CLASSPATH中,通过以下示例程序就能连接并访问分析型数据库。通过该JDBC方式直连分析型数据库时,和直连MySQL类似,需注意在使用完连接并不准备进行复用的情况下,需要释放连接资源。用户根据具体情况,设置${user_db},${url},${my_access_key_id},${my_access_key_secret}和${query}值。

不带重试的JDBC样例程序片段
  1. Connection connection = null;
  2. Statement statement = null;
  3. ResultSet rs = null;
  4. try {
  5. Class.forName("com.mysql.jdbc.Driver");
  6. String url = "jdbc:mysql://mydbname.ads-hz.aliyuncs.com:5544/my_ads_db?useUnicode=true&characterEncoding=UTF-8";
  7. Properties connectionProps = new Properties();
  8. connectionProps.put("user", "my_access_key_id");
  9. connectionProps.put("password", "my_access_key_secret");
  10. connection = DriverManager.getConnection(url, connectionProps);
  11. statement = connection.createStatement();
  12. String query = "select count(*) from information_schema.tables";
  13. rs = statement.executeQuery(query);
  14. while (rs.next()) {
  15. System.out.println(rs.getObject(1));
  16. }
  17. } catch (ClassNotFoundException e) {
  18. e.printStackTrace();
  19. } catch (SQLException e) {
  20. e.printStackTrace();
  21. } catch (Exception e) {
  22. e.printStackTrace();
  23. } finally {
  24. if (rs != null) {
  25. try {
  26. rs.close();
  27. } catch (SQLException e) {
  28. e.printStackTrace();
  29. }
  30. }
  31. if (statement != null) {
  32. try {
  33. statement.close();
  34. } catch (SQLException e) {
  35. e.printStackTrace();
  36. }
  37. }
  38. if (connection != null) {
  39. try {
  40. connection.close();
  41. } catch (SQLException e) {
  42. e.printStackTrace();
  43. }
  44. }
  45. }
带重试的JDBC样例程序片段
  1. public static final int MAX_QUERY_RETRY_TIMES = 3;
  2. public static Connection conn = null;
  3. public static Statement statement = null;
  4. public static ResultSet rs = null;
  5. public static void main(String[] args) throws ClassNotFoundException {
  6. String yourDB = "user_db";
  7. String username = "my_access_key_id";
  8. String password = "my_access_key_secret";
  9. Class.forName("com.mysql.jdbc.Driver");
  10. String url = "jdbc:mysql://mydbname.ads-hz.aliyuncs.com:5544/" + yourDB + "?useUnicode=true&characterEncoding=UTF-8";
  11. Properties connectionProps = new Properties();
  12. connectionProps.put("user", username);
  13. connectionProps.put("password", password);
  14. String query = "select id from test4dmp.test limit 10";
  15. int retryTimes = 0;
  16. while (retryTimes < MAX_QUERY_RETRY_TIMES) {
  17. try {
  18. getConn(url, connectionProps);
  19. execQuery(query);
  20. break; // Query execution successfully, break out.
  21. } catch (SQLException e) {
  22. System.out.println("Met SQL exception: " + e.getMessage() + ", then go to retry task ...");
  23. try {
  24. if (conn == null || conn.isClosed()) {
  25. retryTimes++;
  26. }
  27. } catch (SQLException e1) {
  28. if (conn != null) {
  29. try {
  30. conn.close();
  31. } catch (SQLException e2) {
  32. e.printStackTrace();
  33. }
  34. }
  35. }
  36. }
  37. }
  38. // Clear connection resource.
  39. closeResource();
  40. }
  41. /**
  42. * Get connection.
  43. *
  44. * @param url
  45. * @param connectionProps
  46. * @throws SQLException
  47. */
  48. public static void getConn(String url, Properties connectionProps) throws SQLException {
  49. conn = DriverManager.getConnection(url, connectionProps);
  50. }
  51. /**
  52. * Query task execution logic.
  53. *
  54. * @param sql
  55. * @throws SQLException
  56. */
  57. public static void execQuery(String sql) throws SQLException {
  58. Statement statement = null;
  59. ResultSet rs = null;
  60. statement = conn.createStatement();
  61. for (int i = 0; i < 10; i++) {
  62. long startTs = System.currentTimeMillis();
  63. rs = statement.executeQuery(sql);
  64. int cnt = 0;
  65. while (rs.next()) {
  66. cnt++;
  67. System.out.println(rs.getObject(1) + " ");
  68. }
  69. long endTs = System.currentTimeMillis();
  70. System.out.println("Elapse Time: " + (endTs - startTs));
  71. System.out.println("Row count: " + cnt);
  72. try {
  73. Thread.sleep(160000);
  74. } catch (InterruptedException e) {
  75. e.printStackTrace();
  76. }
  77. }
  78. }
  79. /**
  80. * Close connection resource.
  81. */
  82. public static void closeResource() {
  83. if (rs != null) {
  84. try {
  85. rs.close();
  86. } catch (SQLException e) {
  87. e.printStackTrace();
  88. }
  89. }
  90. if (statement != null) {
  91. try {
  92. statement.close();
  93. } catch (SQLException e) {
  94. e.printStackTrace();
  95. }
  96. }
  97. if (conn != null) {
  98. try {
  99. conn.close();
  100. } catch (SQLException e) {
  101. e.printStackTrace();
  102. }
  103. }
  104. }

通过JDBC连接池连接分析型数据库

通过JDBC连接池来连接分析型数据库是不错的选择,在1.5章节中,已经演示了通过连接池Druid连接分析型数据库的方式,请参考。

通过PHP连接分析型数据库

在1.5章节中,已经演示了在PHP应用中连接分析型数据库的方式,请参考。

关于负载均衡

用户在创建数据库(章节3.1)时,分析型数据库会根据用户指定的服务参数,为用户在分析型数据库集群中分配特定数量的前端服务机,这些机器对用户透明,用户得到的是访问该数据库的URL(例如:mydbname-xxxx.ads-hz.aliyuncs.com:5544,在控制台中的连接信息中获取),分析型数据库集群自己使用阿里云负载均衡产品SLB( http://www.aliyun.com/product/slb )来对访问请求进行负载均衡,用户无需关心访问分析型数据库时的负载均衡策略。若用户的业务应用自己想采用一定的负载均衡方案,可以参考 http://www.aliyun.com/product/slb

关于重试以及异常处理

网络环境下连接和使用分析型数据库,从业务应用的角度来看,使用适当的重试和异常处理机制是保证业务应用高可用性的手段之一。无论是通过JDBC直连、JDBC连接池、PHP,还是Python等方式连接分析型数据库,出现连接连接异常时,应用均可采用适当的重试机制来保证连接可用性。在海量数据并发处理任务量大的情况下,偶尔在查询过程中出现异常时,也可采用适当的重试机制来重发查询。

本文导读目录