数据源配置

PAI-Rec 支持多种数据源的操作，只要有相关的数据源配置，PAI-Rec 启动时就会进行相应的初始化。在其他配置中需要相关的数据源，只需要引用相关的名称即可。

{
  "MysqlConfs": {  // mysql 配置
        "mysql_default": { // 自定义名称
            "DSN": "{USER}:{PASSWORD}@tcp/{DATABASENAME}?multiStatements=true"
        }
    },
    "RedisConfs": { // redis 配置
        "default": { // 自定义名称
            "Host": "127.0.0.1",
            "Port": 6379,
            "Password": "xxx",
            "MaxIdle": 3,
            "ConnectTimeout":30,
            "ReadTimeout":50,
            "WriteTimeout":50
        }
    },
    "HologresConfs": { // hologres 配置
      "holo-pai": { // 自定义名称
        "DSN": "postgres://{ACCESSID}:{ACCESSKEY}@{HOST}/{DATABASENAME}?sslmode=disable&connect_timeout=1"
      }
  },
  "KafkaConfs": { // kafka 配置
    "kafka": { // 自定义名称
      "BootstrapServers": "172.16.228.104:9092,172.16.228.103:9092,172.16.228.102:9092",
      "Topic": "pairec_log"
    }
  },
  "TableStoreConfs":{ // ots 配置
  	"ots-default":{ // 自定义名称
  		"EndPoint":"",
  		"InstanceName":"",
  		"AccessKeyId":"",
  		"AccessKeySecret":""
  		}
  },
  "ClickHouseConfs": {// click house 配置
  	"ck-default":{ // 自定义名称
  		"DSN":"tcp://{HOST}?username={USER}&password={PASSWORD}@&database={DATABASENAME}&read_timeout=1&write_timeout=1"
  	}
  },
  "BEConfs": { // be 引擎配置
    "be-test": { // 自定义名称
      "Username": "xxx",
      "Password": "",
      "Endpoint": "http://xxx.aime.aliyuncs.com"
  }
}

数据源的各个 Confs 是 map 结构，数据源名称对应各种的配置。如果使用配置的数据源，按以下方式使用

• redis : redisdb.GetRedis(redis_name)
• mysql: mysqldb.GetMysql(mysql_name)
• hologres: holo.GetPostgres(hologres_name)
• ots : tablestoredb.GetTableStore(ots_name)
• hbase: hbase.GetHBase(hbase_name)
• Kafka：datasource.GetKafkaProducer(kafka_name)
• Clickhouse: clickhouse.GetClickHouse(clickhouse_name)
• BeEngine: beengine.GetBeClient(be_name)