全部产品
云市场
云游戏

分析ElasticSearch数据

更新时间:2020-06-12 10:14:21

Elasticsearch是一个基于Lucene的实时分布式的搜索与分析引擎,是遵从Apache开源条款的一款开源产品,是当前主流的企业级搜索引擎。它提供了一个分布式服务,可以使您快速的近乎于准实时的存储、查询和分析超大数据集,通常被用来作为构建复杂查询特性和需求强大应用的基础引擎或技术。

数据湖分析DLA(Data Lata Analytics)中支持接入Elasticsearch,通过标准SQL语句读取Elasticsearch中的数据,从而实现Elasticsearch中的数据与其他数据源的数据联合查询等业务需求。

说明:目前仅部分region支持通过DLA分析ElasticSearch数据。可以向DLA答疑咨询您所在的region是否支持。

前提条件

使用DLA读写Elasticsearch数据前,您需要通过以下操作在Elasticsearch中准备好测试数据。

  1. 创建实例

    DLA和Elasticsearch所属地域必须相同,否则无法进行本文档操作。

    DLA只支持6.3及以上版本的Elasticsearch。

  2. 设置白名单

  3. 连接实例

  4. 创建索引

  1. PUT /product_info
  2. {
  3. "settings": {
  4. "number_of_shards": 5,
  5. "number_of_replicas": 1
  6. },
  7. "mappings": {
  8. "products": {
  9. "properties": {
  10. "productName": {"type": "text","analyzer": "ik_smart"},
  11. "annual_rate":{"type":"keyword"},
  12. "describe": {"type": "text","analyzer": "ik_smart"}
  13. }
  14. }
  15. }
  16. }
  1. 写入数据
    1. POST /product_info/products/_bulk
    2. {"index":{}}
    3. {"productName":"大健康天天理财","annual_rate":"3.2200%","describe":"180天定期理财,最低20000起投,收益稳定,可以自助选择消息推送"}
    4. {"index":{}}
    5. {"productName":"西部通宝","annual_rate":"3.1100%","describe":"90天定投产品,最低10000起投,每天收益到账消息推送"}
    6. {"index":{}}
    7. {"productName":"安详畜牧产业","annual_rate":"3.3500%","describe":"270天定投产品,最低40000起投,每天收益立即到账消息推送"}
    8. {"index":{}}
    9. {"productName":"5G设备采购月月盈","annual_rate":"3.1200%","describe":"90天定投产品,最低12000起投,每天收益到账消息推送"}
    10. {"index":{}}
    11. {"productName":"新能源动力理财","annual rate":"3.0100%","describe":"30天定投产品推荐,最低8000起投,每天收益会消息推送"}
    12. {"index":{}}
    13. {"productName":"微贷赚","annual_rate":"2.7500%","describe":"热门短期产品,3天短期,无须任何手续费用,最低500起投,通过短信提示获取收益消息"}

操作步骤

  1. 连接DLA

  2. 通过以下SQL在DLA中创建Elasticsearch Schema。

    1. CREATE DATABASE `my_es_db`
    2. WITH DBPROPERTIES (
    3. catalog = 'elasticsearch',
    4. location = 'http://****.elasticsearch.aliyuncs.com:9200',
    5. user = '******',
    6. password = '******',
    7. VPC_ID = 'vpc-*****',
    8. INSTANCE_ID = 'es-*****'
    9. )

    参数说明:

    • CATALOG:取值为elasticsearch,表示创建的是Elasticsearch Schema。
    • LOCATION: Elasticsearch的连接地址,由协议、地址和端口三部分组成。连接地址
    • USER: Elasticsearch的用户名。
    • PASSWORD: USER对应的密码。
    • VPC_ID: Elasticsearch的VPC ID。
    • INSTANCE_ID: Elasticsearch的实例ID。
  3. 通过以下SQL在my_es_db Schema中创建product_info表。

    1. CREATE EXTERNAL TABLE `product_info` (
    2. `productname` string NULL COMMENT '',
    3. `annual_rate` string NULL COMMENT '',
    4. `describe` string NULL COMMENT ''
    5. )
    6. TBLPROPERTIES (
    7. TABLE_MAPPING = 'product_info',
    8. COLUMN_MAPPING = 'productname,productName; '
    9. );

    这里由于productName中包含大写字母,而DLA中列名称不区分大小写,所以需要在COLUMN_MAPPING中增加映射。

    表创建成功后,您就可以通过SELECT在DLA中读取Elasticsearch中的数据。

    1. select * from product_info;