对接Kibana

使用Docker Compose部署

1. 在服务器执行以下命令，创建一个名为sls-kibana的新目录，在sls-kibana目录下创建一个名为data子目录。更改data目录的权限，确保Elasticsearch容器具有对该目录的读、写和执行权限。

   mkdir sls-kibana
   
   cd sls-kibana
   
   mkdir data
   chmod 777 data 

2. 在sls-kibana目录创建.env文件，内容如下，请根据实际参数修改。

   ES_PASSWORD=aStrongPassword  # 请根据实际情况修改
   
   SLS_ENDPOINT=cn-huhehaote.log.aliyuncs.com
   SLS_PROJECT=etl-dev-7494ab****
   SLS_ACCESS_KEY_ID=xxx
   SLS_ACCESS_KEY_SECRET=xxx
   # ECS_ROLE_NAME="" # 如果使用ecs ram角色的方式访问，这里填具体ecs ram角色名
   #SLS_PROJECT_ALIAS=etl-dev # 可选，如果觉得SLS_PROJECT名字太长，可以设置一下别名
   #SLS_LOGSTORE_FILTERS="access*" # 可选，过滤哪些logstore自动创建index pattern，多个index pattern用逗号分隔，比如 "access*,error*"，注意加上双引号
   #KIBANA_SPACE=default # 可选，指定索引模式（index pattern）创建在哪个space下， 不存在则自动创建。
   
   # 如果有更多project，可以继续加； 注意超过6个的话，docker-compose.yml中引用也要加
   #SLS_ENDPOINT2=cn-huhehaote.log.aliyuncs.com
   #SLS_PROJECT2=etl-dev2
   #SLS_ACCESS_KEY_ID2=xxx
   #SLS_ACCESS_KEY_SECRET2=xxx
   #SLS_PROJECT_ALIAS2=etl-dev2 # 可选，如果觉得SLS_PROJECT名字太长，可以设置一下别名
   #SLS_LOGSTORE_FILTERS2="test*log" # 可选，过滤哪些logstore自动创建index pattern创建,多个pattern用逗号分隔，比如 "access*,error*"，注意加上双引号
   #KIBANA_SPACE2=default # 可选，指定index parttern创建在哪个space下; 不存在则自动创建

   参数	说明
   ES_PASSWORD	Elasticsearch的密码，也是Kibana的密码。
   ECS_ROLE_NAME	ECS实例RAM角色，RAM角色需要的权限操作请参见RAM授权。
   SLS_ENDPOINT	Project的访问域名，请参见管理Project。
   SLS_PROJECT	日志服务的Project名称，请参见管理Project。
   SLS_ACCESS_KEY_ID	前提条件中创建的RAM用户的AK。RAM用户需要具备LogStore的查询权限，请参见RAM授权。
   SLS_ACCESS_KEY_SECRET	前提条件中创建的RAM用户的SK。RAM用户需要具备LogStore的查询权限，请参见RAM授权。
   SLS_PROJECT_ALIAS	可选，如果SLS_PROJECT名称过长，可以选择设置一个别名。
   SLS_LogStore_FILTERS	可选，过滤哪些LogStore自动创建index pattern，多个index pattern用逗号分隔，比如 "access*,error*"，注意加上双引号。
   KIBANA_SPACE	可选，指定索引模式（index pattern）创建在哪个space下， 不存在则自动创建。

3. 在sls-kibana目录中创建docker-compose.yaml文件，内容如下。

   services:
     es:
       image: sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/elasticsearch:7.17.26
       #image: sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/elasticsearch:7.17.26-arm64
       environment:
         - "discovery.type=single-node"
         - "ES_JAVA_OPTS=-Xms2G -Xmx2G"
         - ELASTIC_USERNAME=elastic
         - ELASTIC_PASSWORD=${ES_PASSWORD}
         - xpack.security.enabled=true
       volumes:
         # TODO 这里的./data目录需要提前建立, 确认已经mkdir data && chmod 777 data
         - ./data:/usr/share/elasticsearch/data
     kproxy:
       image: sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/kproxy:2.1.8
       #image: sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/kproxy:2.1.8-arm64
       depends_on:
         - es
       environment:
         - ES_ENDPOINT=es:9200
   
         - ECS_ROLE_NAME=${ECS_ROLE_NAME}
         # 第一个sls project
         - SLS_ENDPOINT=${SLS_ENDPOINT}
         - SLS_PROJECT=${SLS_PROJECT}
         - SLS_LOGSTORE_FILTERS=${SLS_LOGSTORE_FILTERS}
         - KIBANA_SPACE=${KIBANA_SPACE}
         - SLS_PROJECT_ALIAS=${SLS_PROJECT_ALIAS}
         - SLS_ACCESS_KEY_ID=${SLS_ACCESS_KEY_ID}
         - SLS_ACCESS_KEY_SECRET=${SLS_ACCESS_KEY_SECRET}
   
         # 第二个sls project
         - SLS_ENDPOINT2=${SLS_ENDPOINT2}
         - SLS_PROJECT2=${SLS_PROJECT2}
         - SLS_LOGSTORE_FILTERS2=${SLS_LOGSTORE_FILTERS2}
         - KIBANA_SPACE2=${KIBANA_SPACE2}
         - SLS_PROJECT_ALIAS2=${SLS_PROJECT_ALIAS2}
         - SLS_ACCESS_KEY_ID2=${SLS_ACCESS_KEY_ID2}
         - SLS_ACCESS_KEY_SECRET2=${SLS_ACCESS_KEY_SECRET2}
   
         - SLS_ENDPOINT3=${SLS_ENDPOINT3}
         - SLS_PROJECT3=${SLS_PROJECT3}
         - SLS_LOGSTORE_FILTERS3=${SLS_LOGSTORE_FILTERS3}
         - KIBANA_SPACE3=${KIBANA_SPACE3}
         - SLS_PROJECT_ALIAS3=${SLS_PROJECT_ALIAS3}
         - SLS_ACCESS_KEY_ID3=${SLS_ACCESS_KEY_ID3}
         - SLS_ACCESS_KEY_SECRET3=${SLS_ACCESS_KEY_SECRET3}
   
         - SLS_ENDPOINT4=${SLS_ENDPOINT4}
         - SLS_PROJECT4=${SLS_PROJECT4}
         - SLS_LOGSTORE_FILTERS4=${SLS_LOGSTORE_FILTERS4}
         - KIBANA_SPACE4=${KIBANA_SPACE4}
         - SLS_PROJECT_ALIAS4=${SLS_PROJECT_ALIAS4}
         - SLS_ACCESS_KEY_ID4=${SLS_ACCESS_KEY_ID4}
         - SLS_ACCESS_KEY_SECRET4=${SLS_ACCESS_KEY_SECRET4}
   
         - SLS_ENDPOINT5=${SLS_ENDPOINT5}
         - SLS_PROJECT5=${SLS_PROJECT5}
         - SLS_LOGSTORE_FILTERS5=${SLS_LOGSTORE_FILTERS5}
         - KIBANA_SPACE5=${KIBANA_SPACE5}
         - SLS_PROJECT_ALIAS5=${SLS_PROJECT_ALIAS5}
         - SLS_ACCESS_KEY_ID5=${SLS_ACCESS_KEY_ID5}
         - SLS_ACCESS_KEY_SECRET5=${SLS_ACCESS_KEY_SECRET5}
   
         - SLS_ENDPOINT6=${SLS_ENDPOINT6}
         - SLS_PROJECT6=${SLS_PROJECT6}
         - SLS_LOGSTORE_FILTERS6=${SLS_LOGSTORE_FILTERS6}
         - KIBANA_SPACE6=${KIBANA_SPACE6}
         - SLS_PROJECT_ALIAS6=${SLS_PROJECT_ALIAS6}
         - SLS_ACCESS_KEY_ID6=${SLS_ACCESS_KEY_ID6}
         - SLS_ACCESS_KEY_SECRET6=${SLS_ACCESS_KEY_SECRET6}
         # 如有更多，可以继续加，最多255个
     kibana:
       image: sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/kibana:7.17.26
       #image: sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/kibana:7.17.26-arm64
       depends_on:
         - kproxy
       environment:
         - ELASTICSEARCH_HOSTS=http://kproxy:9201
         - ELASTICSEARCH_USERNAME=elastic
         - ELASTICSEARCH_PASSWORD=${ES_PASSWORD}
         - XPACK_MONITORING_UI_CONTAINER_ELASTICSEARCH_ENABLED=true
       ports:
         - "5601:5601"
   
     # 这个服务组件是可选的，作用是自动创建kibana index pattern
     index-patterner:
       image: sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/kproxy:2.1.8
       #image: sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/kproxy:2.1.8-arm64
       command: /usr/bin/python3 -u /workspace/create_index_pattern.py
       depends_on:
         - kibana
       environment:
         - KPROXY_ENDPOINT=http://kproxy:9201
         - KIBANA_ENDPOINT=http://kibana:5601
         - KIBANA_USER=elastic
         - KIBANA_PASSWORD=${ES_PASSWORD}
   
         - ECS_ROLE_NAME=${ECS_ROLE_NAME}
   
         - SLS_PROJECT_ALIAS=${SLS_PROJECT_ALIAS}
         - SLS_ACCESS_KEY_ID=${SLS_ACCESS_KEY_ID}
         - SLS_ACCESS_KEY_SECRET=${SLS_ACCESS_KEY_SECRET}
   
         - SLS_PROJECT_ALIAS2=${SLS_PROJECT_ALIAS2}
         - SLS_ACCESS_KEY_ID2=${SLS_ACCESS_KEY_ID2}
         - SLS_ACCESS_KEY_SECRET2=${SLS_ACCESS_KEY_SECRET2}
   
         - SLS_PROJECT_ALIAS3=${SLS_PROJECT_ALIAS3}
         - SLS_ACCESS_KEY_ID3=${SLS_ACCESS_KEY_ID3}
         - SLS_ACCESS_KEY_SECRET3=${SLS_ACCESS_KEY_SECRET3}
   
         - SLS_PROJECT_ALIAS4=${SLS_PROJECT_ALIAS4}
         - SLS_ACCESS_KEY_ID4=${SLS_ACCESS_KEY_ID4}
         - SLS_ACCESS_KEY_SECRET4=${SLS_ACCESS_KEY_SECRET4}
   
         - SLS_PROJECT_ALIAS5=${SLS_PROJECT_ALIAS5}
         - SLS_ACCESS_KEY_ID5=${SLS_ACCESS_KEY_ID5}
         - SLS_ACCESS_KEY_SECRET5=${SLS_ACCESS_KEY_SECRET5}
   
         - SLS_PROJECT_ALIAS6=${SLS_PROJECT_ALIAS6}
         - SLS_ACCESS_KEY_ID6=${SLS_ACCESS_KEY_ID6}
         - SLS_ACCESS_KEY_SECRET6=${SLS_ACCESS_KEY_SECRET6}
   
         # 如有更多，可以继续加，最多255个

4. 执行以下命令，启动服务。

   docker compose up -d

5. 执行以下命令，查看服务状态。

   docker compose ps

6. 部署完成后，在浏览器中输入http://${部署Kibana的IP地址}:5601，进入Kibana的登录页面，输入步骤二中设置的Elasticsearch的用户名和密码。

   重要

   必须在服务器的安全组规则中添加5601端口，请参见添加安全组规则。

   http://${部署Kibana的IP地址}:5601

使用Helm部署

使用Docker部署

sudo docker pull sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/kproxy:2.1.8

sudo docker run  -d --name proxy \
            -e ES_ENDPOINT=${Elasticsearch所在机器的IP地址}:9200 \
            -e SLS_ENDPOINT=https://prjA.cn-guangzhou.log.aliyuncs.com/es/ \
            -e SLS_PROJECT=prjA \
            -e SLS_ACCESS_KEY_ID=${aliyunAccessId} \
            -e SLS_ACCESS_KEY_SECRET=${aliyunAccessKey} \
            -p 9201:9201 \
            -ti sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/kproxy:2.1.8

sudo docker pull sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/kproxy:2.1.8

sudo docker run  -d --name proxy \
            -e ES_ENDPOINT=${Elasticsearch所在机器的IP地址}:9200 \
            -e SLS_ENDPOINT=https://prjA.cn-guangzhou.log.aliyuncs.com/es/ \
            -e SLS_ENDPOINT2=https://prjB.cn-guangzhou.log.aliyuncs.com/es/ \ 
            -e SLS_PROJECT=prjA \
            -e SLS_PROJECT2=prjB \
            -e SLS_ACCESS_KEY_ID=${aliyunAccessId} \ 
            -e SLS_ACCESS_KEY_SECRET=${aliyunAccessKey} \ 
            -e SLS_ACCESS_KEY_ID2=${aliyunAccessId} \ #如果值和SLS_ACCESS_KEY_ID相同，无需配置。
            -e SLS_ACCESS_KEY_SECRET2=${aliyunAccessKey} \ #如果值和SLS_ACCESS_KEY_SECRET相同，无需配置。
            -p 9201:9201 \
            -ti sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/kproxy:2.1.8

curl http://${Proxy所在机器IP地址}:9201

{"error":{"root_cause":[{"type":"security_exception","reason":"missing authentication credentials for REST request [/]","header":{"WWW-Authenticate":"Basic realm=\"security\" charset=\"UTF-8\""}}],"type":"security_exception","reason":"missing authentication credentials for REST request [/]","header":{"WWW-Authenticate":"Basic realm=\"security\" charset=\"UTF-8\""}},"status":401}

sudo docker pull  sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/kibana:7.17.26

sudo docker run -d --name kibana \
            -e ELASTICSEARCH_HOSTS=http://${Proxy所在机器的IP地址}:9201 \
            -e ELASTICSEARCH_USERNAME=elastic \
            -e ELASTICSEARCH_PASSWORD=passwd \
            -e XPACK_MONITORING_UI_CONTAINER_ELASTICSEARCH_ENABLED=true \
            -p 5601:5601 \
            sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/kibana:7.17.26

http://${部署Kibana的IP地址}:5601

查询和分析数据

1. 在左侧导航栏中，选择Analytics>Discover。

   重要

   使用Kibana和Elasticsearch兼容接口分析日志服务数据时，目前只支持使用Discover和Dashboard这两个模块。

2. 在页面左上角选择目标索引，在页面右上角选择时间范围，查询日志数据。

   查询完成后，页面展示匹配文档总数、时间分布柱状图以及日志详情列表，左侧 Available fields 面板列出所有可查询字段。

手动配置IndexPattern（可选）

1. 在左侧导航栏中，选择Management > Stack Management。

2. 在左侧导航栏中，选择Kibana > Index Patterns。

3. 首次使用时，请先在提示框中单击create an index pattern against hidden or system indices.页面提示需要先添加数据，单击页面底部的 create an index pattern against hidden or system indices 链接，进入手动创建 Index pattern 的入口。

   说明

   在Index pattern列表中看不到数据是正常的，日志服务的LogStore映射到Kibana中的Index patterns需要手动创建。

4. 在Create index pattern窗口中，配置相关参数。

   配置完成后，单击 Create index pattern 完成索引模式创建。

   参数名称	说明
   Name	索引名称，该名称的命名规则为${日志服务Project名称}.${LogStore名称}。 重要 索引名称仅支持精准匹配，不支持使用通配符，即您需要输入完整的索引名称。 例如Project名称为etl-guangzhou，LogStore名称为es_test22，那么此处名称为etl-guangzhou.es_test22。
   Timestamp field	时间戳字段，固定选择为@timestamp。

5. 单击Create index pattern。