全部产品
存储与CDN 数据库 域名与网站(万网) 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网 钉钉智能硬件

准备工作

更新时间:2018-02-13 10:56:52

产品购买及配置

温馨提示:阿里云Elasticsearch产品进入商业化售卖阶段

购买ES产品前提条件

因在公网访问推送“阿里云ES”数据,安全性较差,为保证阿里云ES 访问环境安全,目前阿里云ES 基于 VPC网络进行访问。

  • 购买阿里云ES产品,对应区域下必须要有 VPC虚拟交换机,且只需包含符合我们要求的这2项,就可以购买。(新用户第一次支持购买免费试用的阿里云ES)
  • 如果您需要基于阿里云ECS 搜索(可选),且阿里云ECS为经典网络,必须要创建符合我们要求的虚拟交换机网段,否者会有问题。可以先参考 经典网络访问常见问题 文档中的Classiclink 前置条件。
  • 虚拟交换机下拉选项,只能显示指定VPC下,对应ES区域支持的可用区列表中,相同可用区的虚拟交换机(若指定VPC下,不存在相同可用区的虚拟交换机,需创建1个相同可用区的虚拟交换机,否者无法选择虚拟交换机。并且IP个数至少为256个
  • 阿里云ES 与所在阿里云ECS 区域,必须一致(如果是基于阿里云ECS 搜索(可选),可参考文档下方对应描述
  • 阿里云ES 与所在阿里云ECS,必须处于同一个 VPC 下(如果是基于阿里云ECS 搜索(可选),可参考文档下方对应描述

如果是基于阿里云ECS 搜索(可选)

  • 若您的ECS 和 Elasticsearch 都是专有网络(VPC)内,并且在同一个Region,但是不在同一个可用区(AZ),需要您在专有网络(VPC)中创建对应可用区(AZ)的虚拟交换机(vswitch),来保证网络是可以访问的。

购买预付费ES产品前须知

预付费阿里云ES产品,相比后付费阿里云ES产品,在价格上要便宜很多。目前预付费阿里云ES产品的优惠条件,是基于固定使用期限为前提。您在购买预付费阿里云ES产品后(支持5天内,无条件退余款),超过5天后,将不再支持退余款。

购买ES实例规格前须知

目前支持购买多种,阿里云ES实例规格。其中 1核 2GB 低配规格(测试规格),主要是方便用户测试使用。因该测试规格配置较低,生产环境通常资源消耗较大,很容易导致服务不稳定,强烈不建议上生产环境使用。ES实例规格参考 定价说明

  • 已购买 1核 2GB 测试规格,且正用于生产环境的ES实例,强烈建议做下升级,提高服务稳定性和可用性。
  • 用于生产环境的ES实例,最低规格应为2核 4GB。

购买ES磁盘大小前须知

购买阿里云ES节点磁盘大小前,您需要先了解阿里云ES节点磁盘空间,主要用于存储哪些数据。再根据您实际情况,选择合适的磁盘大小。

我们会有系统日志“系统运行会产生运行日志和监控日志,会占用您的存储,请您在选择硬盘时预留部分空间。”

主要存储

注意磁盘空间越小,ES集群日志与ES组件X-Pack监控类索引的空间占比相对就越大。

  • 存储您推送过来的数据。
  • 存储您的ES副本数据,至少需要存储1个副本(可自行调整副本数)。
  • 存储ES集群日志,随访问量增加空间占比不断增大,暂未对用户开放(默认保留最近7天)。
    • 运行日志
    • 访问日志
    • 慢日志
  • 存储ES组件X-Pack监控类索引,用于异常分析(主要包含以下3种,以天为单位)。
    • .monitoring-es-6-2018.01.08(占用空间相对比较大,默认保留最近7天)
    • .monitoring-kibana-6-2018.01.08(索引数越大占用空间也越大,默认保留最近7天)
    • .watcher-history-3-2018.01.08(占用空间相对比较小,若开启需用户自行手动删除)

注意

阿里云ES实例在磁盘使用率比较高的情况下,例如超过80%以上,ES集群健康度会变成黄色或红色,将不支持ES实例重启。因此重启ES实例前,请确保ES集群健康度是绿色。

例如涉及以下类似操作时,就需要重启ES实例

  • 节点扩容
  • 磁盘扩容
  • 升级重启
  • 修改密码
  • 传配置文件

云监控报警

阿里云ES已支持对实例进行如下监控,并允许通过短信的方式报警。可根据您的需求,自定义报警阈值。可参考 ES云监控报警 进行配置。

  • 集群状态
  • 集群查询QPS(Count/Second)
  • 集群写入QPS(Count/Second)
  • 节点CPU使用率(%)
  • 节点磁盘使用率(%)
  • 节点HeapMemory使用率(%)
  • 节点load_1m

一、购买ES产品

  1. 您可以通过阿里云产品导航,寻找到阿里云Elasticsearch的产品详情页面产品导航

    也可以通过访问阿里云Elasticsearch产品详情页,进入详情页面。可以点击“立即购买”,系统会为您跳转到订单页面。

  2. 选择相应配置、VPC网络、虚拟交换机,以及相应产品规格。产品规格对应的价格可以参考产品定价

    【注意】如果您未开通VPC网络和虚拟交换机服务,可参考专有网络 VPC文档前往开通,或者参考专有网络 VPC下的视频专区文档前往开通,如果您已有这2个相关服务,您可以直接使用,无需重复开通。

    【重要提示】:请您务必保证所选择的“虚拟交换机”(vswitch)所预留的IP数量。建议您预留的IP数量 = Cluster中的Node数 + 10。
  3. 点击“立即购买”,前往订单确认和支付页面,完成支付系统将会为您跳转至产品控制台页面。 支付开通

  4. 提示支付成功后,单击管理控制台,进入阿里云ES应用控制台界面。支付成功

  5. 进入阿里云ES应用控制台界面后,正常情况下,可看到您刚购买的ES实例,等待实例激活成功。控制台页面

  6. 在为上面刚激活的ES实例,导入数据之前,需要先手动同时创建,索引和mapping(如果不是同时创建可能会有问题)。因为可能会出现先删除索引mapping再重新创建,并且期间存在数据推送的情况,期间有可能ES自动创建的mapping信息不符合预期,而导致搜索异常。为避免此类问题,我们默认关闭了“自动创建索引”,因此您需先创建索引和mapping,否则直接导入数据会报错。(如果您强依赖自动创建索引功能,可在阿里云ES控制台,高级配置界面,修改yml文件配置开启)。自动创建索引

  7. 经过上面6个步骤,您可以正常导入数据并进行搜索测试。注意访问带有 X-Pack 版本的阿里云ES实例,必须指定elastic账号密码。elastic账号默认为“elastic”,elastic密码是您在购买界面中指定的密码(该账号密码与您登录Kibana的账号密码一致)。推送和搜索测试,可参考 Elasticsearch测试

二、阿里云ES 访问配置

支持访问方式

  • 通过阿里云ES 应用控制台集成的 Kibana 中的 Console 进行搜索。
  • 通过阿里云ES 对应VPC下的阿里云ECS(ES与ECS区域相同),部署用户程序 或 安装curl命令进行搜索。

基于阿里云ECS 搜索(可选)注意:

  • 若您的ECS在经典网络中,则需要通过配置 Classiclink 进行访问,可参考 经典网络访问常见问题 文档描述。
  • Classiclink 访问方式,只支持从经典网络 单向 访问VPC网络,不支持双向访问

基于阿里云ECS 搜索(可选)

若在阿里云ES 对应VPC下,已拥有阿里云ECS(ES与ECS区域相同),可以不用重新购买阿里云ECS,也可以使用该阿里云ECS作为客户端,部署用户程序 或 安装curl命令进行搜索。

若没有符合条件的阿里云ECS,则需要在您的阿里云ES相同VPC下,购买 阿里云ECS,根据您需要的规格,前往购买 阿里云ECS

  • 在阿里云ES对应VPC下购买的ECS产品,主要是用于部署用户程序,作为客户端访问。
  • 若阿里云ES对应VPC下没有ECS,也可以使用 Kibana 中的 Console 进行搜索测试,或重新在阿里云ES对应VPC中,购买一个ECS产品。

在阿里云ECS中 安装curl命令 搜索(可选)

  1. 在本地通过ssh登录与Elasticsearch集群处于同一个VPC的ECS,并在机器中安装curl。
  2. 将curl 添加进机器环境变量中,通过curl 远程访问Elasticsearch服务。

三、配置Elasticsearch黑白名单

阿里云的Elasticsearch提供了商业版的X-pack插件,在使用阿里云Elasticsearch实例对应域名链接访问相应的Node时,增加了进一步的安全控制。用户可以通过配置IP黑白名单的方式来控制对阿里云Elasticsearch实例访问。

注:如果一个节点的IP地址在黑名单上,X-Pack的安全性仍然允许该节点被链接,但是请求将被直接抛弃,不会被处理。

黑/白名单配置

您可以在控制台界面中设置相应的黑白名单信息,系统将根据您的配置,通过在elasticsearch.yml中指定xpack.security.transport.filter.allow和xpack.security.transport.filter.deny设置来配置IP过滤。

注: 允许规则优先于拒绝规则。

配置方式如下:

  • 直接输入IP地址,如:“192.168.0.1”、“192.168.0.0/24”,多个IP之间用英文“,”分割;
  • 允许/禁止全部的IP地址,可以通过“_all”设置;

  • 支持IPV6地址,如:“2001:0db8:1234::/48”、“1234:0db8:85a3:0000:0000:8a2e:0370:7334”,多个IP之间用英文“,”分割;

  • 支持泛域名形式配置,如:“*.google.com”;
  • 支持通过localhost直接配置本地域名,如:“localhost”;

注: Elasticsearch本身支持禁用IP过滤的配置,禁用IP过滤可以在某些情况下稍微提高性能。但是需要设置elasticsearch.yml配置文件中的xpack.security.transport.filter.enabled字段为false,阿里云Elasticsearch以安全为优先考虑,暂时不向用户开放该配置功能。

本文导读目录