导入Azure日志数据

云安全中心的威胁分析与响应(CTDR)功能,通过标准Kafka协议接入Azure事件中心(Event Hub)的日志,帮助实现跨云环境的统一安全管理和威胁检测。

工作原理

本方案利用Azure事件中心对Apache Kafka协议的兼容性,将事件中心模拟为一个Kafka服务。云安全中心作为Kafka客户端,通过指定的接入点、Topic和认证信息,从事件中心获取日志数据,进行统一的标准化解析和威胁检测。配置流程如下:

image

Azure准备事件中心(Event Hub)

说明

详细指引请参考Azure官方文档:使用 Azure 门户创建事件中心

步骤一:创建资源组

  1. 登录Azure控制台

  2. 在左侧导航栏中,选择资源组,然后选择创建image.png

  3. 创建资源组页面填写配置信息后,单击查看 + 创建

    • 订阅:请选择要在其中创建资源组的 Azure 订阅的名称。

    • 资源组名称: 自定义资源组唯一名称。

    • 区域:选择资源组所在的区域

  4. 确认信息后,单击创建

步骤二:创建Event Hub命名空间

  1. 在左侧导航栏中,选择所有服务。在分析服务区域,单击事件中心

    image.png

  2. 事件中心页面,单击创建并参照如下说明,填写配置信息。

    • 订阅:选择步骤一中填写的订阅名称

    • 资源组:选择在步骤一中创建的资源组

    • 命名空间名称:自定义命名空间的名称,输入框右下角即为空间访问地址。

      重要

      命名空间名称决定了后续 Kafka 接入点(Broker)的服务地址。

      image

    • 区域:选择在步骤一中创建的资源组所在区域

    • 定价层:根据业务需求配置,默认选择基本

      说明

      各层之间的差异请参见配额和限制事件中心高级版事件中心专用层

    • 吞吐量单位/处理单元(高级层):保持默认配置即可。

      说明

      更多吞吐量单位或处理单位说明,请参见事件中心的可伸缩性

    • 自动扩充:根据业务需求,决定是否启用此功能。

  3. 填写完配置信息后,在页面底部单击审阅 + 创建

  4. 确认配置信息无误后,单击创建并等待部署完成。

  5. 部署完成页,单击转到资源,可跳转至命名空间详情页。

    说明

    事件中心首页列表中,单击空间名称,查看并进入命名空间详情页。

步骤三:创建事件中心

  1. 在步骤二创建的命名空间详情页,单击+ 事件中心

  2. 在创建页填写下拉信息后,单击审阅 + 创建

    • 名称:自定义Event Hub的名称。

      重要

      Event Hub名称即为后续配置Kafka时对应的Topic,请设置具有代表性且易于查找理解的名称。

    • 其余配置:保持默认即可。

  3. 在信息确认页,单击创建后,等待创建任务完成。

  4. 返回命名空间首页,可在事件中心区域查看新建的数据。

步骤四:获取主连接字符串

  1. 在命名空间页面,单击左侧设置下的共享访问策略

  2. 单击主策略RootManageSharedAccessKey名称,在策略详情面板,复制主连接字符串

    重要

    主连接字符串将在后续导入配置 Kafka时,作为身份验证凭据(即密码)使用。

image.png

步骤五:向事件中心写入数据

请参考Azure官方文档说明,将需要分析的数据写入步骤三创建的事件中心。参考文档如下:

在云安全中心配置数据导入

步骤一:授权云安全中心访问Event Hub

  1. 访问云安全中心控制台-威胁分析与响应-接入中心,在页面左侧顶部,选择需防护资产所在的区域:中国内地非中国内地

  2. 多云配置管理页签,选择多云资产后,单击新增授权,下拉选择IDC。在弹出的面板中进行如下配置:

    • 厂商:选择 Apache

    • 接入方式:选择 Kafka

    • 接入点<YOUR-NAMESPACE>.servicebus.windows.net:9093

      说明

      <YOUR-NAMESPACE>替换成Event Hub命名空间名称

    • 用户名:固定为$ConnectionString,不可更改。

    • 密码:Event Hub主连接字符串

    • 通信协议sasl_ssl

    • SASL 认证机制plain

  3. 配置同步策略

    AK服务状态检查:不涉及,跳过即可。

步骤二:创建数据导入任务

  1. 创建数据源

    Azure日志数据创建一个数据源,若已创建请跳过此步骤。

    1. 访问云安全中心控制台-威胁分析与响应-接入中心,在页面左侧顶部,选择需防护资产所在的区域:中国内地非中国内地

    2. 数据源页签,创建接收日志的数据源。具体操作请参见创建数据源:日志未接入日志服务(SLS)

      • 源数据源类型:可选择CTDR专属数据采集通道用户侧日志服务

      • 接入实例:建议新建日志库(Logstore),进行数据隔离。

  2. 数据导入页签,单击新增数据导入。在弹出的面板中进行如下配置:

    • 数据源类型:Kafka。

    • 终端节点<YOUR-NAMESPACE>.servicebus.windows.net:9093

    • Topics:即为创建事件中心时设置的Event Hub的名称。

    • 值类型:json。

  3. 配置目标数据源

    • 数据源名称:选择在本节创建数据源步骤中创建的数据源。

    • 目标Logstore:选择在本节创建数据源步骤中设置的日志库(Logstore)

  4. 单击确定保存配置:导入配置完成后,云安全中心将自动从Azure Event Hub获取日志。

分析导入数据

数据成功接入后,需配置相应的解析和检测规则,才能让云安全中心对这些日志进行分析。

  1. 创建新的接入策略

    参考产品接入,创建新的接入策略,配置如下:

    • 数据源:选择数据导入任务中配置的目标数据源

    • 标准化规则:CTDR提供了适配部分云产品的内置标准化规则,可直接选用。

    • 标准化方式:当接入日志标准化为告警日志时,仅支持“实时消费”方式标准化。

  2. 配置威胁检测规则

    根据安全需求,在规则管理中启用或创建日志检测规则,才能对日志进行分析、产出告警并生成安全事件。具体操作,请参见配置威胁检测规则

image

费用与成本

本方案会涉及以下服务的费用,实施前请仔细阅读各产品的计费文档,做好成本预估。

  • Azure事件中心定价

  • 阿里云侧

    在阿里云侧,费用组成取决于选择的数据存储方式

    说明

    威胁分析与响应(CTDR)计费说明,请参见威胁分析与响应包年包月威胁分析与响应按量付费

    日志服务(SLS)计费说明,请参见SLS计费概述

    数据源类型

    CTDR 计费项

    SLS 计费项

    特别说明

    CTDR专属数据采集通道

    • 日志接入费用。

    • 日志存储、写入费用。

    说明

    以上均消耗日志接入流量

    除日志存储和写入外的其他费用(如公网流量等)。

    CTDR 创建并管理 SLS 资源,因此日志库存储和写入费用由CTDR出账。

    用户侧日志服务

    日志接入费用,消耗日志接入流量

    日志相关所有费用(包含日志存储和写入、公网流量费用等)。

    日志资源全部由日志服务(SLS)管理,因此日志相关费用,均由SLS出账。