使用ACK Net Exporter定位网络问题

安装与配置ACK Net Exporter组件

安装ACK Net Exporter组件

1. 登录容器服务管理控制台，在左侧导航栏选择市场 > 应用市场。

2. 在应用市场页面搜索ack-net-exporter，然后单击搜索到的组件。

3. 在ack-net-exporter组件页面右上角单击一键部署。

4. 在基本信息配置向导中选择需要部署组件的集群，命名空间，然后单击下一步。

5. 在参数配置配置向导中设置参数，然后单击确定。

   参数	描述	默认值
   name	ACK Net Exporter组件的名称。	ack-net-exporter-default
   namespace	ACK Net Exporter组件的命名空间。	kube-system
   config.enableEventServer	是否开启事件追踪服务。取值： false：不开启事件追踪服务。 true：开启事件追踪服务。	false
   config.enableMetricServer	是否开启指标采集服务。取值： false：不开启指标采集服务。 true：开启指标采集服务。	true
   config.remoteLokiAddress	推送事件的远端Grafana Loki服务地址	默认为空。
   config.metricLabelVerbose	是否开启指标的详情功能。取值： false：不开启指标的详情功能。 true：开启指标的详情功能。开启后会额外将Pod的IP以及重要的标签信息作为指标的标签信息。	false
   config.metricServerPort	指标服务的端口，提供HTTP服务。	9102
   config.eventServerPort	事件服务的端口，提供GRPC Stream的事件流服务。	19102
   config.metricProbes	需要开启的指标探针。详细信息，请参见下文ACK Net Exporter指标列表。	默认为空，不配置任何指标探针的情况下，会默认启动必需探针。
   config.eventProbes	需要开启的事件探针。详细信息，请参见下文ACK Net Exporter事件详解。	默认为空，不配置任何指标探针的情况下，会默认启动必需探针。

配置ACK Net Exporter组件

• 您可以执行如下命令，通过ConfigMap方式配置ACK Net Exporter组件。

  kubectl edit cm inspector-config -n kube-system

• 您也可以通过控制台配置ACK Net Exporter组件。

  1. 登录容器服务管理控制台，在左侧导航栏单击集群。

  2. 在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择配置管理 > 配置项。

  3. 在配置项页面，设置命名空间为kube-system，然后搜索kubeskoop-config，单击kubeskoop-config右侧操作列下的编辑。

  4. 在编辑面板配置参数，然后单击确定。

     ACK Net Exporter支持的配置项及其含义如下：

     参数	描述	默认值
     debugmode	是否开启调试模式。取值： false：不开启调试模式。 true：开启调试模式。开启后，支持DEBUG级别的日志，调试接口，Go pprof和gops诊断工具。	false
     event_config.loki_enable	是否开启事件向远端Grafana Loki服务推送的功能。详细信息，请参见下文使用Grafana Loki收集监控事件并可视化。取值： false：不开启事件向远端Grafana Loki服务推送的功能。 true：开启事件向远端Grafana Loki服务推送的功能。	false
     event_config.loki_address	远端Grafana Loki服务的地址，默认会自动发现相同命名空间下的名为grafana-loki的服务。	默认为空。
     event_config.probes	需要开启的事件探针。详细信息，请参见下文ACK Net Exporter事件详解。	默认为空，不配置任何指标探针的情况下，会默认启动必需探针。
     event_config.port	事件服务的端口，提供GRPC Stream的事件流服务。	19102
     metric_config.verbose	是否开启指标的详情功能。取值： false：不开启指标的详情功能。 true：开启指标的详情功能。开启后会额外将Pod的IP以及重要的标签信息作为指标的标签信息。	false
     metric_config.port	指标服务的端口，提供HTTP服务。	9102
     metric_config.probes	需要开启的指标探针。详细信息，请参见下文ACK Net Exporter指标列表。	默认为空，不配置任何指标探针的情况下，会默认启动必需探针。
     metric_config.interval	指标采集的事件间隔。由于指标采集存在一定性能损耗，因此ACK Net Exporter会定期采集后缓存在内存中。	5

在v0.2.3版本及更新版本的ACK Net Exporter中，已经支持了配置的热更新，如果您使用较早期的版本，在修改配置之后需要触发ACK Net Exporter所有容器的重建来使配置变更生效。

ACK Net Exporter使用说明

在Alinux以外的操作系统上使用ACK Net Exporter

ACK Net Exporter的部分核心功能依赖于eBPF程序进行采集。为了满足使用不同操作系统内核的需求，ACK Net Exporter采用CO-RE的方式实现eBPF程序的分发。在启动过程中，依赖于与操作系统内核关联的BTF文件（操作系统内核的调试信息元数据的文件）进行加载。如果没有适配的BTF文件，这部分功能将不可用。在高版本的操作系统中，一般都会内置BTF文件的支持。关于操作系统的更多信息，请参见BPF Type Format。

ACK Net Exporter的监控指标及格式

inspector_pod_udprcvbuferrors{namespace="elastic-system",netns="ns402653****",node="iZbp179u0bgzhofjupc****",pod="elastic-operator-0"} 0 1654487977826

ACK Net Exporter的监控事件及格式

ACK Net Exporter支持采集节点上发生的网络相关的异常事件。根据长期处理网络问题中的经验，我们归纳了几种常见的网络疑难问题。这些问题往往在集群中难以无法复现，以偶然发生的方式干扰正常的业务，缺乏有效的定位手段，其中部分如下：

• 网络数据报文被丢弃引发的连接失败，响应超时等问题。

• 网络数据处理耗时久引发的偶发性能问题。

• TCP、conntrack等状态机制异常引发的业务异常问题。

针对无法快速复现和难以获取现场的网络问题，ACK Net Exporter提供了基于eBPF的操作系统内核上下文观测能力。在问题发生的现场捕获操作系统的实时状态，并输出事件日志。关于ACK Net Exporter支持的事件和相关的探针信息，请参见ACK Net Exporter事件详解。

type=TCPRESET_NOSOCK pod=storage-monitor-5775dfdc77-fj767 namespace=kube-system protocol=TCP saddr=100.103.42.233 sport=443 daddr=10.1.17.188 dport=33488

对于需要有效的操作系统内核堆栈信息的事件，ACK Net Exporter会捕获事件发生时在操作系统内核中的堆栈上下文信息。例如以下事件信息。

type=PACKETLOSS pod=hostNetwork namespace=hostNetwork protocol=TCP saddr=10.1.17.172 sport=6443 daddr=10.1.17.176 dport=43018  stacktrace:skb_release_data+0xA3 __kfree_skb+0xE tcp_recvmsg+0x61D inet_recvmsg+0x58 sock_read_iter+0x92 new_sync_read+0xE8 vfs_read+0x89 ksys_read+0x5A

ACK Net Exporter支持多种事件查看方式，详细介绍，请参见下文的从ACK Net Exporter收集监控数据。

从ACK Net Exporter收集监控数据

场景一：使用Prometheus或Grafana收集监控数据并可视化

# 只包含一个要抓取的端点的抓取配置。
scrape_configs:
# "net-exporter_sample"将作为“job=<job_name>”标签添加到从此配置中抓取的任何时间序列中。
- job_name: "net-exporter_sample"
static_configs:
  - targets: ["{kubernetes pod ip}:9102"]
                

apiVersion: v1
kind: ConfigMap
metadata:
  name: prometheus-server-conf
  labels:
    name: prometheus-server-conf
  namespace: kube-system
data:
  prometheus.yml: |-
          # 将以下内容添加到Promethes Server配置中。
      - job_name: 'net-exporter'
        kubernetes_sd_configs:
          - role: endpoints
        relabel_configs:
        - source_labels: [__meta_kubernetes_endpoints_name]
          regex: 'net-exporter'
          action: keep

      - job_name: 'kubernetes-pods'

        kubernetes_sd_configs:
        - role: pod

        relabel_configs:
        - source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_scrape]
          action: keep
          regex: true
        - source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_path]
          action: replace
          target_label: __metrics_path__
          regex: (.+)
        - source_labels: [__address__, __meta_kubernetes_pod_annotation_prometheus_io_port]
          action: replace
          regex: ([^:]+)(?::\d+)?;(\d+)
          replacement: $1:$2
          target_label: __address__
        - action: labelmap
          regex: __meta_kubernetes_pod_label_(.+)
        - source_labels: [__meta_kubernetes_namespace]
          action: replace
          target_label: kubernetes_namespace
        - source_labels: [__meta_kubernetes_pod_name]
          action: replace
          target_label: kubernetes_pod_name

添加完成后，可以在Prometheus Server的Status > Targets界面看到已经生效的ACK Net Exporter实例，或者在Prometheus Server的Graph界面的搜索栏中输入inspector，即可看到自动补全的ACK Net Exporter指标。

您可以通过配置Grafana将Prometheus采集到的数据进行可视化操作：

1. 打开Grafana页面，在左侧导航栏中选择 > Dashboard。

2. 在New dashboard页面单击Add an empty panel。

3. 进入Edit Panel页面，在下方Data source中输入Prometheus，然后选择已经完成Prometheus Server的接口地址。

4. 单击Metric browser， 然后输入inspector，Grafana会自动补全ACK Net Exporter所有就绪的Metric，单击右上角Save，在弹出框中单击Save，然后会出现可视化的数据，效果如下：

   

5. 对于使用Grafana进行可视化图形显示的配置，可以参照上述的指标格式，对指标的显示格式进行调整，例如inspector_pod_tcppassiveopens指标，表征系统自开机或者Pod所属的容器创建后，归属于这个网络命名空间内的所有TCP连接由于接受客户端的握手请求创建的Socket总数变化，通常可以认为是表征TCP总连接数量的增长，为了更加直观的反应增长的速率变化，可以参考以下配置：

   // 使用PromQL提供的rate()方法配置Metrics。
   rate(inspector_pod_tcppassiveopens[1m])
   
   // 使用net-exporter提供的标签来配置Legend，直观显示Metrics。
   {{namespace}}/{{pod}}/{{node}}

场景二：使用应用实时监控服务ARMS收集监控数据并可视化

ACK Net Exporter支持通过应用实时监控服务ARMS进行数据可视化操作，步骤如下：

1. 步骤一：开启阿里云Prometheus监控。

2. 配置ACK Net Exporter自定义指标。

   1. 登录ARMS控制台，在左侧导航栏中选择Prometheus监控 > Prometheus实例列表。

   2. 登录ARMS控制台。

   3. 在页面顶部，选择容器服务ACK集群所在的地域

   4. 在左侧导航栏选择Prometheus监控 > 实例列表，进入可观测监控 Prometheus 版的实例列表页面。

   5. 单击目标Prometheus实例名称，进入集成中心页面。

   6. 在实例列表页面，单击目标实例名称（一般是集群名称）进入对应实例页面。

   7. 在左侧导航栏中单击服务发现，然后单击Targets页签，在页面下方的kubernetes-pods选项页可以看到ACK Net Exporter的指标已经配置成功。

      如果没有找到相关的Pod，则需要您在配置页签下手动开启默认服务发现的选项。

   8. 在左侧导航栏中单击大盘列表，单击目标大盘进入Grafana，然后单击添加Panel，选择Graph类型，在Data source中选择开启ACK Net Exporter的集群相关的数据源。

   9. 单击Metric browser， 然后输入inspector，Grafana会自动补全ACK Net Exporter所有就绪的Metric，单击右上角Save，在弹出框中单击Save，然后会出现可视化的数据，效果如下：

场景三：使用Grafana Loki收集监控事件并可视化

ACK Net Exporter采集的异常事件类型的数据，支持通过预先配置的Grafana Loki服务，由ACK Net Exporter向Loki进行实时推送，从而达到将分布式的异常事件进行集中式的串型查看分析，使用ACK Net Exporter配合Grafana Loki的服务步骤如下：

1. 搭建Grafana Loki服务。

   说明

   服务需要位于ACK Net Exporter的Pod可以访问的网络中，ACK Net Exporter会主动向已经配置并就绪的Grafana Loki服务推送事件日志信息。

2. 在安装ACK Net Exporter的配置页面中，将enableEventServer配置为true，将lokiServerAddress配置为Grafana Loki服务的地址。您可以配置Grafana Loki服务的IP地址，也可以配置Grafana Loki 服务的域名。

3. 执行以下命令，访问Grafana Loki的服务地址来检验Grafana Loki服务是否已就绪。

   curl http://[Grafana Loki实例的地址]:3100/ready

4. 待Grafana Loki服务就绪后，添加Grafana Loki作为Grafana的数据源。

   打开Grafana页面，在左侧导航栏中选择Data source > Loki，输入Grafana Loki的接口地址，单击Save&test。

5. 在左侧导航栏单击Explore，在页面顶部设置数据源为Loki，查看输出到Grafana Loki的事件信息。

   您可以在Label filters下拉框中选择过滤某个Node的事件，也可以在Line containers中输入事件相关的信息来查看具体的事件。

   您可以单击页面顶部的Add to dashboard，将配置好的事件Panel添加到大盘中。

   ACK Net Exporter提供的事件根据事件的类型携带了不同的信息，单击事件的详情后，可以查看到详细的事件发生时的信息。

   Grafana Loki服务支持通过LogQL语法查询信息，详细介绍，请参见LogQL。

场景四：使用ACK Net Exporter Cli工具收集监控事件

ACK Net Exporter Cli（以下简称inspector-cli）是ACK容器网络团队基于ACK Net Exporter既有的能力，提供场景化的问题排查辅助分析，获取即时内核异常事件日志的工具，针对云原生场景设计，帮助用户快速定位常见问题的深层次原因。

# 启动临时容器用于使用incpector-cli，您可以更换镜像的版本来使用更新版本的特性。
docker run -it --name=inspector-cli --network=host registry.cn-hangzhou.aliyuncs.com/acs/inspector:v0.0.1-12-gff0558c-aliyun

which inspector
# /bin/inspector 是inspector-cli的执行路径，您可以直接在容器中使用inspector-cli。

# 通过‘-e’指定需要获取事件的远端ACK Net Exporter事件服务地址。
inspector watch -e 10.1.16.255

# 以下为结果示例。
 INFO  TCP_RCV_RST_ESTAB Namespace=kube-system Pod=kube-proxy-worker-tbv5s Node=iZbp1jesgumdx66l8ym8j8Z Netns=4026531993 10.1.16.255:43186 -> 100.100.27.15:3128
...

您也可以选择登录到ACK Net Exporter的inspector容器中排查问题。

# 执行命令时，需要将-n参数指定为net-exporter安装的命名空间，同时执行需要登入的节点上的net-exporter实例。
kubectl exec -it -n kube-system -c inspector net-exporter-2rvfh -- sh

# 通过以下命令可以查看到当前节点上的网络数据面分布情况。
inspector list entity

# 通过以下命令可以监听本地的网络异常事件日志及其信息。
inspector watch -d -v
#{"time":"2023-02-03T09:01:03.402118044Z","level":"INFO","source":"/go/src/net-exporter/cmd/watch.go:63","msg":"TCPRESET_PROCESS","meta":"hostNetwork/hostNetwork node=izbp1dnsn1bwv9oyu2gaupz netns=ns0 ","event":"protocol=TCP saddr=10.1.17.113 sport=6443 daddr=10.1.17.113 dport=44226  state:TCP_OTHER "}

# 通过指定多个远端的ACK Net Exporter实例，也可以观察到不同节点上发生的时间。
inspector watch -s 10.1.17.113 -s 10.1.18.14 -d -v
            

如何使用ACK Net Exporter定位容器网络常见偶发疑难问题

以下内容提供了针对部分云原生典型问题的排查指南，结合ACK Net Exporter，帮助您快速获取与问题有关的信息。

DNS超时相关问题

由于云原生环境中很多服务依赖于CoreDNS提供域名解析服务，在出现DNS问题时，如果出现问题的DNS请求与CoreDNS有关，您需要同时观察CoreDNS相关Pod的上述指标的异常情况。

Nginx Ingress 499/502/503/504相关问题

在上述指标信息的基础上，根据指标在对应问题时间点的变化，可以缩小排查的范围，如果凭借指标无法定位到问题，您可以提交工单，在发起工单时提供上述的信息，来帮助客服同学快速了解情况，避免无效沟通。

TCP Reset报文相关问题

偶发网络延迟抖动相关问题

客户案例分析

以下为部分容器网络客户借助ACK Net Exporter进行疑难问题排查分析的案例，您可以比对现象进行参考。

案例一：某客户偶发DNS Timeout问题

客户现象

客户A发起工单，现象为有偶发的DNS解析超时，用户业务采用PHP，DNS服务为配置CoreDNS。

排查过程

1. 根据客户描述，与客户沟通后获取客户监控中的DNS相关数据。

2. 分析客户报错时间点内数据，发现以下问题。

   • 报错时间内inspector_pod_udpnoports增加1，指标整体较小。

   • inspector_pod_packetloss中出现了符号__udp4_lib_rcv的丢包加1，这个符号的丢包数变化较少。

3. 客户反馈配置的DNS地址为公网某服务商地址，结合监控信息，判断客户报错根因为DNS请求返回较慢，用户态超时返回后，DNS回包到达。

案例二：某客户Java应用偶发连接失败问题

客户现象

客户B发起工单，现象为出现偶发的Tomcat不可用，每次出现持续时间约为5～10s。

排查过程

1. 经过日志分析，确认现象发生时，客户的Java Runtime正在进行GC操作。

2. ACK Net Exporter监控部署后发现客户在问题的时间点inspector_pod_tcpextlistendrops指标有明显的上升。

3. 经过分析后得出结论，客户的Java Runtime进行GC操作时，处理请求的速度变慢，导致请求的释放变慢，但是请求的新建并没有被限制，因此产生了大量的链接，将Listen Socket的Backlog打满后产生溢出，导致inspector_pod_tcpextlistendrops上升。

4. 此问题中，客户的连接堆积持续时间短，且本身处理能力没有问题，因此建议客户调整Tomcat相关参数后，解决了客户问题。

案例三：某客户偶发网络延迟抖动问题

客户现象

客户C发起工单，现象为客户应用于Redis之间的请求出现了偶发的RTT增高导致业务超时，但是无法复现。

排查过程

1. 经过日志分析，客户出现了偶发的Redis请求超过300ms的总响应时间的情况。

2. ACK Net Exporter部署后，从监控中发现了inspector_node_virtsendcmdlat指标在问题发生时有增长，增长的le（Prometheus监控中的Level）为18与15。经过换算得知此时出现过两次延迟较高的虚拟化调用，其中le为15的产生了36ms以上的延迟，而le为18的产生了200ms以上的延迟。

3. 由于内核的虚拟化调用执行时会占据CPU，无法被抢占，因此客户的偶发延迟是由于Pod的批量增删过程中有一些虚拟化调用执行过久导致。

案例四：某客户Ingress Nginx偶发健康检查失败问题

客户现象

客户D发起工单，现象为客户的Ingress机器有偶发的健康检查失败并伴随着业务请求失败的问题。

排查过程

1. ACK Net Exporter部署监控后发现客户出现问题是多个指标有异常的变化。

   1. inspector_pod_tcpsummarytcprxqueue与inspector_pod_tcpsummarytcptxqueue均出现了上升。

   2. inspector_pod_tcpexttcptimeouts出现了上升。

   3. inspector_pod_tcpsummarytcptimewaitconn下降，inspector_pod_tcpsummarytcpestablishedconn上升。

2. 经过分析后确认在问题发生的时间点，内核工作正常，连接的建立正常，但是用户进程的运行出现了异常，包括处理收取Socket中的报文以及实际执行报文的发送操作，推测此时用户进程存在调度问题或者限制问题。

3. 建议用户查看Cgroup的监控后发现客户在问题时间点出现了CPU Throttled现象，证明此时出现了偶发的用户进程由于Cgroup原因无法得到调度的现象。

4. 按照文档CPU Burst性能优化策略，为Ingress配置CPU Burst功能后，解决了这一类问题。

相关内容

ACK Net Exporter指标列表

在ACK Net Exporter更新过程中指标会有新增或变更，详细信息请参考应用市场组件页面的说明。除net_softirq/virtcmdlat等与Pod本身无关的逻辑外，所有的指标与事件均提供Pod粒度的详细信息。

ACK Net Exporter事件详解

ACK Net Exporter当前最新版本支持实时捕获以下操作系统网络相关的异常事件。

推荐使用的Grafana配置文件

• 如果您使用的是v8.4.0以上版本的Grafana，请单击ACK Net Exporter-0.2.9.json链接获取Grafana配置文件。

• 如果您使用的是v8.4.0及以下版本的Grafana，请单击ACK Net Exporter-legacy.json链接获取Grafana配置文件。