LoongCollector管理（Kubernetes）

跨账号或跨地域采集ACK集群日志

通过阿里云容器服务ACK控制台安装的LoongCollector，默认采集集群容器日志到同账号同地域的日志服务Project中。如果您需要跨阿里云账号或跨地域采集，请参考如下步骤进行修改：

1. 登录容器服务管理控制台，在左侧导航栏，选择应用 > Helm。

2. 在Helm应用管理页面，找到loongcollector，单击其右侧操作列中的更新按钮，进入更新发布页面，参考如下表格修改相关配置，其他配置保持不变，单击确定：

   集群与Project	需要修改的配置
   同账号，不同地域	region：Project所在地域对应的RegionID。
   	net：Internet，不同地域之间无法通过内网互通，请使用公网传输数据。
   不同账号，同地域	aliUid：日志服务所属的主账号ID，多个账号之间使用半角逗号（,）相隔。
   	net：Intranet，同地域建议优先使用内网传输数据。
   不同账号，不同地域	aliUid：日志服务所属的主账号ID，多个账号之间使用半角逗号（,）相隔。
   	region：Project所在地域的RegionID。
   	net：Internet，不同地域之间无法通过内网互通，请使用公网传输数据。

修改网络传输方式（公网/内网）

配置LoongCollector采集加速

1. 开启Project的传输加速域名：

   1. 登录日志服务控制台，在Project列表中，单击目标Project。

   2. 单击Project名称右侧的进入项目概览页面，开启传输加速域名，单击确认修改。

2. 验证网络联通性：登录到已安装LoongCollector组件的集群节点上，使用以下命令验证传输加速的网络连通性，传输加速功能仅对已开通传输加速的 Project 有效。

   curl ${your-project}.log-global.aliyuncs.com

   返回以下结果，则表示网络连通正常：

   {"Error":{"Code":"OLSInvalidMethod","Message":"The script name is invalid : /","RequestId":"XXXXXXXXXXXXXXXXXXX"}}

   返回Error信息是因为访问链接缺少必要参数。当前测试仅验证网络连通性，未使用完整链接，因此在网络正常的情况下会显示Error的提示信息。

3. 修改LoongCollector配置：

   ACK集群

   1. 登录容器服务管理控制台，在集群列表页面单击目标集群名称。

   2. 在左侧导航栏，单击工作负载 > 守护进程集，在kube-system命令空间下，按关键字loongcollector-ds进行搜索，单击查询结果中loongcollector-ds名称。

   3. 在loongcollector-ds基本信息页面，单击右上角的编辑，在环境变量区域，配置ALICLOUD_LOG_ENDPOINT值为log-global.aliyuncs.com。

   4. 配置完成，单击更新。

   自建集群

   1. 在已安装并配置kubectl工具的服务器上，执行如下命令修改loongcollector-config：

      kubectl edit configmap loongcollector-config -n kube-system

   2. 将data_servers参数中的endpoint_list一行替换为log-global.aliyuncs.com。

      # $cat /usr/local/ilogtail/ilogtail_config.json
      
      {
          "primary_region" : "cn-beijing",
          "config_servers" :
          [
              "http://logtail.cn-beijing.log.aliyuncs.com"
          ],
          "data_servers" :
          [
              {
                  "region" : "cn-beijing",
                  "endpoint_list": [
                      "log-global.aliyuncs.com"
                  ]
              }
          ]
      }                                                                                                                                                                                   1,1           All

   3. 滚动重启loongcollector-ds，使配置生效：

      kubectl rollout restart daemonset loongcollector-ds -n kube-system

升级LoongCollector

若您是在阿里云容器服务ACK中安装的loongcollector，请参考如下步骤进行组件升级：

1. 登录容器服务管理控制台，在左侧导航栏选择集群列表。

2. 在集群列表页面，单击目标集群名称，然后在左侧导航栏，单击组件管理。

3. 在日志与监控页签中，找到 loongcollector，然后单击升级。

4. 在升级组件对话框中，单击确定。

卸载LoongCollector

参数说明

# Source: loongcollector/templates/loongcollector-ds.yaml
apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: loongcollector-ds
  namespace: kube-system
  labels:
    k8s-app: loongcollector-ds
spec:
  selector:
    matchLabels:
      k8s-app: loongcollector-ds
  updateStrategy:
    rollingUpdate:
      maxUnavailable: 30%
    type: RollingUpdate
  template:
    metadata:
      labels:
        k8s-app: loongcollector-ds
        kubernetes.io/cluster-service: "true"
    spec:
      serviceAccountName: loongcollector-ds
      affinity: 
        nodeAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
            nodeSelectorTerms:
            - matchExpressions:
              - key: type
                operator: NotIn
                values:
                - virtual-kubelet
        podAntiAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
          - labelSelector:
              matchLabels:
                k8s-app: logtail-ds
            topologyKey: kubernetes.io/hostname
      nodeSelector:
        beta.kubernetes.io/os: linux
      
      containers:
      - name: loongcollector
        imagePullPolicy: Always
        image: registry-cn-beijing-vpc.ack.aliyuncs.com/acs/loongcollector:v3.1.1.0-20fa5eb-aliyun         
        resources:
          limits:
            cpu: "2"
            memory: "2048Mi"
          requests:
            cpu: 100m
            memory: 256Mi
        livenessProbe:
          httpGet:
            path: /liveness
            port: 7953
            scheme: HTTP
          initialDelaySeconds: 30
          periodSeconds: 60
        readinessProbe:
          failureThreshold: 3
          httpGet:
            path: /liveness
            port: 7953
            scheme: HTTP
          initialDelaySeconds: 35
          periodSeconds: 60
          successThreshold: 1
          timeoutSeconds: 1

        securityContext:
          allowPrivilegeEscalation: false
          seccompProfile:
            type: RuntimeDefault
          privileged: false
          procMount: Default
        env:
          - name: LOONG_REGION
            value: cn-beijing-internet
          - name: HTTP_PROBE_PORT
            value: "7953"
          - name: "ALIYUN_LOGTAIL_USER_ID"
            value: "15508*******1544"
          - name: "ALICLOUD_LOG_ECS_FLAG"
            value: "true"
          - name: "ALICLOUD_LOG_K8S_FLAG"
            value: "true"
          - name: "ALICLOUD_LOG_DEFAULT_PROJECT"
            value: "yilu-sls-0811"
          - name: "ALICLOUD_LOG_ENDPOINT"
            value: "cn-beijing.log.aliyuncs.com"
          - name: "ALICLOUD_LOG_DEFAULT_MACHINE_GROUP"
            value: "k8s-group-c63e2dea*****************8343e81e"
          - name: "ALIYUN_LOGTAIL_USER_DEFINED_ID"
            value: "$(ALICLOUD_LOG_DEFAULT_MACHINE_GROUP),"
          - name: "ALIYUN_LOGTAIL_CONFIG"
            value: "/usr/local/ilogtail/ilogtail_config.json"
          - name: "_node_name_"
            valueFrom:
              fieldRef:
                fieldPath: spec.nodeName
          - name: "_node_ip_"
            valueFrom:
              fieldRef:
                fieldPath: status.hostIP
          - name: working_ip
            valueFrom:
              fieldRef:
                apiVersion: v1
                fieldPath: status.hostIP
          - name: working_hostname
            valueFrom:
              fieldRef:
                apiVersion: v1
                fieldPath: spec.nodeName
          - name: _cluster_id_
            value: "c63e2dea*****************8343e81e"
          # resource limit for logtail self process
          - name: "LOONG_CPU_USAGE_LIMIT"
            value: "2"
          - name: "LOONG_MEM_USAGE_LIMIT"
            value: "2048"
          - name: "ALICLOUD_LOG_DOCKER_ENV_CONFIG"
            value: "true"
          - name: LOONG_MAX_BYTES_PER_SEC
            value: "209715200"
          - name: LOONG_SEND_REQUEST_CONCURRENCY
            value: "15"
          - name: LOONG_PROCESS_THREAD_COUNT
            value: "1"
          - name: ALIYUN_LOG_ENV_TAGS
            value: "_node_name_|_node_ip_|_cluster_id_"
          - name: LOONG_USER_CONFIG_FILE_PATH
            value: "/etc/ilogtail/checkpoint/user_log_config.json"
          - name: LOONG_DOCKER_FILE_CACHE_PATH
            value: "/etc/ilogtail/checkpoint/docker_path_config.json"
          - name: LOONG_CHECK_POINT_FILENAME
            value: "/etc/ilogtail/checkpoint/logtail_check_point"
          - name: LOONG_CHECK_POINT_DUMP_INTERVAL
            value: "60"
          - name: LOONG_BUFFER_FILE_PATH
            value: "/etc/ilogtail/checkpoint"
        volumeMounts:
        - name: run
          mountPath: /var/run/
        - name: root
          mountPath: /logtail_host
          readOnly: true
          mountPropagation: HostToContainer
        - mountPath:  /etc/ilogtail/checkpoint
          name: checkpoint
        - mountPath: /etc/ilogtail/config
          name: pipelineconfig
        - mountPath: /etc/ilogtail/instance_config
          name: instanceconfig
        - mountPath: /usr/local/ilogtail/ilogtail_config.json
          name: loongcollector-config
          subPath: ilogtail_config.json
        - mountPath: /run/nscd
          name: empty
        - name: addon-token
          mountPath: "/var/addon"
          readOnly: true
      terminationGracePeriodSeconds: 30
      tolerations:
      - operator: "Exists"
      dnsPolicy: "ClusterFirstWithHostNet"
      priorityClassName: system-cluster-critical
      volumes:
      - name: run
        hostPath:
          path: /var/run/
      - name: root
        hostPath:
          path: /
      - name: pipelineconfig
        hostPath:
          path: /var/lib/kube-system-logtail-ds/config
          type: DirectoryOrCreate
      - name: instanceconfig
        hostPath:
          path: /var/lib/kube-system-logtail-ds/instance_config
          type: DirectoryOrCreate
      - name: checkpoint
        hostPath:
          path: /var/lib/kube-system-logtail-ds/checkpoint
          type: DirectoryOrCreate
      - name: loongcollector-config
        configMap:
          defaultMode: 420
          name: loongcollector-config
      - name: empty
        emptyDir: {}
      - name: addon-token
        secret:
          secretName: addon.log.token
          optional: true
          items:
          - key: addon.token.config
            path: token-config

# Source: loongcollector/templates/legacy/alicloud-log-configuration.yaml
apiVersion: v1
kind: ConfigMap
metadata:
  name: alibaba-log-configuration
  namespace: 
  labels:
    logtail-deployment: v2
data:
    log-project: "your-project-name"
    log-endpoint: "cn-beijing.log.aliyuncs.com"    
    log-machine-group: "k8s-group-c63e2*********************8343e81e"
    log-ali-uid: "1550********1544"
    log-config-path: "/etc/ilogtail/conf/cn-beijing/ilogtail_config.json"

# Source: loongcollector/templates/loongcollector-config.yaml
apiVersion: v1
kind: ConfigMap
metadata:  
  name: loongcollector-config
  namespace: kube-system
data:
  ilogtail_config.json: |
    {
        "primary_region" : "cn-beijing",
        "config_servers" :
        [
            "http://logtail.cn-beijing.log.aliyuncs.com"
        ],
        "data_servers" :
        [
            {
                "region" : "cn-beijing",
                "endpoint_list": [
                    "http://cn-beijing.log.aliyuncs.com"
                ]
            }
        ]
    }

后续步骤

安装完LoongCollector后，您可以查看Kubernetes集群容器日志采集须知了解Kubernetes容器日志采集的核心原理、关键流程、选型建议和最佳实践，并选择合适的方式创建采集配置：

• Kubernetes-CRD

• 日志服务控制台