其他配置

调试配置

当服务上线后，为了更精确的分析线上的结果，需要汇总各种信息。在线下可以通过打印日志进行调试，当服务上线后，无法灵活的进行打印。

本配置主要用于收集线上调试信息，并能灵活地开启将其打印到终端，或者输出到Datahub上进行更细致的分析，也可以输出到本地文件以供其它调用。目前 收集的是召回、过滤和粗排之后的items数据。

调试配置对应配置总览中的DebugConfs，DebugConfs是一个Map[string]object结构，其中key是场景，可以对不同的场景进行配置隔离。

"DebugConfs": {
    "scene_name": {
      "OutputType": "datahub",
      "Rate": 0,
      "DebugUsers": [
        "1001"
      ],
      "DatahubName": "dh_debug_log",
      "KafkaName": "pairec_debug_log"
      "FilePath": "/Users/username/pairec/debug_log/",
      "MaxFileNum": 20
    }
  }

目前输出的信息包括如下：

• request_id：请求标识。

• module：标识哪个模块的日志，目前包括recall、filter和general_rank。

• scene_id：场景ID。

• exp_id：实验ID。

• request_time：请求时间戳，单位为秒。

• uid：用户ID。

• retrieveid：召回ID。

• items：item list列表，格式为 "item1:score1,item2:score2",  表示当module = recall时， score为召回得分，当module=general_rank时，score为粗排得分。

目前在某个module下， items是分retrieveid进行输出的。比如有5个召回源，那么在module = recall时， 会有5条记录，每条记录对应一路召回。同样，filter和general_rank也是按此逻辑打印。

Datahub 配置

在Datahub配置中，您可以不用创建topic,  只要指定topic和schemas，引擎会自动创建。

    "DatahubConfs": {
        "dh_debug_log": {
            "Endpoint": "http://dh-cn-beijing-int-vpc.aliyuncs.com",
            "AccessId": "${AccessKey}",
            "AccessKey": "${AccessSecret}",
            "ProjectName": "",
            "TopicName": "pairec_debug_log",
            "Schemas": [
                {
                    "Field": "request_id",
                    "Type": "string"
                },
                {
                    "Field": "module",
                    "Type": "string"
                },
                {
                    "Field": "scene_id",
                    "Type": "string"
                },
                {
                    "Field": "request_time",
                    "Type": "integer"
                },
                {
                    "Field": "exp_id",
                    "Type": "string"
                },
                {
                    "Field": "items",
                    "Type": "string"
                },
                {
                    "Field": "retrieveid",
                    "Type": "string"
                },
                {
                    "Field": "uid",
                    "Type": "string"
                }
            ]
        }
    }

当运行服务时，引擎会自动创建此Topic: pairec_debug_log，并使用上述schema。 当您在Datahub控制台，看到有日志输出时，系统可以自行创建MaxCompute与Datahub的订阅关系。

Kafka 配置

在kafka配置中，需要配置对应的实例名称（对应DebugConfs中配置的KafkaName）、域名接入点BootstrapServers以及已经创建好的Topic名称。

"KafkaConfs": {
    "pairec_debug_log": {
        "BootstrapServers":"alikafka-post-cn-xxxxx-1.alikafka.aliyuncs.com:9093,alikafka-post-cn-xxxxx-2.alikafka.aliyuncs.com:9093,alikafka-post-cn-xxxxx-3.alikafka.aliyuncs.com:9093",
           "Topic":"debug_log"
    }
},

特征日志配置

本配置主要用于收集线上user侧和item侧的特征，输出到Datahub上进行更细致的分析。

特征日志配置对应配置总览中的FeatureLogConfs，FeatureLogConfs是一个Map[string]object结构，其中key是场景，可以对不同的场景进行配置隔离。

"FeatureLogConfs": {
    "scene_name": {
      "OutputType": "datahub",
      "DatahubName": "",
      "UserFeatures":"",
      "ItemFeatures":"",
    }
  }

Datahub 配置

在Datahub配置中，您可以不用创建topic,  只要指定topic和schemas，引擎会自动创建。

    "DatahubConfs": {
        "dh_feature_log": {
            "Endpoint": "http://dh-cn-beijing-int-vpc.aliyuncs.com",
            "AccessId": "${AccessKey}",
            "AccessKey": "${AccessSecret}",
            "ProjectName": "",
            "TopicName": "pairec_feature_log",
            "Schemas": [
                {
                    "Field": "request_id",
                    "Type": "string"
                },
                {
                    "Field": "scene_id",
                    "Type": "string"
                },
                {
                    "Field": "exp_id",
                    "Type": "string"
                },
                {
                    "Field": "request_time",
                    "Type": "integer"
                },
                {
                    "Field": "user_id",
                    "Type": "string"
                },
                {
                    "Field": "user_features",
                    "Type": "string"
                },
                {
                    "Field": "item_id",
                    "Type": "string"
                },
                {
                    "Field": "position",
                    "Type": "string"
                },
                {
                    "Field": "item_features",
                    "Type": "string"
                }
            ]
        }
    }

当运行服务时，引擎会自动创建此Topic: pairec_feature_log，并使用上述schema。