通过Elasticsearch机器学习实现业务数据的智能检测和预测

训练航班延误预测任务

本操作通过回归算法训练一个监督机器学习任务，使用Kibana自带的样例数据Sample flight data，该数据集为虚构的航班数据，通过回归算法根据历史数据训练航班延误时间的任务。预测任务可以为航空公司和旅客提供重要的参考信息，帮助旅客更好地规划行程和航班安排。

下面是Sample flight data数据集中的一条数据信息。

{
  "_index": "kibana_sample_data_flights",
  "_type": "_doc",
  "_id": "7b0aeogBmNQSVxOwslB_",
  "_version": 1,
  "_score": null,
  "_source": {
    "FlightNum": "QYX9S3I",
    "DestCountry": "CH",
    "OriginWeather": "Cloudy",
    "OriginCityName": "Chicago",
    "AvgTicketPrice": 824.8516378170061,
    "DistanceMiles": 4442.909325899777,
    "FlightDelay": false,
    "DestWeather": "Thunder & Lightning",
    "Dest": "Zurich Airport",
    "FlightDelayType": "No Delay",
    "OriginCountry": "US",
    "dayOfWeek": 4,
    "DistanceKilometers": 7150.1694661808515,
    "timestamp": "2023-06-02T07:28:15",
    "DestLocation": {
      "lat": "47.464699",
      "lon": "8.54917"
    },
    "DestAirportID": "ZRH",
    "Carrier": "Logstash Airways",
    "Cancelled": false,
    "FlightTimeMin": 420.59820389299125,
    "Origin": "Chicago O'Hare International Airport",
    "OriginLocation": {
      "lat": "41.97859955",
      "lon": "-87.90480042"
    },
    "DestRegion": "CH-ZH",
    "OriginAirportID": "ORD",
    "OriginRegion": "US-IL",
    "DestCityName": "Zurich",
    "FlightTimeHour": 7.009970064883188,
    "FlightDelayMin": 0
  }
}

1. 单击Kibana页面左上角的图标，选择Kibana>Machine Learning。

2. 在左侧菜单栏，单击数据帧分析 > 作业。

3. 在数据帧分析作业页面，单击创建作业。

4. 选择kibana_sample_data_flights索引。

5. 在创建作业的配置区域，配置作业基本参数。

   1. 选中回归任务。

      

   2. 因变量选择FlightDelayMin，因变量即要预测的目标变量。

   3. 在已包括字段中，取消选中Cancelled、FlightDelay和FlightDelayType字段。

      Cancelled、FlightDelay和FlightDelayType字段对预测航班延误时间没有影响，排除多余字段可避免任务受到不必要的影响，提升预测准确性。

   4. 拖动圆点，调整训练百分比。

      您可以根据业务实际情况，调整参加训练的数据量百分比，本文设置训练百分比为90%。

      说明

      如果数据量比较大，还需要考虑训练的时间问题，训练时间会随着数据量的增加而增加。数据量比较大时建议选择较小的比例进行训练，例如50%或者更低的比例，然后不断地进行矫正，直到得到合适的正确率。

6. 单击继续，配置其他选项。

   1. 设置功能重要性值为5。计算5个对于预测结果重要的特征，以便我们了解哪些特征对于预测结果的贡献最大，有助于进行特征选择和任务优化。

   2. 设置预测字段名称为FlightDelayMin_prediction。指定要预测的目标变量的名称。

   3. 取消选中使用估计的模型内存限制，设置模型内存限制为500MB。指定机器学习任务可以使用的内存上限。如果数据集比较大，任务较为复杂，可能会消耗大量内存，如果超出了限制，可能会导致任务训练失败或者性能下降，因此需要根据数据集的大小和任务的复杂度来设置适当的内存上限。

   4. 设置最大线程数为1。用于指定训练任务的最大线程数，如果设置的线程数过多，可能会导致内存不足或者系统崩溃。

   5. 单击继续，设置作业ID为flightdelaymin_job。

   6. 单击继续，自动对任务进行验证。

   7. 验证通过后，单击继续。

   8. 在创建区域，单击创建，创建任务。

      生成任务需要时间，具体耗时由训练的数据量大小决定。

7. 任务创建完毕后，单击查看结果，查看分析作业的结果。

   在模型评估区域，查看任务的可靠性。

   • 泛化误差：衡量任务在新数据上表现的能力，反映了任务的泛化能力。泛化误差越小，表示任务具有更好的泛化能力，能够更准确地对未知数据进行预测。

   • 训练误差：指任务在训练数据集上的表现能力，反映了任务在学习过程中所做的误差。训练误差越小，表示任务在训练数据集上的表现越好。

   • 评估指标说明：

     • 均方误差：评估回归任务性能的重要指标，数值越小表示任务的预测结果越精确。通过计算真实值与回归任务预测值之间的差值的平均平方和获得。

     • R平方：评估回归任务性能的重要指标，数值越接近1表示任务的拟合程度越好。一般认为超过0.8的任务拟合优度比较高。

     • 均方根对数误差：数值越小，表示任务的预测效果越好。通过对预测值和真实值取对数后计算误差平方和的平均值获得。

     说明

     比较多个回归任务时，需要同时考虑均方误差和R平方，以找到最佳平衡任务或适合特定数据集的任务。

     • 均方误差为0或R平方值为1通常是不可能的，因为任务的预测结果受到多种因素的影响，而这些因素无法全部考虑到并完全消除误差。

     • 均方根对数误差为NaN表示任务预测的结果或真实结果存在非正数或零的情况。

     更多详细信息请参见回归评估。

使用航班延误预测任务

通过Kibana中的推理处理器使用上面训练的航班延误预测任务。

1. 单击Kibana页面左上角的图标，选择Management > 开发工具。

2. 在Kibana控制台中，执行以下命令查看并记录model_id值。

   GET _ml/inference/flightdelaymin_job*?human=true

   此命令表示查询名为flightdelaymin_job的所有推理分析结果，并将结果以人类可读的格式进行输出。命令中flightdelaymin_job为创建回归推理任务中定义的作业ID。

3. 基于上面创建的回归推理任务，创建一个基于推理处理器的pipeline管道。

   说明

   将代码中的model_id值替换为您获取到的model_id值。

   PUT _ingest/pipeline/flight_flightDelayMin_predict
   {
     "description": "Predict the number of minutes of delay for each flight",
     "processors": [
       {
         "inference": {
           "model_id": "flightDelayMin_job-168609891****",
           "inference_config": {
             "regression": {}
           },
           "field_map": {},
           "tag": "flightDelayMin_prediction"
         }
       }
     ]
   }

4. 使用kibana_sample_data_flights索引中的数据，以航班延误时间FlightDelayMin为目标变量，进行数据分析和预测。

   POST _ingest/pipeline/flight_flightDelayMin_predict/_simulate
   {
     "docs": [
       {
         "_source": {
           "FlightNum": "EDGSV3T",
           "DestCountry": "CN",
           "OriginWeather": "Damaging Wind",
           "OriginCityName": "Durban",
           "AvgTicketPrice": 1065.7037805199147,
           "DistanceMiles": 7273.460817641552,
           "FlightDelay": true,
           "DestWeather": "Rain",
           "Dest": "Shanghai Pudong International Airport",
           "FlightDelayType": "Carrier Delay",
           "OriginCountry": "ZA",
           "dayOfWeek": 5,
           "DistanceKilometers": 11705.500526106527,
           "timestamp": "2023-06-03T09:34:00",
           "DestLocation": {
             "lat": "31.14340019",
             "lon": "121.8050003"
           },
           "DestAirportID": "PVG",
           "Carrier": "Kibana Airlines",
           "Cancelled": false,
           "FlightTimeMin": 881.1071804361806,
           "Origin": "King Shaka International Airport",
           "OriginLocation": {
             "lat": "-29.61444444",
             "lon": "31.11972222"
           },
           "DestRegion": "SE-BD",
           "OriginAirportID": "DUR",
           "OriginRegion": "SE-BD",
           "DestCityName": "Shanghai",
           "FlightTimeHour": 14.685119673936343,
           "FlightDelayMin": 45
         }
       }
     ]
   }

   得到的结果，如图所示。

   

   实际的航班延误时间FlightDelayMin为45min，预测得到的航班延误时间FlightDelayMin_prediction为50.28min，与实际相差不大。

   feature_importance里显示了对估算航班延误时间贡献最大的5个影响因素：FlightTimeMin，DistanceKilometers，DistanceMiles，OriginAirportID和FlightTimeHour。您可以通过调整5个影响因素的值来调整任务预测结果，从而更为精确地估计未来每个航班的延误时间。