FeatureDB概述

VPC网络高速连通

FeatureDB提供基于私网连接（PrivateLink）的VPC网络高速连通功能。配置成功后，FeatureStore会通过PrivateLink打通您的VPC和FeatureDB服务之间的网络，之后您可以在VPC中使用FeatureStore SDK通过私有连接访问FeatureDB，从而提高读写数据性能，降低访问延时。

您可以通过以下方式配置VPC网络高速连通。

• 方式一：如果未创建过FeatureDB数据源，单击管理数据源，进入管理数据源页面后单击新建数据源。新建FeatureDB数据源时，在VPC网络高速连通配置部分填写VPC，可用区与交换机，和安全组名称。具体操作细节，请参见新建在线数据源：FeatureDB。

• 方式二：如果已经创建了FeatureDB数据源，单击管理数据源，进入管理数据源页面后单击已经创建好的feature_db数据源，进入详情页。单击VPC网络高速连通配置，填写VPC，可用区与交换机，和安全组名称，并单击确定。

写入特征

对于离线特征，可以使用FeatureStore Python SDK通过DataWorks每天例行运行调度任务，将MaxCompute里的数据同步到FeatureDB中。

对于实时特征，目前可通过以下两种方式同步数据。

• 方式一：直接通过Java SDK写入特征数据。

         // 配置 regionId, 阿里云账号, FeatureStore project
         Configuration configuration = new Configuration("cn-beijing",
                  Constants.accessId, Constants.accessKey,"fs_demo_featuredb" );
  
          // 配置 FeatureDB 用户名，密码
          configuration.setUsername(Constants.username);
          configuration.setPassword(Constants.password);
  
          // 如果使用公网链接 FeatureStore, 参考上面的域名信息
          // 如果使用 VPC 环境，不需要设置
          //configuration.setDomain(Constants.host);
  
          ApiClient client = new ApiClient(configuration);
  
          // 如果使用公网链接 设置 usePublicAddress = true, vpc 环境不需要设置
          // FeatureStoreClient featureStoreClient = new FeatureStoreClient(client, Constants.usePublicAddress);
          FeatureStoreClient featureStoreClient = new FeatureStoreClient(client );
  
          Project project = featureStoreClient.getProject("fs_demo_featuredb");
          if (null == project) {
              throw  new RuntimeException("project not found");
          }
  
          FeatureView featureView = project.getFeatureView("user_test_2");
          if (null == featureView) {
              throw  new RuntimeException("featureview not found");
          }
  
          List<Map<String, Object>> writeData = new ArrayList<>();
          // 模拟构造数据写入 
          for (int i = 0; i < 10; i++) {
              Map<String, Object> data = new HashMap<>();
              data.put("user_id", i);
              data.put("string_field", String.format("test_%d", i));
              data.put("int32_field", i);
              data.put("int64_field", Long.valueOf(i));
              data.put("float_field", Float.valueOf(i));
              data.put("double_field", Double.valueOf(i));
              data.put("boolean_field", i % 2 == 0);
              writeData.add(data);
          }
  
          for (int i = 0; i < 100;i++) {
              featureView.writeFeatures(writeData);
          }
  
          // 这里只需要调用一次，如果全部数据写完，确保全部写入完成，调用此接口后，无法再调用 writeFeatures 
          featureView.writeFlush();
  

• 方式二：使用实时计算Flink生产实时特征，通过配置Flink Connector写入。具体操作，请参见设置Flink Connector。

对于实时特征写入，默认我们会进行整行数据更新。如果写入数据只包含了部分字段，对于未写入的字段我们会将其设置为空。如果想要只更新写入字段的数据，并将其合并到原有数据上，您可以进行如下设置：

• 通过Java SDK写入：指定 InsertMode 写入模式，设置为 InsertMode.PartialFieldWrite。

  for (int i = 0; i < 100;i++) {
      featureView.writeFeatures(writeData, InsertMode.PartialFieldWrite);
  }

• 通过配置Flink Connector写入：设置参数 insert_mode 值为 partial_field_write。

读取特征

您可以使用FeatureStore SDK（Go/Java）或EasyRec Processor读取特征。

FeatureStore SDK（Go/Java ）支持离线/实时特征的KV点查。通过指定特征的JoinID（主键）值与特征名称，即可在毫秒内完成键值对（KV）查询，获取目标特征数据。FeatureStore SDK（Go/Java）也支持行为序列特征的KKV查询。通过指定UserID（用户ID）值，即可查询到拼装好的序列特征结果。

EasyRec Processor已集成FeatureStore Cpp SDK，支持将FeatureDB的特征数据全量拉入内存，并支持毫秒级轮询更新实时特征数据到内存，从而实现更高性能的读取。

监控指标

如果使用FeatureDB作为在线数据源，创建特征视图后，单击目标视图右侧的数据监控，可查看该视图的读写QPS和RT等指标。

实时特征链路

FeatureStore提供的存储服务主要包括三部分：Feature Service（接入层）、消息队列（DataHub）和FeatureDB。

在实时特征中，用户可以通过FeatureStore Java SDK或Flink Connector调用Feature Service服务，将特征数据写入FeatureDB。通过Feature Service写入的数据，也会同步到用户的MaxCompute表中，可以用于实时特征的样本导出，进一步的模型训练。

对于存储在FeatureDB中的特征数据， 用户可以通过FeatureStore的Java/Go SDK读取，也可以通过 EasyRec Processor全量拉取特征存入本地缓存中，以实现更高性能的读取。对于实时特征，可以毫秒级获取最新特征信息。

实时特征数据生命周期设置

在创建实时特征视图时，可以通过特征生命周期来设置FeatureDB表的数据生命周期。当一行数据的生存时间到达生命周期后，它会在几秒内被自动清理。

数据的生存时间目前支持两种设置方式：

• 方式一：不设置事件时间字段。这种情况下，会根据数据的写入时间开始计算生存时间，到达生命周期后，自动清理数据。

• 方式二：勾选了某个特征字段作为事件时间字段，单位是毫秒。假设 event_time 为事件时间字段的值， time_now 为现在的时间，time_ttl = time_now - ttl 为应该开始过期的 event_time 的值，这种情况下对于写入的特征数据的具体处理方式如下：

  • 如果使用 PartialFieldWrite 模式进行部分字段更新写入，则会根据数据实际写入时间计算生存时间。

  • event_time > time_now + 15min：数据不写入。（这里防止不同系统之间时间戳有差异，放宽15分钟）

  • time_ttl < event_time <= time_now + 15min：数据正常写入，根据 event_time 开始计算生存时间，到达生命周期后，自动清理这行数据。

  • 0 < event_time < time_ttl：数据写入后会被自动清理。这里需要注意的是，event_time的单位是毫秒。如果您的事件时间字段的值是秒，那么会落入这种情况，导致数据写入不成功。

  • event_time <= 0：根据数据实际写入时间计算生存时间。

  • 值非法（无法转换成整型）：数据不写入。

  • 注册了事件时间字段但是没有传入事件时间字段的值：数据正常写入，根据数据实际写入时间计算生存时间。

  • 不注册事件时间字段：数据正常写入，根据数据实际写入时间计算生存时间。

  • 另外，在FeatureDB中，我们会将 event_time 的值作为这行数据的ts，意味着如果需要更新一个 key 对应的数据，需要事件时间字段的值比之前的值大，这行数据才会更新。如果新的 event_time <= 原来 event_time 的值，则不会更新这个key对应的数据。