添加云产品数据源

重要

本文中含有需要您注意的重要提示信息,忽略该信息可能对您的业务造成影响,请务必仔细阅读。

物联网平台提供云产品数据源配置功能,导入其他阿里云产品数据到物联网平台,称为云产品数据。您可将其他阿里云平台的数据同步至物联网平台的数据服务中,用于数据的加工处理和分析。本文介绍如何添加、删除云产品数据源,及开启数据源同步。

前提条件

已购买物联网平台的企业版实例,具体操作,请参见购买企业版实例

计费说明

从云产品数据源同步数据到物联网平台,会消耗数据处理单元(CU)。具体内容,请参见数据服务计费说明

使用限制

  • 目前仅支持将OSS Bucket中文件同步到物联网平台的数据服务中。

  • OSS Bucket下单个文件不超过1 GB,且每天的文件需保存在以日期命名的文件夹下。

    日期格式分为:

    • 天:YYYYMMDD,例如:20230302

    • 小时:YYYYMMDDHH,例如2023030213

新建云产品数据源

  1. 物联网平台控制台实例概览页面,单击目标企业版实例ID或备注名称。

  2. 在左侧导航栏,选择数据服务 > 数据接入,单击云产品页签。

  3. 云产品页签,单击新建云产品数据源

  4. 在右侧面板,按照以下步骤,完成云产品数据源配置。

基本信息

  1. 基本信息向导页面,配置以下参数。

    参数

    描述

    名称

    输入云产品数据源名称。支持中文、英文字母、数字、英文句号(.)、下划线(_)、英文括号(()),长度不能超过32个字符。

    描述

    输入云产品数据源说明。

    云产品类型

    仅支持选择OSS

    Bucket

    选择OSS存储空间(Bucket)。

    在OSS中创建存储空间(Bucket)的具体操作,请参见创建存储空间

    重要

    配置Bucket列表前,需单击角色未创建右侧的创建,先在您的阿里云账号中创建一个服务关联角色,用于授权物联网平台的数据服务访问并同步您OSS存储空间的数据。

    服务关联角色说明,请参见云产品数据接入服务关联角色

    父目录

    输入Bucket下文件所属父目录名称。

    文件目录管理,请参见管理目录

  2. 单击下一步

字段映射

  1. 字段映射向导页面,配置数据源的数据格式。

    参数

    描述

    数据格式

    可选:

    JSON:使用JSON格式。

    ProtoBuf:使用ProtoBuf格式。

    CSV:使用CSV文件格式。

    自定义:使用自定义脚本解析数据格式。

    行分隔符

    可选:系统默认分隔符逗号竖线空格制表符自定义

    • 选择系统默认分隔符时,会自动匹配使用当前系统的分隔符。

    • 选择自定义时,需输入一个可见字符。

    说明
    • 数据格式JSON时,行分隔符不支持设置为逗号

    • 数据格式ProtoBuf时,使用协议特殊的数据换行方式,在写出数据到文件时需要使用writeDelimitedTo(java)或delimited_message_util.h(C++)的方式,不支持自定义的行分隔符。

    • 数据格式CSV时,行分隔符默认为系统默认分隔符,且不可修改。

    列分隔符

    数据格式CSV时,需要配置列分隔符。

    可选:逗号竖线空格制表符自定义

  2. 单击点击配置,在字段映射对话框,完成数据源中字段映射配置。

    1. 根据数据格式,配置格式解析的样例数据。

      数据格式

      操作

      JSON

      样例数据框中,直接配置JSON格式的样例数据。仅支持输入单行数据。

      重要

      不支持输入数组格式的数据。

      ProtoBuf

      1. 单击上传.desc文件,上传.desc文件,用于解析ProtoBuf格式数据。

        生成.desc文件方法,请参见附录:生成.desc文件

      2. 选择消息类型后,单击上传二进制数据文件,配置样例数据。

      重要

      不支持输入数组格式的数据。

      CSV

      样例数据框中,直接配置样例数据。

      样例数据需要输入列名称,且仅可输入一行数据。例如列分隔符逗号的样例数据:

      productKey,deviceName,time,temperature,humidity
      g9rp0*****,device1,20230102,23,30

      自定义

      1. 选择脚本语言,然后在编辑脚本下的输入框中输入脚本。

        支持选择的脚本语言:JavaScript(ECMAScript 5),定义函数名为parse_line

        脚本模板和示例,请参见编写自定义脚本

      2. 模拟输入页签,根据行分隔符,输入模拟的设备上报数据。

    2. 执行以下步骤,完成数据解析校验。

      • 如果数据格式JSONProtoBufCSV,单击校验解析

        • 若解析成功,可在数据存储类型下方中查看解析的字段信息。

        • 若解析失败,则根据提示,修正样例数据后,重新校验。

      • 如果数据格式自定义:单击执行

        • 若执行成功,在运行结果页签显示解析后的数据。

        • 若执行失败,根据提示,修改脚本后。重新执行进行校验。

    3. 在解析的字段列表,设置字段显示名主键

      字段显示名支持中文、英文、数字、下划线(_)、短划线(-)、英文括号(()),长度不超过30个字符。

    4. 单击确认

  3. 单击下一步

同步周期

  1. 选择同步周期的单位:小时

  2. 选择最早同步时间

  3. 单击完成

新建云产品数据源成功后:

  • 数据接入>云产品页签下,对应添加云产品数据源同步任务,同步状态默认为已停止。您需手动开启云产品数据源同步,具体操作,请参见开启云产品数据源同步

  • 数据存储>冷数据存储>自定义存储表页签下,以云产品数据源名称为表名称,新建对应存储表。

开启云产品数据源同步

执行以下步骤,开启数据同步,云产品数据即可接入数据服务。

  1. 云产品页签,找到已添加的云产品数据源同步任务。

  2. 单击对应同步状态列的已停止开关image..png

开启成功后,云产品数据源同步任务的同步状态同步中。后续系统会按照同步周期运行同步任务,将云产品数据同步到物联网平台数据服务的自定义存储表。

image..png

可选操作

编辑云产品数据源配置

  1. 云产品页签,找到已添加的云产品数据源。

  2. 单击对应操作列的编辑

  3. 编辑云产品数据源面板,参考上文修改相关配置。

说明

基本信息云产品类型字段映射的已创建的自定义存储表,不可编辑,其他参数都可修改。

删除云产品数据源

云产品数据源的同步状态为已停止时,可删除该云产品数据源。

警告

删除后,不再继续同步数据。请谨慎操作。

  1. 云产品页签,找到已添加的云产品数据源。

  2. 单击对应操作列的删除

  3. 单击确认

后续操作

管理同步任务和数据存储表