Link Visual视频解决方案

方案简介

Link Visual主要面向的场景包括：家用级别的安防监控、视频采集直播存储场景，提供一整套的设备连接，云端开发控制等功能，另外辅助以云端转发、存储、视频AI等增值扩展服务，解决客户安防场景下的远程视频观看、存储、报警与控制需求等。主要提供以下功能。

• 云端摄像头视频直播
• 摄像头云端视频存储
• 云端、本地TF存储录像播放
• 语音对讲
• 远程摄像头控制
• 摄像头规则管理（报警、抓图、录像、检测识别等）
• 必要的SDK、API接口与开放文档手册
• 设备数据分析、云存储资源购买等运营管理功能

Link Visual产品的功能链路如下。

收费说明

产品的服务收费由两部分组成。

• 设备连接费用

  设备使用基础的阿里云物联网平台&视频接入服务，每台设备可以根据实际预计的带宽占用，购买不同规格的设备激活码。详细参见购买激活码。

  说明 阿里云会统计实际带宽占用，如设备平均带宽超过其激活码的限制，阿里云将采取包括但不限于限制带宽、丢帧等措施。所以请根据实际使用场景选择合适规格的设备激活码。
• 云存储套餐费用

  LinkVisual增值提供视频数据云端存储服务套餐，服务套餐每月按照设定的存储周期存储数据，循环存储一个月为一个最小套餐单位。例如，开通套餐后，视频数据以X天为最长周期滚动循环存储，当第X+1天数据产生时，则覆盖删除距离X+1天最远的历史存储数据。

  以上具体收费标准，请以服务购买中实际价格为准。

整体流程

1. 在项目的服务中心，找到并开通Link Visual服务。

   在项目主页面，单击服务中心，并单击Link Visual服务对应的开通服务，根据界面提示完成支付。

   
2. 单击服务流程的快速创建产品，在生活物联网平台创建视频产品。
   

   视频产品分为以下三种规格。

   • IPC消费：用于个人消费场景（家居）的视频监控摄像头接入

     该规格创建的摄像头设备，不接入网关，默认连网方式为WiFi，可修改连网方式（WiFi、蜂窝、以太网、其他）。

   • IPC行业：用于SMB场景（如店铺监控、别墅监控等）的视频监控摄像头接入

     该规格创建的摄像头设备，不接入网关，默认连网方式为以太网，可修改连网方式（WiFi、蜂窝、以太网、其他）。

   • NVR：用于NVR（Network Video Recorder，网络硬盘录像机）设备的视频接入，NVR为网关设备
     • NVR连网方式固定为蜂窝（2G/3G/4G），不可修改。
     • NVR需要配置NVR的通道数（最大值为64）。
     • NVR创建成功后，系统还会自动创建一个IPC的摄像头产品（该IPC连网方式固定为以太网），且连接在NVR网关节点下（如下图所示）。
     
     说明 自动创建的子产品有量产数量限制（上限为50万），一旦超过限制则没法继续量产。所以一般建议您创建了NVR产品后，将自动创建的子产品的ProductKey通过工单提供给我们的技术支持人员，我们为您调整量产限额。

   如果不是通过快速创建产品入口创建的产品，也会显示在服务配置栏中，默认规格为无，可以切换到IPC（消费）或者IPC（行业）规格，一旦切换则不可以再改变。

   
3. 单击查看详情，完成视频产品的开发流程。

   下面主要介绍视频产品开发阶段需要的流程，包括：定义产品功能、添加测试设备、配置App参数等。

   1. 定义产品功能。

      在产品-定义功能页面添加到当前的产品的物模型。我们提供了摄像头品类的标准物模型，参见新增标准功能在标准功能中添加。

      如果标准物模型的属性、事件、服务的定义不满足实际需求，可以在自定义功能中扩展，参见新增自定义功能。

      说明 NVR SDK仅提供直播/回放等下文中所介绍的核心功能，其余的简单功能需要厂商基于Sample自行实现（如红外开关，码率切换等）。
   2. 添加测试设备。

      在产品-设备调试页面选择模组信息和添加测试设备。

      • 使用集成LinkVisual SDK来实现视频设备连云，所以模组信息请选择未认证，详细操作请参见选择认证模组/芯片。
      • 添加测试设备后，可以免费使用平台提供的测试设备证书调试设备（每个产品最多可添加50个免费测试设备，测试设备的证书不能用于量产，仅供调试使用），详细操作请参见新增测试设备。
        说明 调试NVR规格的产品时，需要分别给NVR产品和IPC（NVR直连）产品添加测试设备。
   3. 配置App参数。

      在产品-人机交互页面，选择App版本（本文档介绍通过公版App调试视频产品的功能），配置App面板、产品名称、配网方式等参数，详细参见功能概述。

      打开公版App控制开关，进行以下操作。

      • 单击选择面板，为视频产品选择或创建一个面板界面。
      • 单击多语言管理，设置视频产品的产品名称。此处配置的产品名称和产品功能会展示在App中，请按照您的产品配置相关信息，详细参见配置App多语言管理。
      • 摄像头产品建议通过扫描二维码方式配网并绑定设备。

        针对WiFi连网的产品，平台还支持多种配网方案，摄像头产品一般使用摄像头扫码配网，详细介绍参见摄像头扫码配网。

        说明 NVR子设备（即IPC（NVR连接））不需要WiFi配网，直接使用公版App扫描NVR配网二维码进行绑定即可。NVR配网二维码需要携带每台设备唯一的DeviceName，将下图链接中的“请复制设备的DeviceName”替换成子设备的DeviceName。拼接后的完整链接通过二维码生成工具生成二维码图片即可。
4. 结合基础设备端Link Kit SDK和摄像头SDK（相关下载中提供的摄像头设备端SDK和文档），完成摄像头设备侧开发。

   平台提供Ubuntu 16.04 x86 64位环境下的SDK，并提供SDK使用范例的Demo，您可以在Ubuntu下快速跑通Demo SDK，助您熟悉整个设备侧开发流程。

5. 安装App。

   若选用公版App，直接下载云智能App即可（下载地址参见功能概述）；若开发自有品牌App，参见创建自有App，并结合相关下载中提供的摄像头Demo App，开发并安装自有品牌App。

   • 云智能App中的摄像头面板

     从云智能App设备列表进入到对应的摄像头设备后，您将看到如下界面（依次为直播、设置、图库和本地录像播放的界面）。

     

     当前云智能App中摄像头功能包含：摄像头设置，直播清晰度切换，直播声音开关，直播录屏，直播截图，语音对讲，全屏播放，摄像头转动控制，图库，卡录像以及云端录像（云端录像功能暂未提供，敬请期待）。

     • 摄像头设置包含：摄像头日夜模式，视频画面翻转，报警开关（设备报警的总开关，当触发报警时设备将上传一张报警照片到云端，用户可以在图库中进行查看），移动侦测灵敏度设置，报警频率设置（控制摄像头上报报警事件的频率），报警时段设置（摄像头在哪些时段进行报警），存储卡状态，容量展示和格式化存储卡（格式化掉摄像头内存储卡上的所有文件）。
     • 直播声音开关只控制手机上直播的音量，并不影响摄像头采集声音。
     • 直播录屏和直播截图：都是从当前直播流上截取的，用户可以根据自身需求进行直播截屏（获取当前直播画面的图片）和直播录屏（录制一段时间的直播录像），产生的文件可以在手机相册内查看。
     • 语音对讲：App用户可以通过这个功能跟摄像头方人员进行语音聊天。
     • 摄像头转动控制：通过直播页面的转向盘，控制摄像头进行上下左右转动，由此用户可以看到需要的直播画面。
     • 图库内展示的设备报警产生的报警图片（具体的上报开关，灵敏度，频率以及时段在设置中“报警设置”中设置）。
     • 卡录像内展示的是一定时间内的摄像头内存储卡保存的历史录像，用户可以看到任意时段设备保存的卡录像。
   • 自有品牌App

     生活物联网平台的Demo App中集成了LinkVisual App SDK，提供增加了LinkVisual视频能力的Demo App。您参考Demo App的实现，在创建的项目的自主App里，可以快速集成LinkVisual App播放器SDK和云端接口调用。

6. 开发调试完成后，为产品购买视频激活码（一台摄像头设备，需购买一个视频激活码）。
   

   视频激活码的详细介绍参见购买激活码。 购买后，可以在运营中心 > 视频服务中，查看用户购买的云录像套餐情况。

7. 量产设备。
   待产品开发完成后，需要量产设备。量产的详细操作请参见批量投产。
   1. 在Link Visual服务详情页面的服务流程中，单击量产管理。
      
   2. 在视频激活码的使用情况中，单击产品对应的批量投产。
      

      说明

      • 不可以单独量产IPC（NVR连接）产品。
      • 量产NVR产品时，自动量产对应的IPC（NVR连接）产品，且需NVR产品和对应的IPC（NVR连接）产品都完成产品发布。
   3. 配置量产数额。
      

      单击确定后，页面跳转至量产记录。

   4. 在量产记录，单击NVR产品对应的查看。
      
   5. 单击下载合并设备证书，将设备证书的Excel文件下载到本地。
      NVR产品的量产激活码与IPC（NVR连接）产品的量产激活码可以分别下载，也可以下载合并的激活码。

相关文档

• 云存储购买对接文档：LinkVisual视频云存储购买服务
• Link Visual设备端SDK文档：IPC（Linux）、IPC（Android）、NVR（Linux）（待补充，敬请期待）
• Link Visual客户端SDK文档：Android、iOS、PC（待补充，敬请期待）
• Link Visual API文档：LinkVisual视频服务
• Demo App文档：Android、iOS（待补充，敬请期待）

直播功能开发

直播视频支持H264/H265，音频支持G711A/AAC_LC。采用RTMP云转+P2P混合方式，在保证直播稳定性的同时降低成本。

直播的物模型如下。

• 视频播放

  LinkVisual App SDK提供直播播放器，集成请参见Android LinkVisual App SDK和iOS LinkVisual App SDK。

• P2P支持

  P2P支持需要同时接入LinkVisual Device SDK和LinkVisual App SDK。播放时会尽可能的尝试P2P连接，以减小成本开销。后台会对P2P的成功率进行统计，发现P2P成功率出现异常会通知开发者检查原因，若不修复有可能拒绝服务。

  App端P2P依赖生活物联网平台的长连接通道，需要App初始化长连接通道SDK，并完成长连接通道与账号绑定。请参见Android长连接SDK和iOS长连接SDK。

  • 确认设备端P2P是否集成成功

    设备端SDK集成完毕后，确保DemoApp和IPC设备连在同一个WiFi下，将DemoApp的测试信息开关打开后，进入直播页面，左上角RELAY代表RTMP云转，LOCAL代表P2P直连，SRFLX代表P2P穿透。

    
  • 确认自有App P2P是否集成成功

    在首帧后5S调用播放器的播放获取播放器当前流的连接类型接口来获取当前流类型，若RELAY代表RTMP云转，LOCAL代表P2P直连，SRFLX代表P2P穿透。

• 视频加密

  为保证视频数据安全，SDK支持对音视频帧的加密，推荐App端开启全链路加密。App端可调用物模型API（Android/iOS）设置物模型属性（EncryptSwitch）开启或关闭加密。

• 清晰度切换

  App端可通过调用物模型API（Android/iOS）查询主辅码流清晰度物模型属性（StreamVideoQuality/SubStreamVideoQuality）用于UI上展示当前播放码流清晰度，App端设置该物模型属性来改变码流清晰度，设备收到物模型属性设置后，切换码流清晰度重新推流，播放器SDK已支持码流自适应。

• 截图和录屏

  播放器SDK提供了截图和录屏接口，详细参见Android LinkVisual App SDK和iOS LinkVisual App SDK。

• 减少首帧延迟（强制I帧）

  在有新的播放端观看时，会要求设备立即编码I帧，从而减少直播首帧延迟。参考设备端和App的文档响应和发起强制I帧。

云存录像功能开发

云存录像的使用需要为用户开通云存空间，详细参见LinkVisual视频云存储购买服务。

• 介绍
  云存录像来源有以下三种。

  • 计划录像

    以周为一个循环单位，每周一天或多天的时间段内，云端主动通知设备端推流并转存到云存空间。例如：配置周一至周五全天的计划录像。

  • 事件联动录像

    设备主动上报事件，且该事件在事先配置的事件录像计划内，云端通知设备端推流一段时间并转存到云存空间。例如：配置每天白天8点到晚上8点的报警事件录像计划，当设备在该时间端触发移动侦测报警时，云端通知设备推流（支持预录）一段时间。

  • 主动录像

    App通过调用API接口（主动触发设备进行短录像任务）来实现，云端主动通知设备端推流一段时间数据并转存到云存空间。

• 配置录像计划

  为设备配置录像计划的一般步骤为：

  1. 创建录像计划，得到planId
  2. 将planId与设备iotId绑定

  更多接口如配置/更新/解绑/删除/查询等，查看LinkVisual视频服务。

• 配置事件联动录像计划

  为设备配置事件联动录像计划的一般步骤为：

  1. 创建事件联动录像计划，得到planId
  2. 将planId与设备iotId绑定

  更多接口如配置/更新/解绑/删除/查询等，查看LinkVisual视频服务。

• 获取云存录像播放地址

  有几种途径获取云存录像播放地址：

  • 根据时间范围查询云存的录像列表， 按文件名获取云存录像点播地址。
  • 根据时间范围获取事件列表，依据事件关联录像文件名获取事件联动云存录像点播地址。
• 播放云存录像

  云存录像使用HLS作为流媒体播放协议。

  • Android LinkVisual App SDK提供基于ExoPlayer封装的ExoHlsPlayer用于HLS流播放。
  • iOS SDK提供基于AVFoundation封装的IMSLinkVisualHLSPlayer用于HLS流播放。
• 云存录像下载

  支持云存录像下载后播放，查看LinkVisual视频服务。

• 视频加密

  云存录像默认开启AES-128加密。

设备录像点播功能开发

一般IPC设备会配备独立的大容量存储介质，用于不间断记录摄像头捕捉的视频内容，这部分录像不适合上云，因此在后期对录像做回溯时需要用到设备录像点播功能。

设备录像点播物模型如下。

• 按单个文件方式点播

  对设备本地单个录像文件的点播回，实现分为以下几步。

  1. App端调用物模型服务（QueryRecordList）获取某个时间段的设备端录像文件列表。
  2. 设备端响应物模型服务（QueryRecordList），查询完毕并将结果返回给App展示。
  3. 用户选中列表的某一文件播放，App端调用API接口（按文件名获取播放）来播放录像。
  说明

  • 物模型服务（QueryRecordList）返回结果有大小限制，App端查询设备端录像文件列表时需要做分页查询，每页建议10条数据。
  • 设备端响应物模型服务（QueryRecordList）必须在3S内查询完毕，否则会触发超时导致查询失败。
  • 按单个文件方式点播模式下，获取播放文件长度为该文件的实际长度。
  • 按单个文件方式点播模式下，如果播放到文件末尾，则设备端显式发出推流结束指令告知App播放完毕，但不断开连接允许再次seek。
  • 按单个文件方式点播模式下，seek命令，App发送相对于文件开始的相对时间偏移，单位秒。
• 按时间段方式点播

  有些设备存储在本地的录像文件是按固定时间拆分的单个小文件。例如1分钟一个文件，拉取一天的录像列表会非常大，并且单个文件的请求播放实现上很不友好。对于这种存储方式，按照单个文件点播方式并不适用，因此提供了按时间段方式点播，设备端SDK会对时间相邻的小文件做合并，将起止时间段内的部分作为一个大文件播放，同时允许播放中起止时间段内任意位置可seek，实现分为以下几步。

  1. App调用物模型服务（QueryRecordTimeList）获取某个时间区间（一般为1天）内哪些时间段有录像。
  2. 设备端响应物模型服务（QueryRecordTimeList），查询完毕将结果返回给App展示。
  3. App调用API接口（按时间请求本地录像播放）来播放录像，默认连接建立后从时间区间的第一个时间端开头开始播放，如需要做偏移，可在发起请求时指定seekTime来做初始偏移。
  说明

  • 物模型服务（QueryRecordTimeList）返回结果有大小限制，App端查询设备端录像文件列表时需要做分页查询，每页建议10条数据。
  • 设备端响应物模型服务（QueryRecordTimeList）必须在3S内查询完毕，否则会触发超时导致查询失败。
  • 按时间段方式点播模式下，设备端默认开启连续播放，即一段录像文件播放完毕后，自动开始下个文件的推流。若App端需要实现非连续播放的时间轴设备录像效果，推荐使用单个文件方式点播模式来实现。
  • 按时间段方式点播模式下，若seek指令下发的时间偏移量上无视频内容，则设备端SDK默认实现向后寻找到接下来最近的视频内容起始点开始推流。
  • 按时间段方式点播模式下，如果APP下发seek时间后无录像，设备端显式发出推流结束指令告知App播放完毕，但不断开连接允许再次seek。
  • 按时间段方式点播模式下，获取播放文件长度为发起播放请求时的起止时间端（endTime-beginTime）的时长。
  • 按时间段方式点播模式下，seek命令，APP发送相对于BeginTime的相对时间偏移，单位秒。
  
• 设备推流

  与直播类似，设备推流速率应不小于内容原始生成速率，建议略快于内容原始生成速率，1.1倍左右。当播放端接收缓存水位超过75%时会通知设备暂停推流，直到播放端缓存水位低至25%时重新通知设备继续推流，因此设备应响应暂停/恢复指令。除此之外设备还需要响应文件seek操作，为了较精确的响应seek位置，录像文件GOP不宜设置过大。

• 倍速播放

  暂时还未支持

• 点播播放器

  较于直播播放器点播播放器增加暂停/恢复、跳至指定位置播放、获取总时长、获取当前时长接口，请参见LinkVisual视频服务。

语音对讲功能开发

提供App和IPC设备之间端到端的实时音频传输能力。支持音频格式包括：G711a/G711u/AAC_LC/PCM。

对讲由App端发起，由设备端响应，集成过程详见LinkVisual视频服务和LinkVisual视频设备开发概览。

语音对讲的物模型如下。

• 对讲模式

  对讲模式	设备端	App	依赖
  双向实时对讲	实时收发音频	实时收发音频	设备需要MIC和Speaker，设备和App均需要支持回声消除
  单向实时对讲	实时收音频	实时发送音频	设备需要Speaker

• 链路加密

  为确保数据安全，默认启用AES-128全帧加密。

事件上报功能开发

提供设备事件上报的能力，用于侦测报警及故障上报等功能。服务端处理事件最小时间间隔为10秒，过频的事件上报不会被处理。

事件上报的物模型如下。

抓图功能开发

抓图的物模型如下。

• 主动抓图

  由App端主动通知设备抓图，流程如下。

  1. App调用LinkVisual API（主动抓图）通知设备抓图。
  2. 设备响应物模型服务（TriggerPicCapture）调用，触发抓图，并将图片通过HTTP POST方式上传至给定URL。
• 事件关联抓图

  由设备主动上报报警事件，并联动触发抓图，流程如下。

  1. 设备侦测到报警，抓取图片，生成图片ID，上报该报警事件
  2. 服务端接收报警事件，并触发设备物模型服务（TriggerPicCapture）
  3. 设备响应物模型服务（TriggerPicCapture）调用，将已抓取的对应图片ID图片通过HTTP POST方式上传至给定URL。
• App对图片的展示和管理

  App调用LinkVisual API中图片相关接口来展示和管理图片。

  • 根据时间查询图片列表

    获取指定时间范围内所有图片缩略图和大图地址

  • 根据图片ID查询图片地址

    图片ID可以从事件列表中获取，用于展示报警事件相关的图片

  • 批量删除图片

    根据图片ID列表删除指定图片，单次不超过100张

其他功能开发

• 设备PTZ控制

  PTZ控制的物模型如下。

  标识符	功能类型	功能名称	描述	开发指南
  PTZActionControl	服务	PTZ步进控制	App发起并由设备响应该服务，触发	App和设备开发者需要关注并处理该物模型
  PTZCalibrate	服务	PTZ校准	App发起并由设备响应该服务，触发设备做PTZ校准操作	App和设备开发者需要关注并处理该物模型

  建议App端按1秒4次的频率调用物模型服务（PTZActionControl）向设备发送控制脉冲。设备需保证物模型服务响应即使处理不出现积累，允许忽略同方向上来不急处理的物模型服务调用。

• 设备属性

  我们提供了摄像头品类的标准物模型，其中包括对以下定义如下。

  标识符	功能类型	功能名称	描述	开发指南
  DayNightMode	属性	日夜模式	App设置和获取设备当前的日夜模式，设备在状态变更时及开机时主动上报	App和设备开发者需要关注并处理该物模型
  DayNightMode	属性	日夜模式	App设置和获取设备当前的日夜模式，设备在状态变更及开始时主动上报	App和设备开发者需要关注并处理该物模型
  ImageFlipState	属性	画面翻转状态	App设置和获取设备当前画面翻转状态，设备在状态变更及开机时主动上报	App和设备开发者需要关注并处理该物模型
  MicSwitch	属性	麦克风开关	App设置和获取设备当前麦克风开关状态，设备在状态变更及开机时主动上报	App和设备开发者需要关注并处理该物模型
  StatusLightSwitch	属性	状态灯开关	App设置和获取设备当前状态灯开关状态，设备在状态变更及开机时主动上报	App和设备开发者需要关注并处理该物模型
  IpcVersion	属性	摄像机版本号	App获取设备当前版本号信息，设备在开机时主动上报	App和设备开发者需要关注并处理该物模型

  若标准物模型无法满足需求的，可以通过自定义功能自行拓展。例如新增物模型服务（Reboot）来实现设备重启功能。

• 云存套餐

  云存录像使用需要为用户开通云存套餐，厂商云端调用LinkVisual视频云存储购买服务的流程和API请参考LinkVisual视频云存储购买服务。

  同时我们为每个设备免费赠送7天事件云存空间套餐，从领取开始持续3个月时间，每个设备仅可开通一次。App端领取和查询，详细参见LinkVisual视频服务（领取云存套餐/ 查询云存套餐详情）。

• 消息推送

  用于通过App主动向用户推送诸如移动侦测报警、设备关键状态等消息。详细参见移动应用推送开发指南。

• 配网

  详细参见配置App配网方案和引导文案。

• OTA

  详细参见固件升级。