采集-IoT/嵌入式日志

嵌入式开发需求

作为IoT/嵌入式工程师，除了需要深厚的开发功底外，面对海量的设备，如何有能力管理、监控、诊断黑盒设备至关重要。嵌入式开发需求主要有以下几点：

• 数据采集：如何实时采集分散在全球各地的百万/千万级设备上的数据？

• 调试：如何使用一套方案既满足线上数据采集又满足开发时的实时调试？

• 线上诊断：某个线上设备出现错误，如何快速定位设备，查看引起该设备出错的上下文是什么？

• 监控：当前有多少个设备在线？工作状态分布如何？地理位置分布如何？出错设备如何实时告警？

• 数据实时分析：设备产生数据如何与实时计算、大数据仓库对接，构建用户画像？

IoT领域面临的主要挑战

思考以上问题的解决方案，我们发现在传统软件领域那一套手段面临IoT领域基本全部失效，主要挑战来自于IoT设备这些特点：

• 设备数目多：在传统运维领域管理1万台服务器属于一家大公司了，但10万在线对于IoT设备而言只是一个小门槛。

• 分布广：硬件一旦部署后，往往会部署在全国、甚至全球各地。

• 黑盒：难以登录并调试，大部分情况属于不可知状态。

• 资源受限：出于成本考虑，IoT设备硬件较为受限（例如总共只有32MB内存），传统PC领域手段往往失效。

C Producer

日志服务量身定制的日志数据采集解决方案。

日志服务客户端Logtail在X86服务器上有百万级部署，可以参见文章：Logtail技术分享：多租户隔离技术+双十一实战效果，Polling+Inotify 组合下的日志保序采集方案。除此之外，日志服务提供多样化的采集方案：

• 移动端SDK：Android/iOS平台数据采集，一天已有千万级DAU。

• Web Tracking（JS）：类似百度统计，Analytics轻量级采集方式，无需签名。

日志服务团队结合IoT设备的特点，为IoT设备量身定制一套日志数据采集方案：C Producer。

C Producer特点

C Producer Library继承Logtail稳定、高性能、低资源消耗等特点，可以定位是一个轻量级Logtail，虽没有Logtail实时配置管理机制，但具备除此之外70%功能，包括：

• 提供多租户概念：可以对多种日志（例如Metric，DebugLog，ErrorLog）进行优先级分级处理，同时配置多个客户端，每个客户端可独立配置采集优先级、目标Project和Logstore等。

• 支持上下文查询：同一个客户端产生的日志在同一上下文中，支持查看某条日志前后相关日志。

• 并发发送，断点续传：支持缓存上限可设置，超过上限后日志写入失败。

此外，C Producer还具备以下IoT设备专享功能，例如：

• 本地调试：支持将日志内容输出到本地，并支持轮转、日志数、轮转大小设置。

• 细粒度资源控制：支持针对不同类型数据/日志设置不同的缓存上限、聚合方式。

• 日志压缩缓存：支持将未发送成功的数据压缩缓存，减少设备内存占用。

功能优势

C Producer作为IoT设备的量身定制方案，在以下方面具备明显优势：

• 客户端高并发写入：可配置的发送线程池，支持每秒数十万条日志写入，详情参见性能测试。

• 低资源消耗：每秒20万日志写入只消耗70%CPU；同时在低性能硬件（例如树莓派）上，每秒产生100条日志对资源基本无影响。

• 客户端日志不落盘：即数据产生后直接通过网络发往服务端。

• 客户端计算与I/O逻辑分离：日志异步输出，不阻塞工作线程。

• 支持多优先级：不同客户端可配置不同的优先级，保证高优先级日志最先发送。

• 本地调试：支持设置本地调试，便于您在网络不通的情况下本地测试应用程序。

在以上场景中，C Producer Library简化您程序开发的步骤。您无需关心日志采集细节实现、也不用担心日志采集会影响您的业务正常运行，大大降低数据采集门槛。

C Producer方案与其他嵌入式采集方案对比如下：

C Producer+日志服务解决方案

C Producer结合阿里云日志服务产品配合使用，即可完成IoT设备日志全套解决方案。

• 规模大

  • 支持亿级别客户端实时写入。

  • 支持PB/Day数据量。

• 速度快

  • 采集快：写入零延迟，写入即可消费。

  • 查询快：一秒内，复杂查询（5个条件）可处理10亿级数据。

  • 分析快：一秒内，复杂分析（5个维度聚合+GroupBy）可聚合亿级别数据。

• 对接广

  • 与阿里云各类产品无缝打通。

  • 各种开源格式存储、计算、可视化系统完美兼容。

下载与使用

下载地址：Github

一个应用可创建多个Producer，每个Producer可包含多个Client，每个Client可单独配置目的地址、日志级别、是否本地调试、缓存大小、自定义标识、topic等信息。

详细安装方式及操作步骤，请参见README。

性能测试

配置如下：

C Producer配置

• ARM（树莓派）

  • 缓存：10 MB

  • 聚合时间：3秒（聚合时间、聚合数据包大小、聚合日志数任一满足即打包发送）

  • 聚合数据包大小：1 MB

  • 聚合日志数：1000

  • 发送线程：1

  • 自定义tag：5

• X86

  • 缓存：10MB

  • 聚合时间：3秒（聚合时间、聚合数据包大小、聚合日志数任一满足即打包发送）

  • 聚合数据包大小：3 MB

  • 聚合日志数：4096

  • 发送线程：4

  • 自定义tag：5

__source__: 192.0.2.1
__tag__:1: 2
__tag__:5: 6
__tag__:a: b
__tag__:c: d
__tag__:tag_key: tag_value
__topic__: topic_test
_file_: /disk1/workspace/tools/aliyun-log-c-sdk/sample/log_producer_sample.c
_function_: log_producer_post_logs
_level_: LOG_PRODUCER_LEVEL_WARN
_line_: 248
_thread_: 40978304
LogHub: Real-time log collection and consumption
Search/Analytics: Query and real-time analysis
Interconnection: Grafana and JDBC/SQL92
Visualized: dashboard and report functions

更多日志服务典型场景可以参见云栖论坛。