特定格式文本数据加工
首先将dict数据转成JSON数据，再使用 e_json 函数进行展开即可。原始日志 content:{ 'referer':'-','request':'GET/phpMyAdmin','status':404,'data-1':{ 'aaa':'Mozilla','bbb':'asde' },'data-2':{ 'up_adde':'-','up_host':'-' } } LOG ...
什么是消息解析
背景信息 目前支持解析两类消息：自定义Topic上行消息：将设备通过自定义Topic上报给物联网平台云端的自定义格式数据Payload解析为JSON格式。上、下行物模型Topic的消息：将设备上报给物联网平台云端的自定义格式物模型数据解析为Alink ...
物模型数据解析使用示例
将Alink JSON格式数据转为设备自定义数据格式的函数：JavaScript（ECMAScript 5）：protocolToRawData Python 2.7：protocol_to_raw_data PHP 7.2：protocolToRawData 将设备自定义数据格式转Alink JSON格式数据的函数：JavaScript...
提交物模型消息解析脚本
支持的脚本语言 设备自定义数据格式转Alink JSON格式数据的函数（上行通信）Alink JSON格式数据转为设备自定义数据格式的函数（下行通信）示例代码 JavaScript（ECMAScript 5）rawDataToProtocol protocolToRawData JavaScript脚本示例 ...
配置产品和设备
本示例设备发送至物联网平台的数据为16进制格式，因此脚本需将16进制格式数据转换为Alink JSON格式，并将物联网平台下发的Alink JSON格式数据转换为16进制格式。本示例的数据解析脚本如下。var ALINK_ID="12345;var ALINK_VERSION="1.1;var...
特定结构化数据函数
XML xml_to_json 将xml数据转成JSON数据。json_select 根据JMES语法提取或计算JSON表达式中特定的值。函数格式 json_select(value,jmes,default=None,restrict=False)参数说明 参数 类型 是否必填 说明 value String、JSON 是 传入待提取...
半结构化分析
JSON格式数据在业务上也可以用text类型来存储，但是使用JSON/JSONB数据类型会在用户写入数据时对输入做JSON规则校验，避免不合法JSON数据写入。同时 AnalyticDB PostgreSQL版 提供一些列特定的JSON化函数，让用户可以对这些数据做出一些...
功能特性
挂载DBFS 卸载DBFS 从ECS云服务器上卸载数据库文件存储 卸载DBFS 扩容DBFS 支持业务友好地在线扩充存储容量 在线扩容 格式化DBFS 格式化数据库文件存储操作会清空已写入的数据，建议操作前创建快照备份数据库文件存储的数据-重命名DBFS ...
JSON日志
本视频向您展示数据加工结构化数据JSON格式日志的解析。简单JSON解析 复杂JSON解析
处理数据
本文档为您介绍如何将CSV格式的文件处理成JSON格式的数据。等值面组件需要的数据格式如下图所示。您需要对数据做进一步的加工处理，让其更符合DataV的数据规范。裁剪面：研究区域的边界数据。这里是全国区域，是一个GeoJSON格式的数据。...
创建数据表
EMAS Serverless服务使用的是分布式文件存储数据库MongoDB，以JSON格式存储数据。数据库中的每条记录都是一个JSON格式的对象，一个数据库可以包含多个集合（相当于关系型数据库中的表）。您可以在控制台上创建数据表。前提条件 已创建服务...
配置模板（公有云）
导出监控项 将当前环境下的监控项配置导出为 JSON 格式文件。可基于导出的监控项模板，修改参数配置，然后导入到相应的环境中去。具体操作如下：在 配置模板>导出 标签页，选择要导出的监控项类型，然后点击 加载配置 手动加载该类型下的...
PHP脚本示例
}/*将设备的自定义格式数据转换为Alink协议的数据，设备上报数据到物联网平台时调用*入参：$rawData 普通数组，数组元素为整数*出参：$jsonObj 关联数组，关联数组key取值为英文字符串，不能是字符类型的数字如"10",不能为空*/function ...
PHP脚本示例
}/*将设备的自定义格式数据转换为Alink协议的数据，设备上报数据到物联网平台时调用。入参：$rawData，普通数组，数组元素为整数。出参：$jsonObj，关联数组，数组key取值为英文字符串，不能是字符类型的数字，如"10"，不能为空。function ...
各地域功能说明
在物联网平台使用规则引擎将设备数据转发至其他阿里云产品时，需确认目的云产品已经在该地域上线，并且支持相应格式数据的转发。本文介绍不同地域支持数据转发的目的云产品。背景信息 目前物联网平台的华东2（上海）、新加坡、日本（东京）...
GET_JSON_OBJECT
您可以通过 get_json_object，结合UDTF，轻松转换JSON格式日志数据，避免多次调用函数，详情请参见 利用MaxCompute内建函数及UDTF转换JSON格式日志数据。参数说明 json：必填。STRING类型。标准的JSON格式对象，格式为 {Key:Value,Key:...
透传/编辑脚本
如果设备无法直接和云端传输JSON格式的数据，则需要设备通过二进制格式将数据透传到云端，由云端运行解析脚本将透传的数据转换成标准ICA格式的JSON数据。前提条件 已创建产品，且产品的 数据格式 设置为 透传/自定义。否则在 产品-设备调试...
离线同步读取MongoDB数据
本实践使用阿里云云数据库MongoDB作为示例。以下为准备MongoDB数据集合的主要代码示例。创建一个名称为 di_mongodb_conf_test 的数据集合。db.createCollection('di_mongodb_conf_test')向数据集合中插入本实践的示例数据。db.di_mongodb_...
设备使用物模型通信
物模型消息解析：如果设备的消息格式不是 Alink JSON，必须使用消息解析将设备上报的 自定义格式 数据解析为 Alink JSON 格式，将物联网平台下发的Alink JSON格式数据解析为设备自定义格式的数据。服务端订阅 和 云产品流转：如果需要将...
API概览
本产品（数据库文件存储/2020-04-18）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求，...
空间管理
自治服务的空间管理功能提供分层的监控与分析，从实例深入到数据库，再从数据库深入到表，帮助用户发现和定位数据库空间相关问题。空间管理提供您查看实例基本信息、空间总览、空间数据图表信息、空间变化趋势等等，帮助您从各个维度了解...
空间管理
数据库自治服务DAS 为 RDS SQL Server 提供空间管理功能，可以分层监控与分析，从实例深入到数据库，再从数据库深入到表，帮助用户发现和定位数据库空间相关问题。空间管理提供您查看实例基本信息、空间总览、空间数据图表信息、空间变化...
导出和导入安全组规则
导出安全组规则 说明 ECS控制台支持将安全组规则导出为JSON文件或CSV文件，以便进行本地备份。单击，并选择保存的文件格式，下载并保存到本地。JSON格式 JSON文件命名规则示例为：ecs_${region_id}_${groupID}.json 假设 regionID 是 ...
存储格式与SerDe
DLA内置了处理各类数据文件的Serialize/Deserilize（简称SerDe，用于序列化和反序列化），您无需编写程序，直接选用一款或多款SerDe来匹配OSS上的数据文件格式。通过SerDe，DLA可以对OSS上的多种格式的文件进行查询分析，包括纯文本文件...
一般性问题
1.数据库文件存储DBFS是什么，适合什么场景？数据库文件存储DBFS是面向数据库场景优化的POSIX兼容的共享读写的文件存储系统。主要适用于：OLTP及OLAP数据库场景：例如，MySQL、PostgreSQL等。NoSQL数据库场景：例如，MongoDB、RocksDB等。2...
克隆快照
您可以基于已有的快照克隆出新的数据库文件系统。控制台上克隆快照 在数据库文件存储控制台左侧导航栏点击 快照 进入 数据库文件系统快照 页面。在顶部菜单栏左上角处，选择地域。选择需要克隆的快照，在右侧 操作 列中单击 克隆。设置文件...
删除文件系统
本文主要说明阿里云数据库文件存储服务删除功能。进入“数据库文件存储控制台”->“数据库文件系统列表”。单击“更多”按钮，单击“删除”，弹出“删除数据库文件系统”窗口。单击“我已知晓风险，确认删除”按钮后，提交删除申请。
在线扩容
本文主要说明阿里云数据库文件存储服务DBFS的在线扩容功能。进入“数据库文件存储控制台”-》“数据库文件系统列表”。单击“扩容”按钮，弹出“在线扩容数据库文件系统”窗口。填写“扩容后容量”，单击“开始扩容”按钮后提交扩容申请。
JSON与XML解析库
property_parse JSON 与 XML 解析函数，主要用来解析 JSON 格式。函数原型 property_parse(string property_value,int property_type)returns(uint result);请求参数 参数 必选 类型 说明 property_value 是 string JSON 格式数据 property...
备份集查询功能概览
通过 Hive 的方式直接对文件进行查询，但是这种方式对数据文件格式有严格的要求，且技术成本较高。数据库备份服务DBS提供了云上备份数据查询功能，您只需要简单的SQL语句，即可查询到您的备份数据，且备份数据不会被修改，该功能只针对查询...
挂载问题
1.挂载数据库文件存储（DBFS）的约束？数据库文件存储（DBFS）默认会在“/mnt/dbfs”目录下创建挂载点（例如，“/mnt/dbfs/xxxxxx”）。数据库文件存储（DBFS）要求挂载点为空，即“/mnt/dbfs/xxxxxx”目录为空，不能在挂载点下存在文件...
RDS SQL Server空间不足问题
说明 系统文件空间使用量 包括系统数据库master、msdb和model的所有数据文件和日志文件，以及一些系统文件（错误日志、默认跟踪文件、系统扩展事件文件等）。您可以在控制台的 自治服务>空间管理 页面，查看更详细的空间使用情况，包括数据...
准备工作
将数据文件（点文件和边文件）导入至图数据库GDB实例前，您需要先准备好需要导入的数据文件、获取导入过程中使用到的实例信息等，使导入操作更加流畅。前提条件 已创建图数据库GDB实例，创建方法请参见 创建实例。已创建Bucket，创建方法请...
快照概述
什么是数据库文件系统快照 数据库文件系统快照是某一时间点文件系统状态的备份文件，文件系统部署在云盘上，因此文件系统快照服务实际上基于云盘快照，对某个文件系统打快照相当于对该文件系统所部署的所有云盘同时打快照。文件系统第一份...
云数据库的导入与导出
导出格式 是否必须指定导出字段 默认导出内容 建议使用场景 JSON格式 不必须 默认导出全部内容，指定字段时仍会导出_id字段 备份数据 CSV格式 必须 仅导出指定字段 分析数据 控制台操作步骤：在 云数据库 管理页面，单击您的目标数据库。...
申请与创建
本文主要说明如何创建阿里云数据库文件存储服务DBFS。申请创建DBFS的步骤：进入“阿里云控制台”->“登录数据库文件系统控制台”。如果未开通服务，需要先点击“立即开通”开通数据库文件存储服务后，才能进入购买页面。单击“创建数据库...
新功能发布记录
2022-02-11 华东1（杭州）、华东2（上海）、华南1（深圳）、华北2（北京）数据库文件存储DBFS产品详情页 表 2.2020年06月 功能名称 功能概述 发布时间 支持地域 相关文档 数据库文件存储标准版公测发布 数据库文件存储（DBFS）是一款针对...
MySQL存储计算分离实践
本文主要说明如何基于阿里云数据库文件存储DBFS搭建MySQL数据库。背景信息 云上自建数据库通常会选用云盘和ext4文件系统作为MySQL数据库的文件存储。而基于DBFS构建，不但简化了用户基于块存储架构的复杂度，而且面向数据库场景，提供了...
服务协议
自2021年1月31日起，新版数据库文件存储（DBFS）服务条款生效。请参考《阿里云数据库文件存储服务协议》。
创建快照
数据库文件系统快照基于云盘快照，它是一种便捷高效的数据容灾手段，用于对文件系统的数据进行备份。前提条件 进行快照创建时，数据库文件系统必须处于 已挂载 或 待挂载 状态。说明 如果文件系统处于 待挂载 的状态，则需要保证文件系统有...
- 产品推荐
- 这些文档可能帮助您