设备数据存储和计算实践
如下所示存储规划：计算模式 实时计算 为了满⾜物联⽹实时计算场景，物联网平台提供了实时数据解析功能，基本功能如下：功能项 数据解析 数据源 支持解析设备数据源和API数据源。时效性 实时地抽取和转化数据，延迟在秒级。数据格式 支持...
系统架构
系统架构 系统组成 内网DNS解析（PrivateZone）是由管控层和解析层两部分组成：管控层：管控层通过控制台和OpenAPI对外提供服务，主要实现了域名解析数据、配置数据、日志数据等的增删改查功能和存储功能。管控层位于【中国内地-华北3...
云解析DNS
管控层位于【中国内地-华北3（张家口）】解析层：解析层通过部署在全球范围内的解析服务器集群对外提供服务，解析层接收来自于管控层分发的域名解析记录数据，主要实现了对域名解析记录数据的查询请求进行应答的功能。解析层在全球主要大洲...
什么是PrivateZone
解析层：解析层通过部署在全球Region范围内的解析服务器集群对外提供服务，解析层接收来自于管控层分发的域名解析记录数据，主要实现了对域名解析记录数据的查询请求进行应答的功能。解析层在阿里云公开售卖的所有地域和可用区均有覆盖。...
影响域名解析生效的原因
概述 影响域名解析不生效的主要原因：域名状态异常 域名过期 修改域名DNS服务器 修改过解析记录 原因一：域名状态异常 域名状态异常会直接影响域名解析生效。可以使用 whois工具 排查域名状态信息，如果域名状态如果显示为“serverHold”、...
数据解析概述
物联网平台的数据服务提供数据解析功能，通过数据解析对设备数据或导入的API数据源的数据进行解析和预处理后，将数据流转到业务服务器，或以表的形式存储于物联网平台。功能说明 您可在物联网平台控制台的 数据服务>数据解析 页面，创建和...
创建数据解析任务
后续步骤 创建数据解析任务后，在数据解析列表下，找到创建的数据解析，单击 查看，您可进入数据解析工作台，配置数据解析任务。具体操作，请参见 配置数据解析。配置解析任务前，请先了解数据解析工作台功能，更多信息，请参见 数据解析...
启动数据解析任务
数据解析任务配置完成后，您需启动任务。数据解析任务启动后，便可实时地处理数据，然后输出到目标Topic、IoT孪生引擎 或数据存储表，以进一步分析、处理和使用数据。本文介绍如何启动和查看数据解析任务。前提条件 已配置数据解析任务，...
水平基本柱状图（v4.0及以上版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
百分比条形图（v4.x版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
基本折线图（v4.0及以上版本）
基本折线图是折线图的一种，与双轴折线图相比，基本折线图的一个类目只对应一个值，主要通过多系列数据配置的方式，展示同一类目下不同数据的变化，能够以折线和区域相结合的方式，智能地展示多维的数据变化趋势。本文介绍基本折线图各配置...
阶段三：数据安全持续运营
在该阶段，DataWorks为您提供了数据违规下载实时阻断及审批、数据违规流转准实时告警等场景的最佳实践，帮助企业做好数据安全的持续运营。DataWorks可基于用户行为实时事件、实时审计日志进行分析，帮助您实时发现风险行为并及时响应。具体...
2023-07-31
数据解析控制台体验优化 数据服务的数据解析功能大幅优化控制台体验，并新增数据解析日志查询和细化错误提示，提升数据解析任务配置效率。数据解析脚本支持Python和PHP 数据服务的数据解析功能在配置自定义节点的解析脚本时，新增支持...
数据解析工作台说明
本文介绍数据解析工作台的导航栏、画布、操作栏功能。背景信息 您可以使用数据解析工作台，配置数据解析任务分析处理接入数据服务的数据源。更多信息，请参见 使用说明。进入数据解析工作台 在 物联网平台控制台 的 实例概览 页面，单击...
数据处理
数据导入后，GDB Automl提供数据解析器对数据进行解析，可以自动配置解析数据源，解析器（支持CSV、ARFF、XLS、XLSX、ORC等多种数据格式的解析）。在 数据解析器 页面，选择导入数据对应的 解析器、分离、列标题 和 选项。单击 解析 以生成...
配置目标节点
完成数据解析的处理配置后，您可根据处理节点的输出字段，完成Topic解析任务最终的输出配置。本文介绍配置目标节点的具体操作。前提条件 已配置源节点，具体操作，请参见 配置源节点。背景信息 数据解析功能说明，请参见 使用说明。数据...
概述
数据源为数据服务中数据解析后的数据：数据解析任务可以对设备原始数据进行一些更复杂的加工计算，具体操作，请参见 数据解析。如需加工计算设备原始数据，可以先将设备数据转入到数据分析任务中进行更复杂的处理，并将数据解析的目标节点...
什么是消息解析
数据解析流程图：设备上报透传格式的属性或事件（上行数据）全流程图：调用设备服务或设置属性（下行数据）全流程图：物模型数据解析脚本编写示例，请参见：提交物模型消息解析脚本 JavaScript脚本示例 Python脚本示例 PHP脚本示例 若您的...
配置数据计算和数据过滤
完成数据解析的源节点配置后，您可根据源节点的数据，配置字段和表达式，添加数据过滤的筛选器。通过解析生成多样化的数据，可用于后续分析或输出。前提条件 已配置源节点，具体操作，请参见 配置源节点。背景信息 数据解析功能说明，请...
解析方式总结
本视频向您展示数据加工非结构化数据解析方式的总结。
配置源节点
创建数据解析任务后，您可在数据解析工作台，配置数据解析任务的源节点，以作为后续数据解析的数据源。本文介绍配置源节点的操作步骤。前提条件 已创建数据解析任务，具体操作，请参见 创建数据解析任务。背景信息 数据解析功能说明，请...
添加数据映射
数据解析的 目标节点 为当前IoT孪生空间时，才可将数据解析的输出数据设置为数据源。具体内容，请参见 配置目标节点。API：选择API数据源的产品和设备，通过调用 ImportDTData 接口触发数据映射的脚本和输出文件执行。数据表：选择当前实例...
脚本和输出语法
数据服务中数据解析的数据源：物联网平台是基于数据解析后的JSON数据格式来处理和传递数据的。数据格式示例为：{"payload":{"key1":"value1","key2":"value2"},"ts":1623516625000 } payload：固定系统字段，其下字段（例如：key1、key2）...
计算引擎版本说明
1.3.0 新特性 新增数据类型转化函数，支持将HBase编码的BINARY类型的数据解析为真实数据类型（例如INT、LONG等）。详细介绍，请参见 访问增强版HBase数据。功能优化 宽表引擎（数据源）支持访问已完成HBase类型映射的表。详细介绍，请参见 ...
数据格式描述文件
是 parser parser部分决定了您的数据如何被正确地解析，metricsSpec定义了数据如何被聚集计算，granularitySpec定义了数据分片的粒度、查询的粒度。对于parser，type有两个选项：string和hadoopString，后者用于Hadoop索引的 job。...
提交消息解析脚本
本文介绍如何在物联网平台控制台提交消息解析脚本实现自定义格式数据解析。使用与限制 仅通过MQTT协议接入的设备支持自定义Topic消息解析。仅解析设备上报物联网平台云端的消息数据，不解析云端下行数据。解析上报消息的Payload，并返回...
产品功能
数据解析 GDB Automl将导入和上传的数据进行自动解析，您可以自动配置解析数据源和解析器（支持CSV、ARFF、XLS、ORC等多种数据格式的解析），解析后可查看数据的样本量，并查看样本特征摘要，解析特征分布情况。数据切分 支持按照自定义...
JSON与XML解析库
请求参数 参数 必选 类型 说明 property_value 是 string JSON 格式数据 property_type 是 int 解析类型，0 表示 JSON，1 表示 XML 返回值 参数 必选 类型 说明 result 是 uint 处理 JSON 数据解析的标识符 property_destroy 删除 JSON 与 ...
解析记录备份
概述 解析记录备份 可帮助用户实现DNS解析记录的定时备份、并支持平滑一键恢复到至指定备份版本，可以有效防止因解析记录丢失而造成的业务影响。产品限制 解析记录备份是云解析DNS付费版功能，版本限制如下 版本 解析记录备份功能 定时备份...
手工触发同步
概述 手动触发同步：可以实现辅助DNS主动连接主DNS进行解析数据更新。注意：辅助DNS中的解析记录更新，一般是由主DNS发送NOTIFY来触发解析数据同步，或者是根据主DNS设置的刷新时间来触发解析数据同步（指时间到期则触发）。操作步骤 登录 ...
手动触发同步
概述 手动触发同步：可以实现辅助DNS主动连接主DNS进行解析数据更新。注意：辅助DNS中的解析记录更新，一般是由主DNS发送NOTIFY来触发解析数据同步，或者是根据主DNS设置的刷新时间来触发解析数据同步（指时间到期则触发）。操作步骤 登录 ...
项目空间操作
odps.ext.parquet.native 设置项目空间作业在读外部表解析PARQUET数据文件时，是否将原有基于Java的开源社区实现升级为基于C++的Native实现，新的实现能数倍提升开源数据解析性能。升级为新的实现后，当PARQUET小文件很多且数据列数很多时...
手动触发同步
说明 辅助DNS中的解析记录更新，一般是由主DNS发送NOTIFY来触发解析数据同步，或者是根据主DNS设置的刷新时间来触发解析数据同步（指时间到期则触发）。设置方法 登录 云解析DNS产品控制台。单击左侧导航栏的 辅助DNS 按钮进入辅助DNS页面...
Kafka集群的数据存储格式
您需要根据DTS Avro的schema定义进行数据解析，schema定义详情请参见迁移或同步至Kafka集群中的数据均 DTS Avro的schema定义。说明 DTS Avro格式中的DDL语句为String类型。Shareplex Json 表 1.参数说明 参数 说明 time 数据库中事务的提交...
Kafka集群的数据存储格式
您需要根据DTS Avro的schema定义进行数据解析，schema定义详情请参见迁移或同步至Kafka集群中的数据均 DTS Avro的schema定义。说明 DTS Avro格式中的DDL语句为String类型。Shareplex Json 表 1.参数说明 参数 说明 time 数据库中事务的提交...
域名被暂停解析了，如何恢复解析？
为什么会被暂停解析？答：域名被暂停解析是指域名被注册商或注册局进行了锁定,这是域名注册商/注册局对域名实施禁用的一种手段。常见的被锁定原因是：未完成邮箱验证被锁定、未完成域名实名制认证被锁定、违规滥用被注册局锁定、发生纠纷或...
JSON_TUPLE
支持包含中文的JSON数据解析。支持多层嵌套的JSON数据解析。支持包含多重嵌套的数组的JSON数据解析。解析行为和设置了 set odps.sql.udf.getjsonobj.new=true;后的GET_JSON_OBJECT的行为保持一致。在需要对同一个JSON字符串多次解析的情况...
解析请求来源分析
概述 当您将域名迁移至阿里云解析DNS时，您可以通过解析请求来源分析功能来观察大致哪些地域的解析请求已经在逐步接入阿里云解析公网权威DNS，对于一些没有流量的地域运营商，可能是当地运营商DNS的缓存依然未失效，导致当地网络解析请求...
域名转入阿里云如何避免影响DNS解析
场景一：已经在阿里云解析DNS添加了解析记录 解析记录在域名转入目标账号下，云解析DNS控制台添加的解析记录会保留，解析无影响。解析记录不在域名转入目标账号下，在域名转入的过程中，云解析DNS产品会清除您（或其他人）之前在云解析DNS...
产品到期规则说明
DNS实例释放后第7天 DNS付费版集群上的解析数据会删除，在云解析控制台检查DNS服务器状态，如果您的DNS已指向云解析DNS免费版不影响解析使用。如果您的DNS仍指向付费版DNS服务器，那么 将 会出现解析失败。① 重新购买云解析DNS。② 将域名...
- 产品推荐
- 这些文档可能帮助您