错误处理
格式定义 protobuf错误格式如下：message Error { required string code=1;optional string message=2;optional string tunnel_id=3;} 错误码 使用SDK时，只需要关心处理逻辑为“返回错误”的错误码，其余错误码会被SDK自动处理或重试，...
更改列存表的数据存储格式
从Hologres V0.10版本开始，Hologres创建的列存表数据存储格式升级为AliORC，该存储格式能够进一步压缩数据存储大小，降低存储成本。本文将会为您介绍在Hologres中如何更改列存表的数据存储格式。使用限制 在Hologres中更改列存表的数据...
存储格式与SerDe
STORED AS TEXTFILE 数据文件的存储格式为纯文本文件，默认文件类型。文件中的每一行对应表中的一条记录。STORED AS PARQUET 数据文件的存储格式为PARQUET。STORED AS ORC 数据文件的存储格式为ORC。STORED AS RCFILE 数据文件的存储格式为...
ProtoBuf数据解析示例
本文介绍通过数据解析任务解析并存储设备上报的ProtoBuf格式数据的完整流程。前提条件 已创建产品和设备，获取设备证书（ProductKey、DeviceName和DeviceSecret）。具体操作，请参见 创建产品 和 单个创建设备。已完成开发环境安装与配置。...
存储格式
AnalyticDB PostgreSQL支持多种存储格式。当您创建一个表时，可以选择表的存储格式为行存表或者列存表。行存表 默认情况下，AnalyticDB PostgreSQL创建的是行存表。行存表使用和 PostgreSQL 相同的堆存储模型（Heap Table），在 OLTP 类型...
数据模型
含义 描述 Content-Type Protobuf Protobuf对数据模型进行编码 application/x-protobuf Protobuf格式请参见 数据编码方式。说明 由于Protobuf对Key-Value对不要求唯一性，因此需要避免出现该情况，否则行为为未定义。对于同一个Message中的...
召回引擎版召回结果解析
} } } 注意事项 protobuf格式只适用于ha查询方式下使用，使用时需定义format:protobuf，如不需要protobuf格式，可使用普通json，定义format:json即可 client提供了Search和SearchBytes两种查询方式，Search方式返回body为String格式数据，...
向量检索版召回结果解析
} } } 注意事项 protobuf格式只适用于ha查询方式下使用，使用时需定义format:protobuf，如不需要protobuf格式，可使用普通json，定义format:json即可 client提供了Search和SearchBytes两种查询方式，Search方式返回body为String格式数据，...
protobuf格式结果解析
protobuf格式的返回结果需反序列化成PBResult才能使用。PBResult.proto定义如下：package isearch.common;option cc_enable_arenas=true;message PBAttrKVPair { optional string key=1;repeated int64 int64Value=2;repeated double ...
protobuf格式结果解析
protobuf格式的返回结果需反序列化成PBResult才能使用。PBResult.proto定义如下：package isearch.common;option cc_enable_arenas=true;message PBAttrKVPair { optional string key=1;repeated int64 int64Value=2;repeated double ...
概述
存储格式 数据来源及特点 数据量增大或减少 详细数据量 JSON 大量应用产生JSON类型的数据，冗余数据量大。增大151.7%3.02GB AVRO Hadoop生态格式的数据，数据由大部分遗留系统产生。增大8.3%1.3GB RCFile Hadoop生态格式的数据，数据由大...
录音存储统计
功能概述 查看当前账号中录音存储使用情况 查看各个实例中的录音存储使用情况 配置录音的存储格式 配置录音的存储模式，按时存储或者按量存储 模块介绍 计费逻辑 计费逻辑：每个自然月1日开始，记录每日最大存储量，每日超出50G的部分做...
消息格式描述
本文介绍物联网平台支持的MQTT 5.0新特性的消息格式描述。功能说明 MQTT 5.0增加了两个属性描述消息的格式：有效载荷标识（Payload Format Indicator）和内容类型（Content Type）...设备2：发送的消息内容为ProtoBuf格式，由二进制数据组成。
配置源节点
配置数据计算和数据过滤 配置值转化 配置数据聚合 配置超时插值 配置相邻消息计算 配置目标节点 附录：生成.desc文件 重要 若设备上传ProtoBuf格式的数据，在配置该格式的样例数据前，需先上传用于解析的.desc 文件。使用本功能前，您需...
Caffe服务请求构造
输入数据说明 PAI-EAS预置了Caffe Processor，为保证性能，其输入输出为ProtoBuf格式。调用案例 PAI-EAS在华东2（上海）的VPC环境中部署了一个Public的测试案例，其服务名称为 caffenet_serving_example，访问Token为空。您可以通过URL ...
PullData
响应元素为protobuf格式序列化后的数据（可能经过压缩）。示例 请求示例 GET/logstores/ali-test-logstore/shards/{shard}?type=log?cursor=MTQ0NzMyOTQwMTEwMjEzMDkwNA&count=1000&endCursor=MTU1NzA1NzQwMTEwMjEzMDkwCg ...
通过缓存优化性能
它不支持其他存储格式，如CSV、JSON和ORC。注意 Delta缓存适用于所有Parquet文件，并且不仅限于 Delta Lake格式的 文件。Delta和Apache Spark缓存 Databricks提供两种类型的缓存：增量缓存和Apache Spark缓存。这是每种类型的特征：存储的...
TensorFlow服务请求构造
输入数据 EAS 预置了TensorFlow Processor，为保证性能，其输入输出为ProtoBuf格式。调用案例 EAS 在华东2（上海）的VPC环境中部署了一个Public的测试案例，其服务名称为 mnist_saved_model_example，访问Token为空。您可以通过URL ...
通过SLS完成日志数据入湖OSS
如果未设置文件后缀，则日志服务会根据存储格式和压缩类型自动生成后缀，例如suffix。写OSS RAM角色 选择 默认角色，表示授权OSS投递作业使用阿里云系统角色AliyunLogDefaultRole将数据写入到OSS Bucket中。如果您还没有生成默认角色，需...
数据湖投递概述
表格存储 数据湖投递可以全量备份或实时投递数据到数据湖OSS中存储，以满足更低成本的历史数据存储，以及更大规模的离线和准实时数据分析需求。应用场景 利用数据湖投递可以实现如下场景需求：冷热数据分层 数据湖投递结合 表格存储 的 ...
编码解码函数
函数格式 protobuf_decoding(data,protocol,input_format="bytes",message_name=None)参数说明 参数名称 参数类型 是否必填 说明 data String 是 Protobuf序列化数据。protocol String 是 Protobuf模板数据。input_format String 否 数据...
大规模ACK Pro集群使用建议
在大规模集群中，将大量的版本信息存储在Secret中可能超出Kubernetes对Secret总大小的限制。请改为使用 Helm的SQL存储后端。API Server CLB的连接数和带宽 目前，ACK集群API Server使用的负载均衡类型为CLB，其连接数与带宽有最大容量限制...
创建投递任务
Format：投递的数据的存储以Parquet列存格式存储，数据湖投递默认使用PLAIN编码方式，PLAIN编码方式支持任意类型数据。EventTimeColumn：事件时间列，用于指定按某一列数据的时间进行分区。如果不设置此参数，则按数据写入表格存储的时间...
创建投递任务
format：投递的数据的存储以Parquet列存格式存储，数据湖投递默认使用PLAIN编码方式，PLAIN编码方式支持任意类型数据。eventTimeColumn：事件时间列，用于指定按某一列数据的时间进行分区。如果不设置此参数，则按数据写入表格存储的时间...
产品架构
投递的数据兼容开源生态标准，按照Parquet列存格式存储，兼容Hive命名规范。您可以使用E-MapReduce直接对投递到OSS的数据进行外表分析。计算生态对接 支持对接主流开源流批计算引擎，包括Flink、Spark、Presto等。与阿里大数据平台生态组件...
使用SDK
format：投递的数据的存储以Parquet列存格式存储。默认值为Parquet。数据湖投递默认使用PLAIN编码方式，PLAIN编码方式支持任意类型数据。目前仅支持Parquet，一般无需配置，保持默认即可。eventTimeColumn：事件时间列，用于指定按某一列...
通过控制台投递数据到OSS
通过表格存储控制台创建投递任务，将表格存储数据表中的数据投递到OSS Bucket中存储。前提条件 已开通OSS服务且在表格存储实例所在地域创建Bucket，详情请参见 开通OSS服务。说明 数据湖投递支持投递到和表格存储相同地域的任意OSS Bucket...
敏感数据安全防护方案
本文介绍如何将阿里云对象存储OSS与阿里云 数据安全中心DSC（Data Security Center）结合，对敏感数据进行识别、分类、分级和保护。前提条件 已开通DSC 开通步骤请参见 快速实现数据分类分级。已开通OSS 开通步骤请参见 开通OSS服务。背景...
查询结果格式
ProtoBuf格式的结果不可读，但是节省网络带宽，反序列化比较高效，常用于对性能要求比较高的场景。 查询结果格式指定 用户可以通过config子句中的format参数显式指定返回XML、JSON格式的结果，默认的返回的查询结果是XML格式的。例如，要...
查询结果格式
ProtoBuf格式的结果不可读，但是节省网络带宽，反序列化比较高效，常用于对性能要求比较高的场景。 查询结果格式指定 用户可以通过config子句中的format参数显式指定返回XML、JSON格式的结果，默认的返回的查询结果是XML格式的。例如，要...
添加云产品数据源
ProtoBuf：使用ProtoBuf格式。CSV：使用CSV文件格式。自定义：使用自定义脚本解析数据格式。行分隔符 可选：系统默认分隔符、逗号、竖线、空格、制表符、自定义。选择 系统默认分隔符 时，会自动匹配使用当前系统的分隔符。选择 自定义 时...
表格存储是否支持存储JSON数据？
当前表格存储未直接支持存储JSON格式的数据。但是您可以通过字符串方式存储JSON数据，然后通过多元索引中的数组和嵌套类型实现JSON数据的灵活查询。更多信息，请参见 数组和嵌套类型。
Pytorch
EAS 内置的Pytorch Processor支持将Pytorch标准的TorchScript格式的模型部署成在线服务。本文为您介绍如何部署及调用Pytorch模型服务。Pytorch Processor版本说明 Pytorch支持多个版本，包括GPU和CPU版本，各个版本对应的Processor名称如下...
Tensorflow
EAS 内置的Tensorflow Processor支持将Tensorflow标准的Savedmodel格式的模型部署成在线服务。本文为您介绍如何部署及调用Tensorflow模型服务。背景信息 对于Keras和Checkpoint模型，您需要先将其转换为Savedmodel模型，再进行部署，详情请...
8.0.1和8.0.2版功能对比
支持 支持 Readable Protobuf 针对存储在数据库中经过Protobuf序列化的Blob类型的字段，您可以在对应的字段上配置Protobuf schema，并通过可视化函数PROTO_TO_JSON(blob_field)来读取数据，也可以使用JSON_EXTRACT()函数来抽取数据中的部分...
将表格存储的增量数据转换为全量数据格式
通过DataWorks控制台，您可以在MaxCompute中使用merge_udf.jar包将 表格存储 的增量数据转换为全量数据格式。前提条件 已导出 表格存储 全量数据到MaxCompute，且已配置同步 表格存储 增量数据到MaxCompute。具体操作，请分别参见 全量导出...
概述
若集群中某些库表的数据几乎没有更新、插入和修改操作，且读取频率非常低，如果您有降本需求，可以使用 PolarDB MySQL版 提供的冷数据归档功能，将这部分数据转存至低成本的OSS上存储，以降低数据存储成本。本章节介绍了冷数据归档方法、...
Readable Protobuf
PolarDB MySQL版 支持Readable Protobuf功能，即针对存储在数据库中的经过Protobuf序列化的Blob类型的字段，您可以在对应的字段上配置Protobuf schema，并通过可视化函数 PROTO_TO_JSON(blob_field)来读取数据。同时，您也可以使用 JSON_...
安装表格存储Python SDK
安装 表格存储 Python SDK后，即可在编写代码时调用 表格存储 SDK的接口。本文介绍如何安装 表格存储 Python SDK。环境准备 安装 表格存储 Python SDK需使用Python 2或Python 3。具体下载路径请参见 https://www.python.org/downloads/ 。...
Control Center基本使用
目前支持JSON Schema、Avro和Protobuf三种格式的Schema，常用的是Avro格式和JSON Schema格式。由于Control Center只支持发送JSON Schema格式的message，请您测试前将Schema设置为JSON类型。设置Schema格式后，发送和消费数据时默认不开启...
- 产品推荐
- 这些文档可能帮助您