JSON支持
JSON format的使用只是提供了一种使用JSON方式的方法。Lindorm CQL支持将多个列的数据按照JSON的格式进行输入和输出。SELECT JSON 对于SELECT语句，可以使用JSON关键字将每一行作为单个JSON编码的映射返回。SELECT语句行为的其余部分是相同...
选择网络
本文介绍使用Logtail采集日志时，如何选择网络。网络类型 阿里云内网：阿里云内网为千兆共享网络，日志数据通过阿里云内网传输比公网传输更快速、...服务器在国外，建议使用全球加速采集服务器日志，相比公网传输的网络稳定性更高、性能更好。
数据同步链路规格说明
使用DTS可实现数据秒级同步到目标实例，但受限于源实例的运行负载、传输网络的带宽、网络延时、目标实例写入性能等多种因素的影响，DTS同步任务会出现延迟增大的情况，无法绝对保证秒级延迟。名词解释 规格：数据传输服务为用户提供了不同...
Serverless链路规格说明
注意事项 使用DTS可实现数据秒级同步到目标实例，但受限于源实例的运行负载、传输网络的带宽、网络延时、目标实例写入性能等多种因素的影响，DTS同步任务会出现延迟增大的情况，无法绝对保证秒级延迟。名词解释 名词 说明 DU（DTS Unit）...
专属集群任务规格说明
受限于源实例的运行负载、传输网络的带宽、网络延时、目标实例写入性能等多种因素的影响，DTS专属集群任务可能会出现延迟增大的情况。名词解释 集群：多台（2~100）同等规格的主机组成的一个DTS专属集群。DU（DTS Unit）：DTS专属集群的...
字符串函数
FROM_JSON 根据给定的JSON字符串和输出格式信息，返回ARRAY、MAP或STRUCT类型。GET_JSON_OBJECT 在一个标准JSON字符串中，按照指定方式抽取指定的字符串。INITCAP 将字符串转换为固定格式的字符串，单词之间以空格分隔。转换后的格式为：...
DoH JSON API
{"code":"UrlParameterError"} 错误码列表 错误码 HTTP状态码 描述 UrlParameterError 400 请求参数格式错误 NoPermission 401 用户鉴权失败 UrlPathError 404 URL错误 NoResponse 500 请求超时无应答 说明 使用DoH JSON API的方式来接入...
Anycast EIP和EIP对比
用户流量通过公共运营商网络传输到您部署服务的地域来进入阿里云。出站流量 出站流量通过阿里云内部传输网络从距离用户最近的接入点发送。出站流量通过公共运营商网络到达您服务的用户。Anycast EIP配置步骤 Anycast EIP和EIP使用方式类似...
22.8版本新特性概览
支持JSON类型和动态子列 老版本的JSON格式数据读写方式 在22.8之前的版本中，ClickHouse支持以String类型来存储JSON对象，因为JSON对象是文本格式，需要通过特殊的String解析函数来解析复杂的JSON结构，从而获得JSON对象内部字段信息。...
JSON文件
在Spark中，我们提及的JSON文件是换行符分隔的JSON，每行必须包含一个单独的，独立有效的JSON对象。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建集群，具体请参见 创建集群。已使用OSS管理控制台创建 非系统目录存储空间，...
使用Kafka协议上传日志
示例八：Vector配置Kafka协议上传 Vector 是一款轻量级、高性能的日志处理软件，它支持Kafka协议的方式上报日志。下面是Vector通过Kafka兼容模式写入SLS的配置方法。配置示例[sinks.aliyun_sls]type="kafka"inputs=["file_logs"]#定义...
GET_JSON_OBJECT
入参为STRING类型：原有的JSON PATH解析方式。入参类型不同时函数的使用方式和注意事项不同，本文为您展示入参分别为JSON和STRING类型时，GET_JSON_OBJECT函数的使用方法。说明 新JSON类型所使用的JSON PATH与原有的JSON PATH规范不同，...
评估迁移时间与测试传输速度
方式二：如果源服务器能够访问某一阿里云地域下的专有网络VPC，建议您在 迁移任务 中，使用 内网传输 的方式进行迁移。使用内网传输能获得比通过公网更快速更稳定的数据传输效果，提高迁移工作效率。您可以通过VPN网关、高速通道物理专线、...
JSON数据列展开
JSON数据的展开方式灵活多变，本文通过详细的SQL示例，介绍如何展开JSON数据列。基本思路 使用 JSON函数，对JSON字符串进行解析和数据提取；提取、转换为ARRAY或者MAP的数据结构，也可以使用Lambda函数式表达式进行转换处理；使用UNNEST...
JSON格式导入
说明 暂不支持其他方式的JSON格式数据导入。本文部分内容来源于Apache Doris，详情请参见 JSON格式数据导入。支持的JSON格式 当前仅支持以下两种JSON格式：以Array表示的多行数据 以Array为根节点的JSON格式。Array中的每个元素表示要导入...
公众号管理
SerializerFeature.MapSortField)，获取 serviceSecret sign=MD5(排序完生成的JSON字符+serviceSecret)将计算得到的sign放到原始的map对象中，再序列化成JSON字符即为最终完整的JSON请求报文 3.4 响应说明 响应数据content-type：...
使用Kafka（离线与实时）
account_type 是 访问目标MaxCompute服务的方式，支持 STS、ALIYUN 两种方式，默认 ALIYUN。不同方式访问MaxCompute需要配置不同的访问凭证参数，详情请参见 通过ALIYUN方式访问MaxCompute 和 通过STS方式访问MaxComput。通过ALIYUN方式...
修改全球加速实例的传输网络质量类型
调用UpdateAcceleratorCrossBorderMode接口修改全球加速实例的传输网络质量类型。接口说明 本接口用于修改带宽计费方式为 按流量的 标准型全球加速实例的传输网络质量类型。修改传输网络质量类型前，请确保您已完成以下操作：您已开通云...
准备工作概览
背景信息 DTS支持将自建的数据库作为数据传输的源库或目标库，在不同的场景下，您需要执行相应的 准备工作，然后在配置任务时选择对应的实例类型。例如待迁移的本地数据库具备公网地址（即数据库服务开放至公网），执行完对应的准备工作后...
复杂类型函数
JSON函数 FROM_JSON 根据给定的JSON字符串和输出格式信息，返回ARRAY、MAP或STRUCT类型。GET_JSON_OBJECT 在一个标准JSON字符串中，按照指定方式抽取指定的字符串。JSON_TUPLE 在一个标准的JSON字符串中，按照输入的一组键抽取各个键指定的...
管理通话应用
服务端使用 POST(application/json)方式回调，回调请求的字段含义如下所示。字段 字段类型 是否必传 说明 bizRequestId String 是 请求 ID。bizName String 是 业务标识。appId String 是 mPaaS 应用的 ID。workspaceId String 是 工作空间...
JSON函数
本文介绍了 PolarDB-X 支持的JSON函数。概览 PolarDB-X 目前支持mysql 5.7的所有 json函数，可分为以下五大类：类别 函数名 JSON创建 JSON_ARRAY JSON_OBJECT JSON_QUOTE JSON搜索 JSON_CONTAINS JSON_CONTAINS_PATH JSON_EXTRACT->->>...
使用摘要签名认证方式调用API
防止请求数据在网络传输过程中被篡改。API的拥有者可以在API网关控制台的应用管理页面生成APP，每个APP会携带一对签名密钥（APP Key和APP Secret）,API拥有者将API授权给指定的APP（APP可以是API拥有者颁发或者API调用者所有）后，API调用...
Go SDK
因为网络传输中，数据都是以字符串的形式发送，需要schema来转换成对应的类型。schema就是一个Field对象的slice，Field包含三个参数，第一个参数是field的名称，第二个是field的类型，第三个参数是bool值，True表示field的值允许为空，...
管理HBase全文索引
管理Schema 修改映射Schema 用户可以将上一节介绍的JSON格式的schema存储在一个文件中，如schema.json，然后在HBase Shell中直接调用 alter_external_index 命令完成对HBase映射Schema的修改。schema.json 文件需要放在启动HBase Shell的...
Logtail发布历史
修复原生插件丢弃超时日志时区处理错误的问题 修复解析任意含有content key的JSON后，原生JSON插件总是错误保留原始content字段的问题 修复原生分隔符插件的内存泄露问题 修复因检查点转储早于目录注册导致的日志重复问题 修复飞天日志无法...
新功能发布记录
与传统的Tunnel方式相比，Storage API方式可以提高数据访问和处理的效率。通过外表导入至数仓版 通过外表导入至湖仓版 支持DMS异步调度ETL任务 支持使用DMS的任务编排功能异步调度ETL任务。无 修改 工作负载管理规则 支持使用WLM命令修改已...
基于GitHub公开事件数据集的离线实时一体化实践
MaxCompute是适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，可以直接通过外表的方式读取并解析OSS中的半结构化数据，将高价值可用数据集成至MaxCompute内部存储，然后结合DataWorks进行数据开发，生成离线数据...
基于GitHub公开事件数据集的离线实时一体化实践
MaxCompute是适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，可以直接通过外表的方式读取并解析OSS中的半结构化数据，将高价值可用数据集成至MaxCompute内部存储，然后结合DataWorks进行数据开发，生成离线数据...
公共HTTP头定义
公共请求头 对于访问授权，BatchCompute 采用阿里云通用的签名方式，即请求头部包含特定以”x-acs”开头的字段，通过计算签名和比较签名进行用户验证。其中头部必须包含的字段如下：标准头 Header名称 类型 说明 Authorization 字符串 签名...
购买同步实例
networkType String 否 Intranet 数据传输网络类型，固定取值为 Intranet（专线）。AccountId String 否 12323344*阿里云主账号ID，无需设置，该参数即将下线。DBInstanceCount Integer 否 3 当 SourceEndpoint.InstanceType传入 DRDS时，...
配网方案介绍
生活物联网平台为智能设备入网提供了多种配网技术方案，使设备可以通过不同的配网方式连上网络。配网概述 针对不同的设备类型和选择的芯片，平台提供的配网方案有所不同，详细请参考下表：设备类型 芯片/模组 配网方案 配网技术 说明 补充...
签名机制
clientInfo="+"ClientInfo的JSON字符串"方式拼接URI和 clientInfo 参数。说明 此处不需要URL编码。构建完整的待签名字符串。按照以下方式，构建完整的待签名字符串："POST application/json"+"HTTP头Content-MD5的值"+""+"application/json...
基于JWT的token认证
声明类型，这里是JWT 声明加密的算法 完整的头部就像下面这样的JSON：{ 'typ':'JWT','alg':'HS256' } 然后将头部进行Base64编码（该编码是可以对称解码的），构成了第一部分。eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9 Payload 载荷就是存放...
【产品变更】原RDS触发器下线通知
函数计算原RDS触发器将于2023年01月31日下线，建议您使用函数计算提供的最新RDS触发链路，即 云数据库RDS>数据传输服务DTS>事件总线EventBridge>函数计算。本文介绍RDS触发器的最新链路配置步骤以及Event参数的差异性。前提条件 已准备配置...
插件配置概述
阿里云Logstash支持100余款系统默认插件，包含开源和自研Logstash插件，能够提升集群在数据传输和处理、日志调试等各方面的能力。本文介绍阿里云Logstash支持的系统默认插件。阿里云Logstash仅支持系统默认插件，不支持自定义插件。系统...
2020年
本章节介绍了2020年数据传输服务DTS（Data Transmission Service）产品功能和对应的文档动态。更多新功能介绍 详情请参见 数据传输服务产品动态。2020年 发布时间 发布内容 相关文档 2020年12月 支持MaxCompute结构、全量数据迁移至MySQL...
应用场景
数据异地灾备 传输方式：数据同步 如果您的应用程序部署在单个地域中，可能会因为断电、网络中断等不可抗因素而导致服务中断。针对这种情况，您可以在另一个地域构建灾备中心，以提高服务可用性。DTS会在业务中心和灾备中心之间持续同步...
传输信道
传输信道入口 在DataTrust首页，单击顶部菜单栏 管理配置。按照下图指引，进入 传输信道 配置页面。默认进入 指令请求通道 页面。指令请求通道 DataTrust支持本地直连、中心调度两种方式，用于对两个隐私计算节点之间的指令交互；网络代理...
JSON
jsonpath：通过点号（.）进行分割的JSON属性键 key 的路径，其中$表示最外层的路径。更多JSON函数用法请参见 JSON函数。示例 基本查询 SELECT json_extract(vj,'$.name')FROM json_test WHERE id=1;等值查询 SELECT id,vj FROM json_test ...
- 产品推荐
- 这些文档可能帮助您