数据类型

precision:表示最多可以表示多少位的数字。取值范围:1。scale:表示小数部分的位数。取值范围:0。如果不指定以上两个参数,则默认为 decimal(38,18)。说明 同一个表不能同时存在新老Decimal数据类型。执行 setproject odps.sql.hive....

将表格存储的增量数据转换为全量数据格式

注意事项 字段名称大小写敏感,请确保MaxComputer中的字段名称与 表格存储 的字段名称一致。步骤一:新建JAR资源 通过新建JAR资源,将下载的merge_udf.jar包上传到MaxCompute中。进入 数据开发 页面。以项目管理员身份登录 DataWorks控制...

计算与分析概述

分析工具 适用模型 操作 描述 MaxCompute 宽表模型 使用MaxCompute 通过MaxCompute客户端为 表格存储 的数据表创建外部表,即可访问 表格存储 的数据。Spark 宽表模型 使用Spark计算引擎 使用Spark计算引擎时,支持通过E-MapReduce SQL...

更新分析存储的数据生命周期

当需要清理分析存储中的历史数据或者希望延长数据保存时间时,您可以使用UpdateTimeseriesAnalyticalStore接口更新时序分析存储的数据生命周期TTL配置。更新分析存储的TTL后,表格存储会自动异步清理分析存储中超过TTL的数据。前提条件 已...

更新分析存储的数据生命周期

当需要清理分析存储中的历史数据或者希望延长数据保存时间时,您可以使用UpdateTimeseriesAnalyticalStore接口更新时序分析存储的数据生命周期TTL配置。更新分析存储的TTL后,表格存储会自动异步清理分析存储中超过TTL的数据。前提条件 已...

使用UDF处理数据

如果您在表格存储中的数据有着独特的结构,希望自定义开发逻辑来处理每一行数据,例如解析特定的JSON字符串,您可以使用用户自定义函数UDF(User Defined Function)来处理表格存储中的数据。操作步骤 在IntelliJ中安装MaxCompute-Java/...

表格存储中表、行、列、值和电子表格的类比

表格存储中的表存储着用户的结构化数据。用户可以在表中查询、插入、修改和删除数据。一个用户可以拥有多个表。数据在表中以行、列、值的形式来组织。上图展示了表格存储中表及其它概念与电子表格的类比:表:类似电子表格中底端的标签,...

TagMatch

TagMatch最基本的功能是在文档的某个ARRAY字段中存储一系列的key-value信息,然后在查询query通过 kvpairs子句 传递对应的key-value信息,tag_match就会去文档寻找查询query的key,然后为每个匹配的key计算得到一个分数,再合并所有...

数据备份概述

通过为实例中的表配置备份计划并执行,您可以备份 表格存储 的重要数据到 云备份 中,如果重要数据被误删除或者恶意篡改,您可以将备份数据快速恢复到 表格存储 。注意事项 当前支持使用数据备份功能的地域有华东1(杭州)、华东2...

数据操作篇

压缩较大的属性列文本 如果属性列是较大的文本,应用程序可以考虑将属性列压缩之后再以 Binary 类型存储到表格存储中。这样做节省了空间、减少了访问的服务能力单元消耗,从而可以降低使用表格存储的成本。将数据量超出限制的属性列存储到 ...

概述

使用场景 数据架构变化 随着业务的变化,如果现有业务对数据库并发读写需求、扩展性和可用性需求较高,或需要复杂的检索,原有MySQL数据库的数据架构已经不能满足现在的业务需求,您可以选择将MySQL数据库中的数据迁移到表格存储中。...

表格存储和HBase的区别

Admin HBase中的接口 org.apache.hadoop.hbase.client.Admin 主要是指管控类的API,而其中大部分API在表格存储中是不需要的。由于表格存储是云服务,运维、管控类的操作都会被自动执行,用户无需关注。其他一些少量接口,目前暂不支持。...

数据类型

了解Spark数据类型、Scala中的值类型、表格存储中多元索引数据类型和表格存储表中数据类型的对应关系。使用过程中请确保Spark、Scala和表格存储中字段或值的数据类型相匹配。基础数据类型 基础数据类型的支持情况请参见下表。Spark数据类型...

访问控制

表格存储 的NetWork ACL是基于资源的网络访问控制功能,可以为单个实例配置网络访问方式。表格存储 的Instance Policy是基于资源的授权策略,可以为单个实例配置访问权限。不同权限控制方式的适用对应以及能实现的授权场景说明请参见下...

环境准备

使用Hive/HadoopMR来访问表格存储中的表前,您需要完成JDK、Hadoop环境、Hive环境、表格存储Java SDK和阿里云EMR SDK的安装。使用Hive/HadoopMR来访问表格存储中的表 通过 表格存储 及 E-MapReduce 官方团队发布的依赖包,可以直接使用Hive...

词法结构

常量 在本数据库有三种 隐式类型常量:字符串、串和数字。常量也可以被指定显示类型,这可以使得它被更精确地展示以及更有效地处理。这些选择将会在后续小节讨论。字符串常量 在 SQL ,一个字符串常量是一个由单引号(')包围的...

权限控制概述

表格存储 的NetWork ACL是基于资源的网络访问控制功能,可以为单个实例配置网络访问方式。表格存储 的Instance Policy是基于资源的授权策略,可以为单个实例配置访问权限。授权说明 不同权限控制方式的适用对应以及能实现的授权场景...

概述

您可以将Kafka数据同步到表格存储中的数据表(宽表模型中的表类型)或者时序表(时序模型中的表类型)。具体操作,请分别参见 同步数据到数据表 和 同步数据到时序表。功能特性 Tablestore Sink Connector的主要功能特性如下:至少交付一次...

创建分析存储

如果希望分析存储中的数据永不过期,可以设置为-1。您可以通过UpdateTimeseriesAnalyticalStore接口修改。syncOption 分析存储同步选项。取值范围如下:SYNC_TYPE_FULL表示同步全部数据到分析存储。SYNC_TYPE_INCR表示同步增量数据到分析...

创建分析存储

如果希望分析存储中的数据永不过期,可以设置为-1。您可以通过UpdateTimeseriesAnalyticalStore接口修改。syncOption 分析存储同步选项。取值范围如下:SYNC_TYPE_FULL表示同步全部数据到分析存储。SYNC_TYPE_INCR表示同步增量数据到分析...

数据导出到OSS概述

表格存储 的全量数据以及增量数据可以通过DataWorks数据集成同步到 对象存储 备份和使用。实现原理 DataWorks数据集成的离线同步功能将不同数据源的同步抽象为从来源数据源读取数据的Reader插件以及向目标数据源写入数据的Writer插件,...

时序模型

更新分析存储的数据生命周期 当需要清理分析存储中的历史数据或者希望延长数据保存时间时,您可以使用 UpdateTimeseriesAnalyticalStore 接口更新时序分析存储的数据生命周期TTL配置。更新分析存储的TTL后,表格存储 会自动异步清理分析...

时序模型

更新分析存储的数据生命周期 当需要清理分析存储中的历史数据或者希望延长数据保存时间时,您可以使用 UpdateTimeseriesAnalyticalStore 接口更新时序分析存储的数据生命周期TTL配置。更新分析存储的TTL后,表格存储 会自动异步清理分析...

准备工作

说明 在表格存储中通过控制台或者SDK创建存储电商数据的原始订单表OrderSource,OrderSource表有两个主键UserId(用户ID)和OrderId(订单ID)和两个属性列price(价格)和timestamp(订单时间)。DataV数据可视化 登录DataV的用户名和密码...

时序函数

本文介绍了时序分析存储中使用SELECT语句查询数据时支持的时序函数。函数 函数输出类型 描述 time_bin(_time,interval)Datetime 配合group by对时间进行分桶。例如 group by time_bin(_time,"10s")表示对时间每十秒分为一个桶,结合聚合...

环境准备

使用Flink访问表格存储中的表前,您需要开通实时计算Flink服务并创建Flink全托管实例以及开通表格存储Tablestore服务并创建Tablestore实例。背景信息 阿里云实时计算Flink版是一套基于Apache Flink构建的⼀站式实时大数据分析平台,提供...

SQL概述

通过SQL查询功能,您可以对表格存储中的数据进行复杂的查询和高效的分析,为多数据引擎提供统一的访问接口。背景信息 表格存储(Tablestore)是阿里云自研的多模型结构化数据存储,提供海量结构化数据存储以及快速的查询和分析服务。表格...

数据集成服务

OTSWriter 用于向表格存储中写入数据。将表格存储数据迁移到OSS或者MaxCompute 表格存储数据支持迁移到OSS或者MaxCompute,请根据实际场景选择。云原生大数据计算服务(MaxCompute)是一种快速、完全托管的TB/PB级数据仓库解决方案。您可以...

通过控制台使用分析存储

操作 说明 更新分析存储的生命周期 当需要清理分析存储中的历史数据或者希望延长数据保存时间时,您可以更新分析存储的生命周期。在 实例管理 页面的 实例详情 页签,单击 时序表列表 页签。在 时序表列表 页签,单击时序表名。在 基本详情...

将表格存储数据下载到本地文件

表格存储支持通过命令行工具或者DataX工具直接...通过DataWorks控制台将表格存储中的全量数据或者增量数据同步到OSS。具体操作,请参见 全量导出(脚本模式)和 增量同步(脚本模式)。在OSS侧下载文件到本地。具体操作,请参见 简单下载。

方案背景

本文介绍了表格存储结合实时计算Flink实现大数据分析的样例场景、架构设计等。背景信息 云数据库RDS MySQL基于阿里...在Flink流计算作业中关联消费记录和商品信息数据并写入表格存储中。基于表格存储多元索引或者SQL查询功能进行数据分析。

资源预估选型

使用表格存储中的数据读写,索引的写入、查询、分析,通道服务等操作均会消耗VCU的计算资源。通过QPS近似评估VCU的建议请参见下表。由于计算资源的消耗涉及较多因素,请结合实际业务评估VCU。重要 读写行的大小,请求的Cache命中率、Filter...

迁移工具

OTSWriter 用于向表格存储中写入数据。通道服务 使用通道服务可以轻松构建高效和弹性的数据复制解决方案。数据传输服务DTS 数据传输服务DTS可以在两个数据源之间同步正在进行的数据变更。数据同步通常用于OLTP到OLAP的数据传输。数据同步...

通过SDK使用分析存储

} } 更新分析存储的生命周期 当需要清理分析存储中的历史数据时,您可以更新分析存储的数据生命周期TTL。更新分析存储的TTL后,表格存储会自动异步删除分析存储中超过TTL的数据。以下示例用于更新test_timeseries_table时序表下名为test_...

对象存储优化

一般情况下,对象存储中的数据无论大小都必须作为一个整体进行访问。OSS SelectObject允许您使用简单的SQL语句检索对象,这意味着您的应用程序无需使用计算资源来扫描和过滤对象中的数据。使用OSS SelectObject可以将查询性能提升4倍,并将...

SQL查询

通过SQL查询功能,您可以对表格存储中数据进行复杂的查询和高效的分析。SQL查询在车联网场景中作为不同类型数据的统一查询接口。说明 关于SQL查询的更多信息,请参见 SQL查询。概述 SQL查询兼容MySQL的查询语法,同时提供基础的SQL DDL建表...

监控与日志

关于如何在表格存储中启用日志服务,请参见 开通审计日志。审计日志可用于安全审计、合规性审计、故障排查等场景。​表格存储的日志数据存储的最大保存时长默认为7天,您可以根据实际需要自行修改。相关操作,请参见 修改Logstore配置。...

时序分析存储概述

写入时序表的数据会在分析存储中同时存储。更新分析存储数据生命周期 修改分析存储数据生命周期TTL,优化存储费用。SQL查询分析 分析存储支持通过SQL进行查询,SQL中支持通过使用不同条件进行聚合分析操作。核心优势 海量数据的实时分析 ...

方案背景

实时计算Flink通过与表格存储对接,进行数据的实时分析,然后将计算结果写回到表格存储中存储。实时计算Flink主要用于对设备元数据进行流计算作业或者对接Kafka等消息队列订阅消息。方案优势 数据自动分区和负载均衡。采用存储计算分离架构...

Kafka数据接入

自动识别字段类型:将JSON消息体中的String和Boolean字段分别转化为 表格存储 对应的String和Boolean字段。JSON消息体中的Integer和Float数据类型,将被转化为 表格存储 的Double类型。全部作为String写入 主键模式 指定主键模式。支持...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云存储网关 混合云存储 对象存储 文件存储 CPFS 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用