简介
日志服务提供外部存储功能，可用于日志服务与MySQL数据库、阿里云对象存储OSS、托管的CSV文件进行关联。本文介绍日志服务外部存储功能的应用场景、功能优势等信息。应用场景 在日志分析场景中，您可能经常遇到数据分散存储的问题，例如用户...
概述
在进行日志数据查询分析时，日志中的部分信息需要和外部存储（ExternalStore）的信息进行关联查询，从而进一步丰富日志服务中的日志数据。外部存储简介 外部存储和Logstore的区别 项目 外部存储（ExternalStore）Logstore 数据存储 日志...
关联OSS数据源
本文介绍如何创建外部存储，建立日志服务与OSS的关联。前提条件 已采集日志。更多信息，请参见 数据采集。已开启并配置索引。更多信息，请参见 创建索引。已创建OSS Bucket。更多信息，请参见 控制台创建存储空间。已上传CSV格式文件到OSS ...
ListExternalStore
调用ListExternalStore接口查询外部存储数据列表。支持查询指定Project下所有外部存储列表，也支持查询指定Project下具体外部存储信息。请求语法 GET/externalstores?externalStoreName=externalStoreName&offset=offset&sizes=sizes ...
外部数据
一个外部表可以在查询中像一个普通表一样地使用，但是在本地数据库服务器中外部表没有存储数据。不管使用什么外部数据包装器，本数据库会要求外部数据包装器从外部数据源获取数据，或者在更新命令的情况下传送数据到外部数据源。访问远程...
创建存储空间
在上传文件（Object）到OSS之前，您需要创建一个用于存储文件的存储空间（Bucket）。存储空间具有各种配置属性，包括访问权限、存储类型等。您可以根据实际需求，创建不同类型的存储空间来存储不同的数据。注意事项 创建存储空间本身不收取...
如何优化高并发IM系统架构
高并发的IM系统通常选择NoSQL数据库存储产品来存储消息，但常见的NoSQL产品没有提供自增列的功能，通常要借助外部组件来实现消息序号和ID的递增，使得整体的架构更加复杂，且影响整条链路的延时。功能需求 IM系统通常需要实现下列功能：...
UNLOAD
MaxCompute支持您将MaxCompute项目中的数据导出至外部存储（OSS、Hologres），以供其他计算引擎使用。本文为您介绍UNLOAD命令的使用方法及具体示例。本文中的命令您可以在如下工具平台执行：MaxCompute客户端 使用SQL分析连接 使用云命令行...
UNLOAD
MaxCompute支持您将MaxCompute项目中的数据导出至外部存储（OSS、Hologres），以供其他计算引擎使用。本文为您介绍UNLOAD命令的使用方法及具体示例。本文中的命令您可以在如下工具平台执行：MaxCompute客户端 使用SQL分析连接 使用云命令行...
Catalog概述
查询外部数据 如果需要查询存储在外部数据源中的数据，请参见 External Catalog。跨Catalog查询数据 如果需要在一个Catalog中查询其他Catalog中的数据，可以通过 catalog_name.db_name 或 catalog_name.db_name.table_name 的格式来引用...
Catalog概述
查询外部数据 如果需要查询存储在外部数据源中的数据，请参见 数据湖分析。跨Catalog查询数据 如果想在一个Catalog中查询其他Catalog中数据，可通过 catalog_name.db_name 或 catalog_name.db_name.table_name 的格式来引用目标数据。例如...
生命周期管理FAQ
当文件系统中包含每月访问频率或每季度访问频率低于2次的文件时，可以开启通用型NAS生命周期管理功能，符合生命周期管理策略的文件将自动转储至低频存储或归档存储，采用低频存储计费方式，从而降低存储成本。为什么我的文件系统不支持生命...
文件系统存储类型
存储类型 通用型NAS文件系统提供了为实现低成本存储而设计的不同存储类型，分别为标准存储、低频存储和归档存储。标准存储：提供高可靠、高可用、高性能的文件存储服务，适用于存储频繁访问的热数据。在创建文件系统后，文件系统数据首先...
迁移工具
将MySQL数据同步迁移到表格存储 将HBase数据同步到表格存储 将MaxCompute数据同步到表格存储 将表格存储数据同步到MaxCompute 将表格存储数据同步迁移到OSS 将表格存储数据表中数据同步到另一个数据表 将表格存储时序表中数据同步到另一个...
生命周期管理概述
阿里云文件存储NAS推出的生命周期管理功能，可以帮助您将低频访问的冷文件数据从标准存储转换到低频存储或归档存储中，并采用低频存储或归档存储计费方式，从而减少文件系统的存储费用。本文主要介绍生命周期的策略、使用限制、应用场景、...
查看低频/归档存储文件
您可以通过NAS控制台查看已转储至低频存储或归档存储中的文件、低频存储或归档存储使用量以及该文件最近一次被访问的时间等信息。查看低频/归档存储文件使用量 登录 NAS控制台。在左侧导航栏，选择 生命周期管理>低频/归档存储文件管理。在...
数据备份概述
通过为实例中的表配置备份计划并执行，您可以备份 表格存储 中的重要数据到 云备份 中，如果重要数据被误删除或者恶意篡改，您可以将备份数据快速恢复到 表格存储 中。注意事项 当前支持使用数据备份功能的地域有华东1（杭州）、华东2...
访问控制
为保证您资源的数据安全，您可以通过访问控制的RAM Policy、资源目录的Control Policy、表格存储实例的Network ACL、表格存储实例的Instance Policy功能对云资源的访问进行控制，只允许被授权的用户访问表格存储资源。表格存储 支持使用的...
数据类型
了解Spark数据类型、Scala中的值类型、表格存储中多元索引数据类型和表格存储表中数据类型的对应关系。使用过程中请确保Spark、Scala和表格存储中字段或值的数据类型相匹配。基础数据类型 基础数据类型的支持情况请参见下表。Spark数据类型...
数据操作篇
压缩较大的属性列文本 如果属性列是较大的文本，应用程序可以考虑将属性列压缩之后再以 Binary 类型存储到表格存储中。这样做节省了空间、减少了访问的服务能力单元消耗，从而可以降低使用表格存储的成本。将数据量超出限制的属性列存储到 ...
数据集成服务
且需要使用复杂的检索或大数据分析时，如果原有数据库的数据架构不能满足现在的业务需求或改造成本较大，则您可以通过DataWorks数据集成服务将现有数据库中的数据迁移到Tablestore表中存储和使用。您还可以通过DataWorks数据集成服务实现...
权限控制概述
表格存储 支持通过RAM Policy、Control Policy、Network ACL和Instance Policy实现对 表格存储 资源的权限控制。权限控制方式 表格存储 支持使用的权限控制方式包括RAM权限策略RAM Policy、管控策略Control Policy、Network ACL和实例策略...
数据导出到OSS概述
表格存储 中的全量数据以及增量数据可以通过DataWorks数据集成同步到 对象存储 中备份和使用。实现原理 DataWorks数据集成的离线同步功能将不同数据源的同步抽象为从来源数据源读取数据的Reader插件以及向目标数据源写入数据的Writer插件，...
计算与分析概述
分析工具 适用模型 操作 描述 MaxCompute 宽表模型 使用MaxCompute 通过MaxCompute客户端为 表格存储 的数据表创建外部表，即可访问 表格存储 中的数据。Spark 宽表模型 使用Spark计算引擎 使用Spark计算引擎时，支持通过E-MapReduce SQL...
ST_AKID
返回外部存储轨迹的AccessKeyId。语法 text ST_AKID(trajectory traj);参数 参数名称 描述 traj 轨迹对象。描述 如果存储在外部，返回存储此轨迹的AccessKeyId，否则返回null。从OSS外部存储读取轨迹时，需要提供AccessKey，每个AccessKey...
ST_AKID
返回外部存储轨迹的AccessKeyId。语法 text ST_AKID(trajectory traj);参数 参数名称 描述 traj 轨迹对象。描述 如果存储在外部，返回存储此轨迹的AccessKeyId，否则返回null。从OSS外部存储读取轨迹时，需要提供AccessKey，每个AccessKey...
ST_AKID
返回外部存储轨迹的AccessKeyId。语法 text ST_AKID(trajectory traj);参数 参数名称 描述 traj 轨迹对象。描述 如果存储在外部，返回存储此轨迹的AccessKeyId，否则返回null。从OSS外部存储读取轨迹时，需要提供AccessKey，每个AccessKey...
概述
您可以根据业务需求使用DataX、DTS或者canal工具将MySQL数据库中的数据同步迁移到表格存储（Tablestore）中。使用场景 数据架构变化 随着业务的变化，如果现有业务对数据库并发读写需求、扩展性和可用性需求较高，或需要复杂的检索，原有...
对象存储OSS
性能 如果您的云服务器ECS和对象存储OSS在同一个地域，那么通过云服务器ECS访问对象存储OSS中的数据理论上是最快的。OSS的设计也使其服务端延迟相对于网络延迟来讲可以忽略不计。此外，OSS对于存储量、请求数和用户数的扩展特性，使其可以...
更新分析存储的数据生命周期
当需要清理分析存储中的历史数据或者希望延长数据保存时间时，您可以使用UpdateTimeseriesAnalyticalStore接口更新时序分析存储的数据生命周期TTL配置。更新分析存储的TTL后，表格存储会自动异步清理分析存储中超过TTL的数据。前提条件 已...
更新分析存储的数据生命周期
当需要清理分析存储中的历史数据或者希望延长数据保存时间时，您可以使用UpdateTimeseriesAnalyticalStore接口更新时序分析存储的数据生命周期TTL配置。更新分析存储的TTL后，表格存储会自动异步清理分析存储中超过TTL的数据。前提条件 已...
表格存储中表、行、列、值和电子表格的类比
表格存储中的表存储着用户的结构化数据。用户可以在表中查询、插入、修改和删除数据。一个用户可以拥有多个表。数据在表中以行、列、值的形式来组织。上图展示了表格存储中表及其它概念与电子表格的类比：表：类似电子表格中底端的标签，...
使用UDF处理数据
如果您在表格存储中的数据有着独特的结构，希望自定义开发逻辑来处理每一行数据，例如解析特定的JSON字符串，您可以使用用户自定义函数UDF（User Defined Function）来处理表格存储中的数据。操作步骤 在IntelliJ中安装MaxCompute-Java/...
设置生命周期策略
费用说明 低频存储类型费用说明 低频存储容量费用：根据您转储至低频存储中的文件大小、时长收取一定的低频介质存储容量费用。低频存储读/写流量费用：根据您每小时访问低频存储内数据的读写流量累积值计费（不区分内网和公网）。归档存储...
敏感数据安全防护方案
本文介绍如何将阿里云对象存储OSS与阿里云 数据安全中心DSC（Data Security Center）结合，对敏感数据进行识别、分类、分级和保护。前提条件 已开通DSC 开通步骤请参见 快速实现数据分类分级。已开通OSS 开通步骤请参见 开通OSS服务。背景...
哪些是常用的资源包
存储包 根据文件的不同存储类型，OSS对存储在Bucket中的文件收取对应的存储容量费用，您可以购买不同的存储包用于抵扣对应的存储容量费用。关于OSS支持的存储包类型及抵扣说明，请参见 存储费用。下行流量包 当您通过公网访问或者下载...
实例
实例（Instance）是您使用和管理 表格存储 服务的实体，每个实例相当于一个数据库。表格存储 对应用程序的访问控制和资源计量都在实例级别完成。开通 表格存储 服务后，您需要通过 表格存储 管理控制台来创建实例，然后在实例内进行表的...
监控与日志
监控与日志可有效保障您表格存储资源的可用性、业务的正常运行和健康度。您可通过对应的监控能力，持续收集监控数据。阿里云提供了各种监控与日志审计相关的服务，例如云监控、操作审计等，帮助您实时监控云资源的使用情况和业务运行状况，...
Kafka数据接入
通过创建Tablestore Sink Connector，将 云消息队列 Kafka 版 实例的数据源Topic导出到 表格存储（Tablestore）。前提条件 云消息队列 Kafka 版 已为实例开启Connector。具体操作，请参见 开启Connector。已为实例创建数据源Topic。更多...
创建分析存储
当需要低成本存储时序数据以及快速查询和分析时序数据时，您可以使用CreateTimeseriesAnalyticalStore接口为已有时序表创建分析存储。前提条件 已通过控制台创建了开启分析存储的实例。具体操作，请参见 创建时序模型实例。已初始化...
- 产品推荐
- 这些文档可能帮助您