应用场景
物联网 对系统的运维监控以及对物联网（Internet of Things，简称IoT）场景中环境与人的监控均有助于进行事实理解与决策，因此需要支持众多设备与系统的高并发写入与数据存储以及决策分析。监控&IoT场景的核心需求如下：数据高并发写入：...
方案背景
因此车联网场景下车辆轨迹数据存储与分析的需求如下：数据存储：车辆轨迹数据会随着时间动态变化，要长期保存车辆轨迹信息，需要单表规模极大以及高性价比存储。数据写入：面向众多车辆，需要支持百万级节点实时写入。数据检索：根据多个...
时序模型计量计费
时间线数据包括产生数据的时间和对应的数据值，是时序模型中数据存储与读写操作的主要计费部分。其中数据存储支持选择高性能存储或者容量型存储，读写操作按照容量型进行计量计费。时间线元数据也称为时间序列元数据，表示一条时间线的标识...
应用场景
数据存储：长期保存车辆轨迹信息以及车辆状态信息，需要单表规模极大以及高性价比存储。实时地理围栏：实时数据的地理围栏报警，需要支持对接实时计算进行实时数据统计分析。海量车辆管理：海量车辆的诸多状态信息的数据管理与查询分析，...
ODS层设计规范
任务的输出名称，即输出表的名称，需要与数据存储及生命周期管理规范保持一致。详情请参见 数据存储及生命周期管理规范。数据存储及生命周期管理规范 数据表类型 存储方式 最长存储保留策略 ODS流水型全量表 按天分区 不可再生情况下，永久...
快速玩转Tablestore入门与实战
TableStore时序数据存储-架构篇 基于Tablestore实现海量运动轨迹数据存储 药品监管系统架构揭秘：海量溯源数据存储与查询 基于Tablestore实现海量摩托车的轨迹管理 超级快递——如何用系统来保证快递准时送达 科学大数据 多维的网格数据是...
功能介绍
系统会对备份周期内删除或新增的数据进行增量备份，大小不压缩，默认的备份周期为7天，备份与数据存储比为68%左右。具体信息，请参见 备份策略。如需修改备份数据保留时长，请 提交工单 联系技术支持进行修改。使用场景 备份恢复的功能适用...
存储类型
云原生多模数据库 Lindorm依赖于LindormDFS云原生存储系统，实现了数据存储与计算分离。存储容量独立计费，支持不停机在线扩容。Lindorm实例的存储容量在同实例内的多个引擎之间共享。存储类型说明 云原生多模数据库Lindorm支持的存储类型...
选型配置说明
提供HBase服务，同时可以基于OSS-HDFS（JindoFS服务）解耦计算集群与数据存储。支持JindoData本地缓存以进一步提高数据服务集群的读写性能。HBase、Zookeeper、JindoData E-MapReduce节点 E-MapReduce节点有主实例（Master）、核心实例...
应用场景
大数据场景：海量数据存储与分析 Lindorm支持海量数据的低成本存储、快速批量导入和实时访问，具备高效的增量及全量数据通道，可轻松与Spark、MaxCompute等大数据平台集成，完成数据的大规模离线分析。优势 低成本：高压缩比，数据冷热分离...
DBGateway常见问题
检查DBGateway所在服务器与数据库实例（MySQL、PostgreSQL、MongoDB和Redis等）间网络是否连通。请执行以下命令确认：telnet 数据库实例IP或域名 数据库实例服务端口号 例如：telnet 192.168.XX.XX 3306 如出现以下提示，表示网络连接正常...
物联网存储介绍
基于物联网场景中多源异构数据存储、高并发吞吐、海量数据高性价比存储、多维度数据处理与分析等需求，表格存储推出了一站式物联网存储IoTstore解决方案，为物联网设备元数据、消息数据、时序轨迹等海量数据提供存储、查询、检索、分析、...
通用数据开发
数据收集与存储：您需要同步不同业务系统的数据至MaxCompute中，方可通过MaxCompute的海量数据存储与处理能力分析已有的数据。DataWorks提供数据集成服务，可以支持多种数据源类型，根据预设的调度周期同步业务系统的数据至MaxCompute。...
平台安全诊断
平台安全诊断目前支持的安全域说明如下：数据计算与存储安全性诊断 用于对数据权限的控制、数据存储加密、数据存储备份等功能进行安全性诊断，及时识别潜在的安全隐患，提升在数据存储与访问过程中的安全性。数据传输安全性诊断 用于对数据...
开启智能存储分层
重要 存储保存时间配置存在相应限制，具体信息，请参见 数据存储生命周期管理。开启智能存储分层 登录 日志服务控制台。在Project列表区域，单击目标Project。在 日志存储>日志库 页签中，单击目标Logstore对应的 图标，然后单击 修改。在 ...
数据集成服务
数据导入的迁移方案包括同步MySQL数据到表格存储、同步Oracle数据到表格存储、同步Kafka数据到表格存储、同步HBase数据到表格存储、同步MaxCompute数据到表格存储、同步表格存储数据表中数据到另一个数据表和同步表格存储时序表中数据到另...
功能特性
湖仓版（3.0）产品定价 存储空间 集群使用过程中，存储数据会占用一定的空间，包括热数据存储空间和冷数据存储空间，并按照实际使用的空间按量计费，您无需预分配存储空间大小。湖仓版（3.0）产品定价 数仓版 基础资源 数仓版集群的基础...
基于Delta lake的一站式数据湖构建与分析实战
数据湖作为一个集中化的数据存储仓库，支持的数据类型具有多样性，包括结构化、半结构化以及非结构化的数据，数据来源上包含数据库数据、binglog 增量数据、日志数据以及已有数仓上的存量数据等。数据湖能够将这些不同来源、不同格式的数据...
目标数据库连接性检查
为保障数据迁移任务的顺利执行，在预检查阶段检查DTS服务器是否能够连通要迁移的目标数据库。本文将介绍目标数据库连接性检查...网络互通问题 经过上述排查后仍然无法通过目标数据库连接性检查，可能是DTS服务器与目标数据库网络互通问题。
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
参数 描述 示例 所属数据目录 数据存储的数据库目录。default 数据库名称 目标数据库的名称。dlf_db 数据库描述 目标数据库的描述信息。湖仓一体 选择路径 OSS数据路径。格式为 oss:/名称>/目录名称>。oss:/doc-test-01/datalake/单击 确定...
源库连接性检查
网络互通问题 经过上述排查后仍然无法通过源库连接性检查，可能是DTS服务器与源数据库网络互通问题。您可以 通过钉钉（钉钉通讯客户端下载地址）进入到DTS客户交流钉钉群（群号：68325004196或68640008972），进行咨询。
导入数据
如果clickhouse-client所在服务器与 云数据库ClickHouse 集群在同一VPC内，您可以使用VPC地址。否则，请使用外网地址。port TCP端口号，您可以在 集群信息 页面查看。user 您通过 云数据库ClickHouse 控制台创建的数据库账号。password ...
数据存储
时序数据存储 时序数据库对时序数据的写入、聚合以及检索都做了特定优化，AnalyticDB采集到的时序数据主要存在时序数据库中。目前每个AnalyticDB实例有一个独立的时序数据库进行服务，只保存当前AnalyticDB实例的时序数据。日志数据存储 ...
从Oracle迁移应用至阿里云PolarDB全流程指南
网络配置：配置应用服务器与PolarDB数据库服务器之间的网络连通性问题，包括：白名单、防火墙、VPC网络、VPN等。应用功能测试：修改数据库连接串、更换数据库驱动、结合ADAM SaaS应用评估的应用改造点进行应用内置SQL的改造，对产品的各个...
oracle_fdw
11.2 12.1、12.2 18.3、18.5 19.3、19.6、19.8、19.9、19.10、19.11、19.12、19.14 21 说明 使用前，请您自行查阅 Oracle官方文档 中Instant Client版本与数据库服务器版本之间的兼容矩阵，确保客户端与服务器之间可兼容交互。简介 oracle_...
应用身份识别
通过在您的数据库服务器或与数据库服务器相连的服务器中安装具备应用身份识别功能的插件，实现将URL、用户名和客户端IP以注释方式插入到对应的SQL语句中，数据库审计可以根据注释信息对用户信息和SQL语句进行关联分析。以下是使用应用身份...
连接方式概述
OceanBase Connector/C 也称为 LibOBClient，用于应用程序作为独立的服务器进程通过网络连接与数据库服务器 OBServer 节点进行通信。客户端程序在编译时会引用 C API 头文件，同时可以连接到 C API 库文件。说明 LibOBClient 生成的 so ...
冷热分离介绍
冷热分离功能支持将冷热数据存储在不同的介质上，冷存储的存储类型为容量型存储，热存储的存储类型为标准型云存储、性能型云存储、本地SSD盘或本地HDD盘。冷存储的价格仅为标准型存储的20%，大大降低了存储成本。原理简介 在功能实现上，...
ECS实例说明
大数据型 使用本地SATA盘作存储数据，存储性价比高，是大数据量（TB级别的数据量）场景下的推荐机型。说明 Hadoop、Data Science、Dataflow和Druid类型的集群支持Core节点；Zookeeper和Kafka类型的集群不支持Core节点。本地SSD型 使用本地...
SQL洞察和审计
建议您将SQL审计日志导出并保存至本地后，再减少SQL洞察和审计数据存储时长。登录 DAS控制台。在左侧导航栏中，单击 实例监控。找到目标实例，单击实例ID，进入目标实例详情页。在左侧导航栏，单击 请求分析>SQL洞察和审计。在 SQL洞察和...
常见问题
对于DAS企业版 V1数据总存储时长大于30天的数据库实例，提供异步迁移能力，迁移时长与数据量有关，大约0.2 TB/天，迁移完成后可使用DAS企业版 V3提供的SQL洞察和审计功能。说明 由于迁移存在并发限制，当迁移任务队列拥挤时，预计迁移完成...
功能概览
建议您将SQL审计日志导出并保存至本地后，再减少SQL洞察和审计数据存储时长。登录 DAS控制台。在左侧导航栏中，单击 实例监控。找到目标实例，单击实例ID，进入目标实例详情页。在左侧导航栏，单击 请求分析>SQL洞察和审计。在 SQL洞察和...
SQL洞察和审计
建议您将SQL审计日志导出并保存至本地后，再减少SQL洞察和审计数据存储时长。登录 DAS控制台。在左侧导航栏中，单击 实例监控。找到目标实例，单击实例ID，进入目标实例详情页。在左侧导航栏，单击 请求分析>SQL洞察和审计。在 SQL洞察和...
SQL洞察和审计
建议您将SQL审计日志导出并保存至本地后，再减少SQL洞察和审计数据存储时长。登录 DAS控制台。在左侧导航栏中，单击 实例监控。找到目标实例，单击实例ID，进入目标实例详情页。在左侧导航栏，单击 请求分析>SQL洞察和审计。在 SQL洞察和...
冷热分层存储
并不是所有OSS-HDFS中存储的数据都需要频繁访问，但基于数据合规或者存档等原因，部分数据仍然需要继续保存。针对以上问题，OSS-HDFS服务支持数据的冷热分层存储，对于经常需要访问的数据以标准类型进行存储，对于较少访问的数据以低频、...
简介
系统兼容开源GeoMesa、GeoServer等生态，内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等，结合云数据库HBase强大的分布式存储能力以及Spark分析平台能力，广泛应用于空间、时空、遥感大数据存储、查询、分析与数据挖掘...
Delta Lake概述
背景信息 通常的数据湖方案是选取大数据存储引擎构建数据湖（例如，阿里云对象存储OSS产品或云下HDFS），然后将产生的各种类型数据存储在该存储引擎中。在使用数据时，通过Spark或Presto对接数据分析引擎并进行数据解析。但该套方案存在...
源服务器迁移至轻量应用服务器
数据盘 数据盘<0>：表示迁移后阿里云轻量应用服务器数据盘的大小，单位为GiB。数据盘大小取值范围：20~32768。您可以设置 数据盘 前复选框的选中情况，自行选择是否迁移目标数据盘。轻量应用服务器最多只能挂载1块数据盘。数据盘取值需要...
源服务器迁移至轻量应用服务器
数据盘 数据盘<0>：表示迁移后阿里云轻量应用服务器数据盘的大小，单位为GiB。数据盘大小取值范围：20~32768。您可以设置 数据盘 前复选框的选中情况，自行选择是否迁移目标数据盘。轻量应用服务器最多只能挂载1块数据盘。数据盘取值需要...
概述
大部分阿里云用户以CSV格式将数据存储在OSS上，若要提高数据扫描性能，需要借助第三方工具对文件进行格式转换，然后将转换后的数据上传至OSS，整个过程比较繁琐。为减轻用户工作量，您可以直接使用DLA来转换文件格式。假设将1.2GB的数据以...
- 产品推荐
- 这些文档可能帮助您