存储过程
存储过程与函数的区别 AnalyticDB PostgreSQL 6.0版 的函数（Function）可以实现大部分的存储过程功能，通常建议您使用函数来实现存储过程业务，但是存储过程仍然是许多 AnalyticDB PostgreSQL版 用户、及PostgreSQL从业者们期待已久的功能...
管理存储过程
概述 在 OceanBase 开发者中心（OceanBase Developer Center，ODC）首页单击连接名进入连接后，在左导航栏中单击 存储过程 标签可查看存储过程列表，在存储过程列表中显示当前连接的数据库中存在的存储过程对象。在存储过程列表中，可查看...
创建存储过程
存储过程是作为单个 SPL 程序语句调用的独立 SPL 程序。调用时，存储过程可选择以输入参数的形式从调用方接收值，并可选择以输出参数的形式向调用方返回值。CREATE PROCEDURE 命令可定义并命名一个将存储在数据库中的独立存储过程。如果...
新功能发布记录
本文介绍 混合云存储 每次发布涉及的功能变更及对应的文档，帮助您了解 混合云存储 的发布动态。2019年3月 功能名称 功能描述 ...支持存储异构虚拟化，实现存储旧资源利用；支持跨数据中心双活容灾方案。2019-03-21 全部地域 SA混合云存储阵列
应用场景
云上自建数据库 DBFS为数据库场景量身打造的特性，非常适合云上用户自建数据库（例如：MySQL，PostgreSQL等），实现存储计算分离：对比项 DBFS 本地盘 极致性能 帮助用户实现数据库存储计算分离，为数据库可在云端存储可获得的最佳性能收益...
安全合规概述
访问控制 表格存储提供了NetworkACL、Instance Policy等功能来实现存储资源访问的控制和管理。数据安全 表格存储提供了如下特性来保证数据安全。提供服务器端加密和客户端加密，可有效防止数据在云端的潜在安全风险。支持同城冗余功能，可...
概述
访问控制 OSS提供读写权限ACL、授权策略、防盗链白名单等功能，实现存储资源访问的控制和管理。数据加密 OSS提供服务器端加密和客户端加密，并支持基于SSL/TLS的HTTPS加密传输，有效防止数据在云端的潜在安全风险。监控审计 OSS提供访问...
Catalog概述
当FE将生成的查询计划分发给各个BE后，各个BE会并行扫描Hive存储系统中的目标数据，并执行计算返回查询结果。查询数据 查询内部数据 如果需要查询存储在StarRocks中的数据，请参见 Default Catalog。查询外部数据 如果需要查询存储在外部...
Catalog概述
当FE将生成的查询计划分发给各个BE后，各个BE会并行扫描Hive存储系统中的目标数据，并执行计算返回查询结果。查询数据 查询内部数据 如果需要查询存储在StarRocks中的数据，请参见 内表数据源。查询外部数据 如果需要查询存储在外部数据源...
什么是数据库存储DBFS
存储计算分离：自建数据库实现存储计算分离，获得优于单纯基于云盘架构的性能、易用性、容量弹性及成本节省等。MySQL数据库：关闭Double Writer Buffer。在线扩容 支持业务友好的在线扩充存储容量。用户不需要单独购买，默认支持。存储容量...
开通并配置OSS存储分析
EMR Doctor支持分析OSS上的数据，开通OSS存储分析功能可以帮助您进一步了解OSS存储资源的使用情况和健康状态，让您更好地治理存储在OSS上的数据。背景信息 OSS提供了存储清单功能，配置该功能后会定期为Bucket生成清单文件，清单文件中保存...
数据湖生态接入
HDFS服务 HBase 将HBase快照保存在OSS HBase使用OSS-HDFS服务作为底层存储 Hive Hive使用JindoSDK处理OSS-HDFS服务中的数据 HDP 通过HDP 2.6 Hadoop读取和写入OSS数据 Kafka 将Kafka数据导入OSS Logstash 使用Logstash将日志导入OSS Impala...
使用CNFS管理NAS共享存储卷（推荐）
相关文档 如果您需要在多个应用或Pod之间挂载NAS文件系统中的不同目录以实现存储隔离，请参见 使用CNFS管理NAS隔离存储卷（推荐）。如果您需要实现NAS存储卷的使用率高于某个阈值时触发自动扩容，请参见 使用CNFS自动扩容NAS存储卷。
查看集群日报与分析
Hive使用量分析 在Hive使用分析中，您可以获取以下图表：Hive库存储量使用量分布图 Hive用户总存储量分布 Hive表文件大小分布比例 Hive表热冷数据分布 Hive表存储格式分布 Hive详细信息 在Hive信息中会展示Hive库和Hive表的详细信息。...
常见问题
同时，结合IMM（智能媒体处理产品）可以实现存储+数据智能处理的解决方案。基因行业：基因测序、交付、诊断等基因上下游业务的数据存储需求，结合云上强大的计算能力，可以实现大数据的存储+计算+分析方案。OSS适合存储什么？OSS适合存储...
背景
业务接入流程 当您有一块业务需要使用表格存储作为数据库时，通常会经历几个过程：了解表格存储（场景案例和文档），业务需求分析，直接对照方案实现、方案设计及编码实现（表结构和查询），接入业务数据测试上线。根据业务场景能否直接...
方案实现
本文主要为您介绍如何基于表格存储实现海量气象格点数据解决方案。基于 方案设计，表格存储实现了一个Tablestore-Grid的library，基于这个library您可以非常方便地实现气象格点数据的存储、查询和管理。提供以下接口：public interface ...
应用场景
本文介绍文件存储NAS数据存储的主要应用场景。企业应用上云 阿里云NAS提供标准的NFS和SMB接口，云下建立在NAS上的应用程序可以轻松迁移到阿里云。阿里云NAS基于云原生架构，具有99.95%高可用性，PB级容量弹性，同时支持目录配额、ACL、回收...
CDH6与文件引擎集成
三、安装HIVE服务 安装MySQL数据库，并创建用来存储hive元数据信息的数据库。登入CDH6任意的一台机器，执行如下指令，进行安装。切换到 root sudo su-#下载 MySQL的rpm 源 root@cdhlindorm001~/tool$wget ...
现代IM系统中的消息系统—实现
本文主要以钉钉（DingTalk）的功能为参照，详细说明如何基于表格存储的Timeline模型实现钉钉的IM功能。以下内容按照聊天系统的消息存储、关系维护、即时感知、多端同步四个功能模块分块，分别介绍每一部分的功能、方案介绍、表设计以及实现...
Hive连接器
使用Hive连接器可以查询和分析存储在Hive数据仓库中的数据。背景信息 Hive数仓系统由以下三部分内容组成：不同格式的数据文件，通常存储在Hadoop分布式文件系统（HDFS）或对象存储系统（例如，阿里云OSS）中。存储着数据文件到Schema和...
Hive作业调优
您可以通过调整内存、CPU和Task个数等，实现对Hive作业的调优。本文为您介绍如何调优Hive作业。作业调优方案 作业调优方向 调优方案 参数调优 内存参数 CPU参数 Task数量优化 并行运行 Fetch task 开启向量化 合并小文件 代码优化 代码优化...
CDH6数据迁移
本文介绍如何将CDH中本地HDFS的数据迁移到 文件存储 HDFS 版，实现存储计算分离。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已在阿里云上创建ECS实例并安装CDH6集群。...
JindoFS实战演示
为了解决这些问题，您可以将HDFS中的热数据保留，将冷数据归档到OSS中，实现存储与计算分离。本视频为您介绍如何将HDFS中的文件载入Hive表，然后将Hive中的数据按照分区归档到OSS。OSS访问加速 文档链接 视频链接 视频发布时间 描述 访问...
选型配置说明
存储价格估算如下：本地盘实例存储为0.04 元/GB/月 OSS标准型存储为0.12 元/GB/月 OSS归档型存储为0.033 元/GB/月 OSS深度归档型存储为0.015 元/GB/月 高效云盘存储为0.35 元/GB/月 SSD云盘存储为1.00 元/GB/月 云盘的具体价格信息，请参见...
快速使用数据湖分析版实例
数据湖分析版实例适用于查询存储在Apache Hive、Apache Iceberg、Apache Hudi以及Apache Paimon等多种数据湖上的数据，并涵盖OSS、OSS-HDFS、HDFS等平台，无需数据迁移即可实现快速的数据湖查询分析，且其性能比Presto高出3到5倍。...
宽表模型介绍
使用宽表模型可以实现元数据、大数据等多种场景的解决方案，例如 搭建海量智能元数据管理系统、亿量级订单管理方案、基于多元索引搭建亿量级店铺搜索系统、表格存储结合Spark流批处理实现一体化存储和计算、表格存储结合实时计算Flink进行...
功能特性
数据存储 功能集 功能 功能描述 参考文档 元数据存储 宽表模型 宽表模型（WideColumn）是类Bigtable/HBase模型，可应用于元数据、大数据等多种场景。宽表模型通过数据表存储数据，单表支持PB级数据存储和千万QPS。数据表具有Schema-Free、...
异构数据源访问
提供以下功能：多种数据存储访问：支持多种数据存储系统，允许 AnalyticDB PostgreSQL版 数据库直接访问存储在HDFS、Hive、MySQL，PostgreSQL，PolarDB MySQL等多种外部系统中的数据。数据格式透明：支持常见的数据格式，如CSV、ORC、...
Spark Load
在Doris现有的导入流程中，全局字典的数据结构是基于Hive表实现的，保存了原始值到编码值的映射。构建流程 读取上游数据源的数据，生成一张Hive临时表，记为 hive_table。从 hive_table 中抽取待去重字段的去重值，生成一张新的Hive表，记...
HDFS数据源
实现过程 HDFS Writer的实现过程如下所示：根据您指定的path，创建一个HDFS文件系统上不存在的临时目录。创建规则：path_随机。将读取的文件写入这个临时目录。全部写入后，将临时目录下的文件移动到您指定的目录（在创建文件时保证文件名...
SQL查询介绍
通过控制台使用SQL查询 通过命令行工具使用SQL查询 使用SDK 通过JDBC使用SQL查询 JDBC连接表格存储 通过Hibernate使用 通过MyBatis使用 使用Go语言驱动 计费说明 SQL本身不会有额外的费用，但是使用SQL查询数据过程中涉及到的表扫描、索引...
Spark Load
Spark Load通过外部的Spark资源实现对导入数据的预处理，提高StarRocks大数据量的导入性能并且节省StarRocks集群的计算资源。Spark Load主要用于初次迁移、大数据量导入StarRocks的场景（数据量可到TB级别）。本文为您介绍Spark Load导入的...
Paimon数据源
paimon.catalog.type 是 Paimon使用的元数据类型，取值为：hive:使用Hive MetaStore存储的元数据。filesystem：使用filesystem存储的元数据。dlf：使用DLF存储的元数据。paimon.catalog.warehouse 是 warehouse所在路径，支持HDFS、OSS和...
通过EMR运行基于OSS-HDFS服务的TPC-DS Benchmark
本文介绍如何在EMR集群环境下，充分利用OSS-HDFS服务的优势，成功执行TPC-DS Benchmark的99个SQL查询，并通过一系列优化策略实现更优的性能体验。使用场景 大数据性能评估 当您希望评估使用OSS-HDFS服务作为Hadoop数据存储时的大数据处理...
Hive数据源
Hive的本质是一个SQL解析引擎，其底层通过MapReduce实现数据分析，使用HDFS存储处理的数据，将HQL转化为MapReduce程序并在Yarn上运行。Hive Reader插件通过访问HiveMetastore服务，获取您配置的数据表的元数据信息。您可以基于HDFS文件和...
迁移开源HDFS的数据到文件存储 HDFS 版
本文档介绍如何将开源HDFS的数据平滑地迁移到 文件存储 HDFS 版。背景信息 当前业界有很多公司是以Hadoop技术构建数据中心，而越来越多的公司和企业希望将业务顺畅地迁移到云上。文件存储 HDFS 版 可以帮助您实现将开源HDFS的数据迁移到云...
功能特性
存储引擎 功能集 功能 功能描述 参考文档 AnalyticDB for MySQL仓存储 玄武分析型存储 玄武分析存储引擎支持行列混存的存储格式，提供了高可靠、高可用、高性能、低成本的企业级数据存储能力，是AnalyticDB for MySQL实现高吞吐实时写入、...
Iceberg概述
您可以借助Iceberg快速地在HDFS或者阿里云OSS上构建自己的数据湖存储服务，并借助开源大数据生态的Spark、Flink、Hive和Presto等计算引擎来实现数据湖的分析。核心能力 Apache Iceberg设计初衷是为了解决Hive数仓上云的问题，经过多年迭代...
Hudi
内置阿里云OSS存储，低成本存储，弹性扩展 数据以开放的Parquet、Avro格式存储在阿里云OSS，存储计算分离，资源灵活弹性扩展。使用限制 仅Flink计算引擎vvr-4.0.11-flink-1.13及以上版本支持Hudi Connector。文件系统仅支持HDFS或阿里云OSS...
- 产品推荐
- 这些文档可能帮助您