创建文件数据源
Quick BI支持将本地的Excel文件和CSV文件上传至数据库中，作为文件数据源，满足您不断变化和增长的业务分析需求。本文介绍上传文件的入口、如何创建并修改文件数据源。使用限制 限制说明 适用文件类型 单个文件表头必须放第一行，Sheet1不...
RDS PostgreSQL CSV或SQL文件恢复到自建数据库
您可以使用RDS PostgreSQL的备份下载功能，将云盘实例的快照备份数据转换成CSV文件或SQL文件导出，然后通过该文件将数据恢复到自建PostgreSQL数据库中。操作步骤 本示例以RDS PostgreSQL云盘实例的SQL文件恢复至ECS实例（CentOS 7.8 64位）...
概述
从上图可以看出整个查询加速链条分为优化器、执行器、存储引擎三个层面。在优化器层面，PolarDB分布式版提供了面向行列混合场景的代价优化器，根据代价智能识别路由，将TP类查询转发给行存查询链路；将AP类查询转发给列存查询链路。在执行...
CSV
location 'oss:/oss-bucket-name/dla/')创建UTF-8格式的表 例如，OSS中有一个编码格式为UTF-8的city.csv文件（存储地址为 oss:/oss-bucket-name/dla/city.csv），列与列之间以逗号分隔，存储的数据如下所示。Beijing,China,010 ShangHai,...
触发器
使用触发器可以对存储空间（Bucket）中的增量文件进行批量处理。例如将Bucket某个目录中新增的后缀为.docx的文件转换成.pdf格式、将新增的.mov格式的文件转码为.mp4等。和批处理的不同的是，触发器只会对创建触发器之后OSS内新增的文件进行...
计量计费项
表格存储按实例计费。按量模式的计费项 包括读吞吐量、写吞吐量、数据存储量和外网下行流量四部分。按量模式适用于业务峰谷变化较大，不可预测的场景。如果实际业务中使用了多元索引、二级索引、SQL查询、时序模型、多版本、生命周期管理、...
构建CSV机密计算环境
背景信息 海光安全加密虚拟化CSV是一项基于国产海光CPU硬件的云服务器ECS保护技术，CSV实例的运行时状态如内存数据均受到CPU硬件的加密保护，云厂商和外部攻击者均无法监控或定向篡改CSV实例的内部运行状态（如运行的进程、计算中的敏感...
CSV
支持CSV格式的连接器包括：消息队列Kafka、Upsert Kafka、消息队列RocketMQ、StarRocks 和 对象存储OSS。使用示例 利用Kafka以及CSV格式构建表的示例如下。CREATE TABLE user_behavior(user_id BIGINT,item_id BIGINT,category_id BIGINT,...
简介
支持的外部存储 外部存储功能支持日志服务与MySQL数据库、阿里云OSS、托管的CSV文件建立关联，详细信息如下表所示。外部存储名称 从外部数据源读取 写入外部数据源 创建方式 地域 MySQL 支持 支持 API、SDK、CLI 所有地域 OSS 支持 支持 ...
设备数据存储和计算实践
本文介绍如何存储和计算已接入物联网平台设备的数据，以挖掘设备数据更多的价值。背景信息 物联⽹平台数据一般来⾃于已接入的智能设备、传感器设备等。只要设备在运⾏中，就会持续不断地产⽣设备数据。设备数据的使⽤价值根据场景千差万别...
OSS数据源
如下图所示：上图对应的OSS路径如下：oss:/xxx.xxx/schema1/Table1/file1.csv oss:/xxx.xxx/schema1/Table1/file2.json oss:/xxx.xxx/schema1/Table2/file3.csv oss:/xxx.xxx/schema1/Table2/file4.csv oss:/xxx.xxx/schema1/Table3/year=...
CSV格式
参数配置 在 配置投递规则 时，如果选择 存储格式 为 csv，对应的参数配置如下所示。参数说明如下所示。更多信息，请参见 CSV标准 和 postgresql CSV说明。参数 说明 CSV字段 您可以在日志服务的 原始日志 页签中查看日志字段的Key，将您...
使用OSS中的数据作为机器学习的训练样本
本文介绍如何将对象存储OSS里面的数据作为 PAI 的训练样本。说明 本文由 龙临@阿里云 提供，仅供参考。背景信息 本文通过 OSS 与 PAI 的结合，为一家传统的文具零售店提供决策支持。本文涉及的具体业务场景（场景与数据均为虚拟）如下：...
字段值映射处理
配置说明 表单配置方式 配置 处理器类型 为 字段值映射处理，相关参数说明如下表所示。参数 说明 原始字段 原始字段名。结果字段 映射后的结果字段名。映射字典 映射字典。设置键和值，将键映射到值上。映射字典较小时，可直接通过此参数...
CSV文件
CSV意即逗号分隔符（comma-separated value），这是一种常见的文本文件格式，其中每行表示一条记录，用逗号分隔记录中的每个字段。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建集群，具体请参见 创建集群。已使用OSS管理控制...
高级管理FAQ
删除策略之前，如果数据已经转储到低频存储或归档存储，数据仍会继续保存在低频存储或归档存储中，并将按照低频存储或归档存储的费用收取存储费用。如果您是想将存储至低频存储或归档存储中的数据取回通用型NAS存储空间，请参见 创建数据...
使用EasyTransfer进行文本分类
easy_transfer_app \-mode=evaluate \-inputTable=./dev.csv \-checkpointPath=./classify_models/model.ckpt-64 \-batchSize=10 命令中的参数介绍如下表所示。参数 是否必选 描述 默认值 类型 mode 是 模式，取值包括：train：训练 ...
基因实体表格
同时支持下拉选择其他“实体引用”，即单元格内容为引用实体的首列ID 步骤二：点击确定后，浏览器会自动下载该实体的csv模板到本地，用户可以通过Excel软件或者其他文本编辑器，批量编辑内容后保存。说明 用户也可以按照规则，直接在本地...
准备工作
压缩CSV文件 需要将CSV文件压缩为csv.gz文件，压缩方法如下：压缩单个文件 例如dir目录下有一个文件file1，需执行如下压缩命令：gzip-r dir 说明 执行以上 gzip 命令压缩文件，不会保留源文件，如需保留源文件压缩，请执行命令 gzip-c 源...
文档处理概述
您可以将原始文档上传到阿里云对象存储OSS，通过OSS的RESTful数据处理接口 x-oss-process 和 x-oss-async-process 在任何时间、任何地点、任何互联网设备上对文档进行文档格式转换、在线预览、在线编辑等处理。处理参数 OSS支持直接使用...
媒体处理概述
您可以将原始视频上传保存到阿里云对象存储OSS上，通过OSS的RESTful数据处理接口 x-oss-async-process，在任何时间、任何地点、任何互联网设备上对视频进行视频转码等处理。另外您也可以通过OSS的 x-oss-process 来对源视频上传后立即播放...
SELECT INTO OUTFILE
当您需要备份或者迁移 云数据库SelectDB 中的数据时，通过 SELECT INTO OUTFILE 命令，可以将查询结果导出为文件，并且支持到 通过S3或HDFS协议导出到远端存储（如OSS、HDFS等）。功能介绍 SELECT INTO OUTFILE 命令用于将查询结果导出为...
创建同步OSS
准备OSS Bucket DataHub支持将数据同步到对象存储OSS中，在创建同步任务前，用户首先需要在OSS管控台创建OSS Bucket，作为DataHub数据同步的目标Bucket。2.服务关联角色授权 用户配置同步任务时，账号可以选择使用 AccessId/AccessKey 静态...
媒资管理
修改存储类型/解冻 视频点播针对音视频媒资文件提供分级存储服务，即通过修改存储类型，将媒资按标准存储、低频访问存储、归档存储、冷归档存储类型存放到视频点播中。详细说明，请参见 修改媒资存储类型。说明 分级存储涉及数据存储和数据...
在TDX实例中基于BigDL PPML构建全链路安全的分布式...
plain_path="/mnt/data/simplekms/people.csv"csv_plain_df=sc.read(CryptoMode.PLAIN_TEXT)\.option("header","true")\.csv(csv_plain_path)csv_plain_df.show()output_path="/mnt/data/simplekms/encrypted-input"sc.write(csv_plain_df,...
CSV格式
参数配置 在 创建OSS投递任务（新版）时，选择 存储格式 为 csv，对应的参数配置如下所示。参数说明如下所示。更多信息，请参见 CSV标准 和 postgresql CSV说明。参数 说明 CSV字段 在 原始日志 页签中查看日志字段，将需要投递到OSS的字段...
功能支持情况
Bucket级别 操作 说明 OSS-HDFS服务功能支持情况 存储类型 OSS提供标准、低频访问、归档、冷归档、深度冷归档多种存储类型，全面覆盖从热到冷的各种数据存储场景。仅支持标准、低频访问存储类型的Bucket开通OSS-HDFS服务 查询Bucket级别的...
存储空间地域属性
OSS存储空间（Bucket）地域属性分为有地域属性和无地域属性。有地域属性Bucket 有地域属性Bucket适用于OSS通用场景。您在创建Bucket时需选择有地域属性，并指定Bucket所在的具体Region，例如华东1（杭州）。更多信息，请参见 访问域名和...
数据格式
CSV 消息队列Kafka、Upsert Kafka、云消息队列 RocketMQ 版、StarRocks、对象存储OSS。Avro 消息队列Kafka、Upsert Kafka、对象存储OSS。Confluent Avro 消息队列Kafka、Upsert Kafka。Raw 消息队列Kafka、Upsert Kafka、对象存储OSS。...
JMeter使用CSV参数文件
如果上传的CSV文件在JMeter脚本中没有对应的 CSV Data Set Config 配置，则切分CSV文件时默认作为不包含表头（即变量名）的CSV文件切分。为方便操作，并避免数据被错误切分，建议您始终通过配置 CSV Data Set Config 使用CSV参数文件。配置...
JMeter使用CSV参数文件
如果上传的CSV文件在JMeter脚本中没有对应的 CSV Data Set Config 配置，则切分CSV文件时默认作为不包含表头（即变量名）的CSV文件切分。为方便操作，并避免数据被错误切分，建议您始终通过配置 CSV Data Set Config 使用CSV参数文件。配置...
概述
假设将1.2GB的数据以CSV、TSV或者LOG等格式存储在OSS中，通过DLA将CSV、TSV或者LOG格式转换为其他格式后，数据在OSS中所占用的存储空间如下表所示。存储格式 数据来源及特点 数据量增大或减少 详细数据量 JSON 大量应用产生JSON类型的数据...
导入阿里邮箱通讯录错误或导入不完整
如果导入过程中出现问题，使用记事本等文本编辑器打开CSV文件，检查文件格式是否正确。d.尝试将有问题的地址簿文件，使用Excel重新用CSV格式保存，或者直接使用文本编辑器编辑保存后，再通过WebMail进行导入。适用于 阿里邮箱
为什么使用表格存储过程中会有少量的500错误
如下图所示，表格存储会按照第一个主键的顺序，将实际数据划分到不同的数据分区中，不同的数据分区会调度到不同的服务节点提供读写服务。当某个数据分区的数据量过大，或者访问过热，如下图的数据分区P1，表格存储的动态负载均衡机制能够...
转换Bucket的存储冗余类型
随着您的业务对数据持久性和服务可用性要求的提高，采用单可用区的数据冗余存储机制的本地冗余存储已不再满足您的业务要求，您可以将Bucket的存储冗余类型从本地冗余存储转换为同城冗余存储，从而具备抵抗可用区级故障的能力。本文介绍如何...
应用场景
表格存储 有互联网应用架构（包括数据库分层架构和分布式结构化数据存储架构）、数据湖架构和物联网架构三种典型应用架构。本文结合 表格存储 的典型应用架构介绍了不同应用架构下的应用场景。互联网应用 目前互联网已在日常生活中广泛应用...
LOAD
本文为您介绍如何使用LOAD命令将外部存储上的CSV格式或其他开源格式数据导入MaxCompute。本文中的命令您可以在如下工具平台执行：MaxCompute客户端 使用SQL分析连接 使用云命令行（odpscmd）连接 使用DataWorks连接 MaxCompute Studio 功能...
LOAD
本文为您介绍如何使用LOAD命令将外部存储上的CSV格式或其他开源格式数据导入MaxCompute。本文中的命令您可以在如下工具平台执行：MaxCompute客户端 使用SQL分析连接 使用云命令行（odpscmd）连接 使用DataWorks连接 MaxCompute Studio 功能...
关联OSS数据源
本文介绍如何创建外部存储，建立日志服务与OSS的关联。前提条件 已采集日志。更多信息，请参见 数据采集。已开启并配置索引。更多信息，请参见 创建索引。已创建OSS Bucket。更多信息，请参见 控制台创建存储空间。已上传CSV格式文件到OSS ...
从OSS获取CSV文件进行数据富化
本文档介绍如何通过资源函数和映射富化函数从OSS中获取数据对日志数据进行富化。前提条件 已创建访问密钥...bucket 用于存储CSV文件的OSS Bucket。file 您已上传的CSV文件的名称。加工结果 account:Sf24asc4ladDS nickname:多弗朗明哥
- 产品推荐
- 这些文档可能帮助您