基于Indexing Service实现数据流管理
说明 Indexing Service写入总流量监控为非实时整点展示的静态趋势监控图，监控数据展示延时最长为1小时，例如在14:00~14:59间写入的总数据量，需要等到15:10后，在监控页面的14:00处获取。步骤六：分析日志 登录目标阿里云Elasticsearch...
文件网关的缓存有什么作用
如果在上传过程中有新的文件写入缓存，上传过程将会中断，等待文件完全写入缓存并关闭后，上传才会再次开始。这是因为OSS的数据更新需要原子性的全量数据，这就要求文件网关需要缓存文件的全部数据才能上传，保证客户端和OSS之间的数据一致...
管理文件夹
删除文件夹 选择目标文件夹，将鼠标悬浮在监控文件夹上方，点击操作图标（），然后在操作栏上点击 删除。说明：仅空文件夹可以被删除。若文件夹下包含有监控配置，需先将监控配置删除。移动监控项至其他文件夹 在 自定义监控 管理页面，...
写入文件提示无法满足最小写入副本要求
问题原因 该问题表示在当前的集群状态下，因为无法满足文件的最小副本数量，HDFS无法将文件写入到指定路径中。解决方案 如果【X】为0，说明集群DataNode上报NameNode路径出现问题，需要检查以下方面：检查DataNode节点是否可以连通NameNode...
管理健康报告
平均写文件耗时 文件写入总耗时除以文件总数，反映了每次文件写入操作的平均所需时间。Top导入热表分析 按表粒度对导入任务数量进行排序并选取Top 20的表，这些表的导入任务执行最为频繁且涉及的数据导入事务最多。导入热节点分析 可以通过...
核心文件监控
支持监控文件的异常访问（包括读取、修改、删除等操作），并提供告警。关于网页防篡改的更多信息，请参见 网页防篡改。同时开启网页防篡改和核心文件监控时，优先匹配哪个规则？当服务器同时开启网页防篡改和核心文件监控规则时，网页防...
使用CloudLens for SLS监控Project资源配额
资源监控 CloudLens for SLS支持提供基础资源、数据读写等额度监控和Logstore监控、机器组监控、Project写入监控等高级监控。登录 日志服务控制台。在 日志应用 区域，单击 CloudLens for SLS。在 CloudLens for SLS 配置界面，单击左侧...
配置基础告警规则
当您需要监控文件存储CPFS文件系统资源的使用情况时，可以创建报警规则。如果资源的监控指标达到报警条件，云监控自动发送报警通知，帮助您及时得知异常监控数据，并快速处理。前提条件 已创建文件存储CPFS文件系统。具体操作，请参见 创建...
监控
本文介绍如何在阿里云云存储网关控制台上监控文件网关，包括日志监控及CPU、内存、缓存盘IOPS、缓存盘读写和网络IO等信息监控。背景信息 从1.0.39版本开始文件网关支持日志监控功能，您可以在阿里云云网关控制台上进行相关操作。文件网关...
OSS-HDFS数据源
将读取的文件写入这个临时目录。全部写入后，将临时目录下的文件移动到您指定的目录（在创建文件时保证文件名不重复）。删除临时目录。如果在此过程中，发生网络中断等情况造成无法与OSS-HDFS建立连接，需要您手动删除已经写入的文件和临时...
新功能发布记录
2022-04-01 全部 NFS文件系统传输加密 SMB文件系统传输加密 容量监控 通用型NAS支持容量监控，通过云监控服务可实时监控文件系统实例的存储概况，包括通用型NAS数据量（不含低频介质）、低频介质数据量和文件数。2022-03-15 华东2（上海）...
通过HTTP API写入数据
binary 'cpu_load_short,host=server02 value=0.67 cpu_load_short,host=server02,region=us-west value=0.55 1422568543702900257 cpu_load_short,direction=in,host=server01,region=us-west value=2.0 1422568543702900257' 文件写入 ...
OSS数据源
支持多线程写入，每个线程写入不同的子文件。文件支持滚动，当文件大于某个size值时，支持文件切换。单个文件不能支持并发写入。OSS本身不提供数据类型，OSS Writer均以STRING类型写入OSS对象。如果OSS的Bucket存储类型为 冷归档存储，则不...
自动优化
自动优化是Delta Engine一组可选特性，当开启该组特性后，Delta Engine会自动合并对Delta表的多次写入产生的小文件，以牺牲部分写性能为代价，大幅提升查询性能。自动优化在这些场景下尤其有用：1）能接受分钟级时延的流式数据入湖；2）常...
读写访问文件类问题
当您访问文件系统中的文件时，文件系统中的文件会受到某些限制影响，导致文件操作错误、挂载点无响应或访问无响应等。您可以在本文中查找一些常见文件操作错误、文件属主、数据不同步或访问无响应的解决方案。交叉挂载兼容性问题 Linux挂载...
Linux系统挂载NFS协议文件系统
创建NAS NFS协议文件系统后，您需要使用云服务器来挂载该文件系统，以实现多个云服务器共享访问文件系统的目的。本文介绍如何通过阿里云Linux ECS实例挂载NAS NFS协议文件系统。前提条件 在创建文件系统的地域，已有可用的云服务器ECS...
将数据写入OSS
非分区路径 示例：通过内置文本数据解析器将数据写入OSS-分区路径 示例：通过内置文本数据解析器将数据以压缩方式写入OSS 示例：通过内置开源数据解析器将数据写入OSS 通过自定义解析器将数据写入OSS 当需要将数据以自定义格式文件写入OSS...
查看监控信息
相关文档及API 相关文档 调优集群性能 相关API 数仓版A PI API 说明 DescribeDBClusterPerformance 查看目标 数仓版（3.0）集群的查询和写入监控信息。DescribeDBClusterResourcePoolPerformance 查看目标 数仓版（3.0）集群的资源组监控...
SDK示例
} 创建及写入文件 通过调用FileSystem实例的create方法获取写文件的输出流，然后对这个输出流进行写入。创建及写入文件代码样例如下。创建及写入文件*@param filePath*@param content*@throws IOException*/private void writeFile(final ...
使用Flink（流式数据传输-新版）
Flink Upsert写入任务的Checkpoint间隔建议设置3分钟以上，设置太小的话，写入效率得不到保障，并且可能引入大量小文件。MaxCompute与实时计算Flink版的字段类型对照关系如下。Flink 数据类型 MaxCompute 数据类型 CHAR(p)CHAR(p)VARCHAR(p...
如何使用Prometheus监控MySQL
文件监控数据。关键指标说明 类型 指标名称 说明 可用性 mysql_up 表示MySQL实例是否已停机。mysql_global_status_uptime 表示数据库正常运行的时长，通常使用该指标配置告警，监控运行少于半小时的MySQL实例。数据库连接 mysql_global_...
使用mount命令挂载ext4文件系统
在Linux系统中创建ext4文件系统后，您可以根据需求使用不同的 mount 命令挂载文件系统，以满足您对文件系统的数据安全性和性能要求。对数据安全性和性能都有一定要求 如果您对文件系统的数据安全性和性能都有一定要求，建议使用该命令（不...
如何使用Prometheus监控MySQL
文件监控数据。关键指标说明 类型 指标名称 说明 可用性 mysql_up 表示MySQL实例是否已停机。mysql_global_status_uptime 表示数据库正常运行的时长，通常使用该指标配置告警，监控运行少于半小时的MySQL实例。数据库连接 mysql_global_...
PutResourceMetricRule-为指定资源的指定监控项设置一...
3 Labels object[]否 当监控项达到报警条件并进行报警时，标签同时写入监控项，在报警通知中进行展示。说明 该功能与 Prometheus 报警中的 Label 相同。Key string 否 标签键。tagKey1 Value string 否 标签值。说明 标签值支持模板参数，...
PutResourceMetricRules-为指定资源的指定监控项设置...
KEEP_LAST_STATE Labels object[]否 当监控项达到报警条件并进行报警时，标签同时写入监控项，在报警通知中进行展示。Key string 否 标签键。tagKey1 Value string 否 标签值。说明 标签值支持模板参数，将模板参数替换为实际标签值。ECS ...
用量查询
本文介绍如何查询用户体验监控的写入数据量。入口一 登录 ARMS控制台。在左侧导航栏选择 用户体验监控>用量统计。在 用量统计 页面右侧设置需要查询的时间段。您可以在 快捷筛选 区域过滤需要查询的应用或数据类型。在用量记录列表，您可以...
使用前须知
使用限制 专属MetricStore不支持写入其他数据，只有企业云监控可以写入，只能通过企业云监控修改存储周期，在查询分析、告警、消费等功能上无特殊限制。不支持通过日志服务控制台或API删除通过企业云监控创建的时序库（MetricStore），也不...
节省计划
72元 60%300GB 214GB 157GB 150GB 12个月 60元 50%300GB 214GB 157GB 150GB 示例 A公司开通了ARMS应用监控和 可观测链路 OpenTelemetry 版 按写入可观测数据量计费，应用监控每天写入数据量大概20 GB，可观测链路 OpenTelemetry 版 每天...
配置OSS输出组件
写入文件个数 目标端OSS的文件写入策略。支持写入单个文件和多个文件。单个文件：将写入目标端OSS的单个文件中。多个文件：将写入目标端OSS的多个文件中。同时需要配置后缀格式，格式可选择生成序列后缀，如_0、_1、_2 等；也可选择生成...
配置OSS输出组件
写入文件个数 目标端OSS的文件写入策略。支持写入单个文件和多个文件。单个文件：将写入目标端OSS的单个文件中。多个文件：将写入目标端OSS的多个文件中。同时需要配置后缀格式，格式可选择生成序列后缀，如_0、_1、_2 等；也可选择生成...
配置Amazon S3输出组件
写入文件个数 目标端Amazon S3的文件写入策略。支持写入单个文件和多个文件。单个文件：将写入目标端Amazon S3的单个文件中。多个文件：将写入目标端Amazon S3的多个文件中。同时需要配置后缀格式，格式可选择生成序列后缀，如_0、_1、_2 ...
配置Amazon S3输出组件
写入文件个数 目标端Amazon S3的文件写入策略。支持写入单个文件和多个文件。单个文件：将写入目标端Amazon S3的单个文件中。多个文件：将写入目标端Amazon S3的多个文件中。同时需要配置后缀格式，格式可选择生成序列后缀，如_0、_1、_2 ...
性能监控
您可以通过阿里云云监控来监控文件系统读请求频率、读取请求大小、每秒读取字节数、存储空间等。并通过设置报警规则，及时获取异常信息。本文介绍如何查看性能监控详情及创建报警规则。前提条件 已创建 文件存储 HDFS 版 文件系统。具体...
文件存储CPFS监控概述
通过查看文件存储CPFS文件系统的容量监控和性能信息，您可以了解文件系统的存储容量使用情况和读写吞吐、读写IOPS等情况。通过为文件系统的重要监控指标设置报警规则，您可以及时获知指标异常并快速处理异常。本文介绍文件存储CPFS支持的...
费用优化
ARMS应用监控新版计费按写入可观测数据量计费。本文介绍如何合理调整写入应用监控的数据量，降低使用成本。减少链路写入量 采样率越低，则链路的写入数据量越低。具体操作，请参见 调用链采样模式选择。您可以在ARMS控制台指定应用下 应用...
配置FTP输出组件
导出压缩文件 可选择 zip、gzip 压缩格式或 不压缩，直接以所选文件类型导出，选择压缩格式后以相应压缩格式将压缩文件合并写入FTP或直接以所选文件类型导出。导出列头 选择是否导出列头：选择导出，会在每一个文件中的第一行输出字段名。...
配置FTP输出组件
导出压缩文件 可选择 zip、gzip 压缩格式或 不压缩，直接以所选文件类型导出，选择压缩格式后以相应压缩格式将压缩文件合并写入FTP或直接以所选文件类型导出。导出列头 选择是否导出列头：选择导出，会在每一个文件中的第一行输出字段名。...
NFS协议
但是，一旦ECS-1打开一个文件，写入若干数据，然后执行了文件关闭操作，之后在任何一个计算节点重新打开该文件都可以保证能访问到新写入的数据。例如，生产者ECS生产了文件X，生产完毕后执行了close。然后给消息队列发一条消息说，文件X...
性能说明FAQ
通过在文件系统写入空洞文件或使用Truncate命令生成一个文件来增加文件系统使用容量，从而提升文件系统的读写吞吐。同时，空洞文件和Truncate命令生成的文件在阿里云NAS上占用实际容量，按实际大小计费。更多信息，请参见 通用型NAS计费。...
目录配额
重要 设置限制型配额后，如果文件使用量超过限制会导致写入操作（包括增加文件长度、创建文件、目录、移动文件到目录等操作）失败，应用层会收到IOError。您可以参照 为什么向文件系统写入数据时，返回Disk quota exceeded错误信息？进行...
- 产品推荐
- 这些文档可能帮助您