Hive作业调优
作业调优方案 作业调优方向 调优方案 参数调优 内存参数 CPU参数 Task数量优化 并行运行 Fetch task 开启向量化 合并小文件 代码优化 代码优化 代码优化 数据清洗 读取表时分区过滤，避免全表扫描。数据过滤之后再JOIN。重复使用数据时，...
Flink指标
CPU 参数 指标 描述 JM CPU Load flink_jobmanager_Status_JVM_CPU_Load JM CPU使用率。TM CPU Load flink_taskmanager_Status_JVM_CPU_Load TM CPU使用率。CPU Usage flink_taskmanager_Status_ProcessTree_CPU_Usage TM CPU使用率（基于...
SubmitJob-提交作业
说明 若该参数为空，则参数 Cpu、Task、Thread、Mem、Gpu 不生效。2 Cpu integer 否 单个计算节点所需的 CPU 核数。2 Task integer 否 单个计算节点创建的进程数。适用于 MPI 作业。2 Thread integer 否 单个计算节点创建的线程数。适用于 ...
资源包选购指引
SAE 的CPU资源包和内存资源包的规格均为1∶2，但是您的实例规格包含1∶2、1∶4和1∶8，您可以调整购买CPU和Mem资源包的个数，例如购买1个CPU资源包、2个内存资源包，来匹配您所需的实例规格。示例三：开发测试&生产环境如何分别估算资源...
HOST指标
HOST指标包含以下部分：Important metrics CPU Info Memory Info Disk Info Network Info Network Info Procs Info Socket Info Important metrics 参数 指标 描述 Boot time seconds emr_node_boot_time_seconds 启动时间。单位：ms CPU ...
诊断概述
参数 说明 读写请求响应时间 包含 TPS 响应时间（TPS RT）和 QPS 响应时间（QPS RT）,单位为 ms。读写请求量 包含 TPS 请求量和 QPS 请求量。会话数 包含最大活跃会话数，数据采集频率为每 5s 采集一次。CPU 包含最大 CPU 使用率和平均 CPU...
管理Agent
参数 说明 CPU亲和性 选择启用或禁用 CPU亲和性。启用CPU亲和性后，Agent将仅在单个CPU核心上工作。禁用CPU亲和性后，Agent将在多个CPU核心上工作，这种情况下可能会占用您较多的CPU资源。建议您启用 CPU亲和性。最大CPU使用率 设置最大CPU...
使用工作空间参数
DataWorks在原有任务级别调度参数基础上，新增工作空间级别的调度参数，如果同一个工作空间中的多个参数需配置为相同值，可以使用工作空间参数。工作空间参数可配置为脱敏展示，以保护您的敏感数据；同时，在标准模式工作空间下，生产环境...
基于函数计算创建自定义规则
例如：在ECS实例的 资源核心配置信息 区域，单击 查看JSON，获取CPU核数的参数为 Cpu，从 rule_parameters 中获取 CpuCount 的期望值。单击左上角的 部署代码。基于函数计算创建自定义规则。登录 配置审计控制台。（可选）在左上角选择目标...
云原生场景的企业IT成本治理
参数名称 参数说明 CPU Utilization Pod的CPU使用率。Memory Utilization Pod的内存利用率。Waste Rate Pod的资源浪费率。更多信息，如下图所示。步骤三：从应用大盘获取应用费用拆分 在右侧成本分析页面，单击 Application 页签，进入应用...
弹性资源限制
ack-koordinator在宿主机节点提供了弹性资源限制能力，确保低优先级BE（BestEffort）类型Pod的CPU资源使用在合理范围内，保障节点内容器稳定运行。本文主要介绍如何通过ack-koordinator使用弹性资源限制能力。背景信息 在ack-koordinator...
自动SQL限流
参数 描述 CPU利用率大于 CPU利用率阈值，大于等于70%。活跃会话数量大于 活跃会话数阈值。与CPU利用率关系为 或 时，大于等于16。与CPU利用率关系为 且 时，大于等于2。可限流时间段 可以进行自动SQL限流的时间段。最大限流时间 进行SQL限...
自动SQL限流
参数 描述 CPU利用率大于 CPU利用率阈值，大于等于70%。活跃会话数量大于 活跃会话数阈值。与CPU利用率关系为 或 时，大于等于16。与CPU利用率关系为 且 时，大于等于2。可限流时间段 可以进行自动SQL限流的时间段。最大限流时间 进行SQL限...
查看调度资源大盘
参数 描述 CPU分配值 每个统计时间点已分配给任务的CPU总量。CPU消耗值 每个统计时间点任务执行实际消耗的CPU总量。CPU消耗率 每个统计时间点对应的CPU消耗值/CPU分配值。运行中实例数 每个统计时间点状态为运行中的实例总数，包括周期实例...
Ververica Flink实时任务资源自定义
参数 描述 CPU 定义当前节点运行的CPU。heap_memory 单位为MB，heap_memory是堆内存，供Java应用程序使用的内存。heap_memory及其内部各组成的大小可以通过JVM的一系列命令行参数来控制，在一般的blink程序中，都会需要一定的heap_memory...
Ververica Flink实时任务资源自定义
参数 描述 CPU 定义当前节点运行的CPU。heap_memory 单位为MB，heap_memory是堆内存，供Java应用程序使用的内存。heap_memory及其内部各组成的大小可以通过JVM的一系列命令行参数来控制，在一般的blink程序中，都会需要一定的heap_memory...
ack-koordinator（ack-slo-manager）
检查集群目前是否使用了 动态修改Pod资源参数 中的 CPU Limit调节 功能（即通过创建CRD或Pod Annotation的形式修改指定容器Cgroup参数文件 cpu.cfs_quota_us）。若使用，请继续执行步骤 ii；若未使用，请执行步骤 c。参考如下命令，从当前...
ScaleWithAdjustment
由客户端生成该参数值，要保证在不同请求之间唯一，最大值不超过64个ASCII字符，且该参数值中不能包含非ASCII字符。Action String 是 ScaleWithAdjustment 系统规定参数。取值：ScaleWithAdjustment。SyncActivity Boolean 否 false 伸缩...
Enclave CLI子命令说明
该参数是否为必选取决于-cpu-ids 参数设置：若未指定-cpu-ids 参数，则-cpu-count 为必选。若已指定-cpu-ids 参数，则不能指定-cpu-count。说明 若实例未启用超线程，则Enclave的vCPU数最少可为1；若实例启用了超线程（默认），则为了保证...
CPU类场景
参数说明 参数名称 参数说明 指定CPU满载的个数 指定使用率满载的CPU核数，可取值区间为[0，应用总核数]，默认值为0，表示全部核满载。指定时长到达设置的 CPU 负载百分比 指定时长到达设置的CPU负载百分比，单位秒。CPU占用百分比 指定CPU...
管理Redis集群
CPU超配比参数 专属集群的CPU超配比。取值范围：100%~300%，默认为200%，即所有实例的CPU资源之和可以是实际CPU资源的2倍，可以最大化使用CPU资源。空间超配比参数 专属集群的空间超配比。取值范围：100%~200%，默认为200%，即所有实例的...
错误码
E03 参数类型错误 当前命令行存在类型不正确的参数，请确保所有参数值的类型都是正确的，例如在 run-enclave 子命令中-cpu-count 参数的类型应为整数，若其指定的参数值为字符串则会报此错误码。E04 套接字对创建失败 Enclave CLI会创建...
查看和修改CPU拓扑结构
查看CPU拓扑结构 您可以通过调用DescribeInstances接口，填写请求参数 AdditionalAttributes，查看对应返回参数信息，确认当前实例的CPU拓扑类型。更多信息，请参见 DescribeInstances。返回参数的可能值如下：HT连续模式：...
管理集群
CPU超配比参数 设置专属集群的CPU超配比。说明 不同引擎该参数的取值范围与默认值有所差异，请以控制台页面展示为准。空间超配比参数 设置专属集群的空间超配比，仅MySQl支持修改专属集群的空间超配比。说明 不同引擎该参数的取值范围与...
管理集群
CPU超配比参数 设置专属集群的CPU超配比。说明 不同引擎该参数的取值范围与默认值有所差异，请以控制台页面展示为准。空间超配比参数 设置专属集群的空间超配比，仅MySQl支持修改专属集群的空间超配比。说明 不同引擎该参数的取值范围与...
TOP SQL
实时TOP SQL-平均开销参数说明 参数 说明 平均CPU开销 SQL语句平均每次执行CPU开销的时间排名，单位为毫秒。平均执行耗时 SQL语句平均每次执行耗时的排名，单位为毫秒。平均返回行 SQL语句平均每次执行返回的行数的排名。平均逻辑读 SQL...
虚拟机场景
参数名称 是否必选 默认值 参数说明 指定CPU满载的个数 否 无 指定CPU满载的个数，默认系统当前全部核数。进程ID 必选其一 无 Java进程的ID。进程关键字 无 用于识别唯一的关键字，可以通过该关键字查找到唯一进程，使用 ps-ef|grep来尝试...
TOP Objects
实时TOP Objects-平均开销参数说明 参数 说明 平均CPU开销 数据库对象平均每次执行CPU开销，单位为毫秒。平均执行耗时 数据库对象平均每次执行耗时，单位为毫秒。平均逻辑读 数据库对象平均每次执行的逻辑读消耗。平均返回行 数据库对象...
管理MySQL集群
CPU超配比参数 专属集群的CPU超配比。取值范围：100%~300%，默认为200%，即所有实例的CPU资源之和可以是实际CPU资源的2倍。空间超配比参数 专属集群的空间超配比。取值范围：100%~200%，默认为200%，即所有实例的空间资源之和可以是实际...
资源组
例如，有两个资源组 cpu_limit_A 和 cpu_limit_B,并且 cpu_limit_A+cpu_limit_B>=T，当 cpu_limit_B 中进程资源没有使用或者很小时，为了提高资源利用率，允许A中的进程使用超过 cpu_limit_A 或者整个规格的限额资源。每个资源组除了当前...
在Sidecar中配置ACK动态超卖资源
接入到ASM中的ACK Pro版集群在启用动态资源超卖模式下，注入到应用Deployment中的Sidecar代理支持超卖模式的资源类型，以提升...1073741824 若输出结果的CPU资源限制参数和Memory资源限制参数与 步骤 4 的配置相同，表明BE Pod资源限制生效。
参数配置指导
加速开关设置：计算图优化 参数名 取值类型 是否必选 默认值 枚举值 描述-onnx-runtime-training bool 否 None NA onnx-runtime计算图优化 加速开关设置：CPU负载训练 参数名 取值类型 是否必选 默认值 枚举值 描述-cpu-offload bool 否 ...
创建实例
创建实例时，如何通过参数识别用户购买的商品以及规格信息 productCode参数是用户购买的商品编码，对应 服务商控制台商品管理页面 的商品编码列。如果商品有多个商品规格，skuId字段对应商品的规格code，对应商品发布-商品销售信息的规格...
动态资源超卖
使用以下命令，查看CPU资源限制参数。cat/sys/fs/cgroup/cpu,cpuacct/kubepods.slice/kubepods-besteffort.slice/kubepods-besteffort-pod4b6e96c8_042d_471c_b6ef_b7e0686a*.slice/cri-containerd-11111c202adfefdd63d7d002ccde8907d08291...
YARN资源配置
修改 yarn.nodemanager.resource.memory-mb 和 yarn.nodemanager.resource.cpu-vcores 参数时，必须选择 节点组配置 才能生效，因为EMR允许一个集群中通过节点组的方式运行不同规格的ECS实例，一个节点组内的ECS规格是一致的，所以按照节点...
模型hitrate评估
完整的执行调优参数会拼装成 cluster 参数 2 ps CPU数量 否 PS CPU数量，PS申请的CPU数量，取值为1表示一个CPU核。10 ps Memory用量 否 PS申请的内存，单位为MB，取值100表示100 MB。40000 Worker数量 否 Worker的数量。6 Worker CPU用量 ...
模型导出
完整的执行调优参数会拼装成 cluster 参数 1 Worker CPU用量 否 Worker申请的CPU数量，取值1表示一个CPU核。8 Worker Memory用量（单位为MB）否 Worker申请的内存，取值100表示100 MB。40000 Worker GPU卡数 否 在EasyRec训练中，一般不...
模型训练
完整的执行调优参数会拼装成 cluster 参数 2 ps CPU数量 否 PS申请的CPU数量，取值为1表示一个CPU核。10 ps Memory数量（MB）否 PS申请的内存，取值为100表示100 MB。40000 Worker数量 否 Worker节点的数量。6 Worker CPU数量 否 Worker...
向量召回模型拆分
完整的执行调优参数会拼装成cluster参数 1 Worker CPU用量 否 Worker申请的CPU数量，取值1表示一个CPU核。8 Worker Memory用量（单位为MB）否 Worker申请的内存，取值100表示100 MB。40000 Worker GPU卡数 否 在EasyRec训练中，一般不需要...
模型预测
会拼装成 cluster 参数 1 Worker CPU用量 否 Worker申请的CPU数量，取值1表示一个CPU核。6 Worker Memory用量 否 Worker申请的内存，单位为MB，取值100表示100 MB。30000 Worker GPU卡数 否 在EasyRec训练中，一般不需要使用GPU。0 输出桩 ...
- 产品推荐
- 这些文档可能帮助您