AutoML使用案例汇总
案例名称 描述 MaxCompute K均值聚类最佳实践 介绍如何通过提交一个使用MaxCompute计算资源的超参数调优实验，来运行K均值聚类和聚类模型评估组件，以获取K均值聚类组件算法的较优超参数组合。MaxCompute PS-SMART二分类最佳实践 介绍如何...
新建实验
AutoML是PAI提供的机器学习增强型服务，集成了多种算法和分布式计算资源，无需编写代码，通过创建实验即可实现模型超参数调优，提高机器学习效率和性能。本文为您介绍如何新建实验。背景信息 AutoML的工作机制：实验会根据算法配置自动生成...
DLC MNIST训练最佳实践
本文介绍如何在DLC计算资源上提交AutoML实验进行超参数调优。本方案采用PyTorch框架，通过torchvision.datasets.MNIST模块自动下载和加载MNIST手写数字数据集，并对其进行模型训练，以寻找最佳超参数配置。提供单机、分布式及嵌套参数三种...
什么是AutoML
超参数不同于模型内部参数，模型内部参数在学习过程中被不断地更新和优化，超参数在学习过程开始前就设置，在模型训练过程中保持不变。超参调优：Hyper Parameter Optimization简称HPO，是指手动或者自动进行超参数调优，而本文中特指是...
MaxCompute K均值聚类最佳实践
本文为您介绍如何通过提交一个使用MaxCompute计算资源的超参数调优实验，来运行K均值聚类和聚类模型评估组件，以获取K均值聚类组件算法的较优超参数组合。步骤一：准备数据 您可以参考 聚类模型评估 中的示例来准备测试数据和评估数据。本...
查看实验详情
根据配置的算法，每次实验都会生成超参数组合，并为每组超参数组合创建一个Trial。同时，每个Trial可能会对应一个DLC任务，也可能对应1个或多个MaxCompute任务。任务的类型取决于实验的执行配置。后续将通过配置的任务来执行Trial。查看...
DLC LoRA训练最佳实践
本文为您介绍如何通过提交一个使用DLC计算资源的超参数调优实验，进行LoRA模型训练，以寻找最佳超参数配置。前提条件 首次使用AutoML功能时，需要完成AutoML相关权限授权。具体操作，请参见 云产品依赖与授权：AutoML。已完成DLC相关权限...
MaxCompute PS-SMART二分类最佳实践
本文为您介绍如何通过提交一个使用MaxCompute计算资源的超参数调优实验，来运行PS-SMART二分类、预测和评估组件，以获取PS-SMART组件算法的较优超参数组合。前提条件 首次使用AutoML功能时，需要完成AutoML相关权限授权。具体操作，请参见 ...
AutoML使用限制及规格
Random：纯随机生成超参组合的方法，与网络搜索原理相似，将超参数搜索空间分成网格，但随机搜索为每个trial会随机选择一组超参数。对于非线性、高维且计算代价较大的问题，它作为一个高效的初筛方法，缩小网格搜索的范围。Evolution：演化...
AutoML工作原理
您设定好超参数的值域、搜索算法、停止条件配置后，AutoML将其作为一次实验（experiment）传入到后端进行处理。一次实验会根据配置的算法来生成超参组合，而每个超参组合会对应一个trial。说明 您可以设置多个trials并发，以提升速度，但是...
模型优化
模型含有各种各样的超参数，为了减轻用户的负担，我们只开放了遍历次数和学习率两个参数。遍历次数一般不建议修改（除非您想快速训练完成），学习率参数有时对于模型的影响非常大，可以尝试在 0.001~0.0001 进行调整。有时候上述对于模型的...
管理实验
根据不同的参数性质，可能会缩短求解最优超参数组合的时间，也可能获得更优的超参数组合。具体操作步骤如下：进入自动机器学习（AutoML）页面。登录 PAI控制台。在左侧导航栏单击 工作空间列表，在工作空间列表页面中单击待操作的工作空间...
LLaMa2 大语言模型
所有超参数均有默认值。超参 类型 含义 取值范围 n_epochs Integer 训练数据所需的轮数，每一轮epoch，用户所提供的数据会被模型完整学习一遍。1到10之间的整数，默认为1 batch_size Integer 单次传递给模型用以训练的数据（样本）个数，...
百川开源大语言模型
所有超参数均有默认值。超参 类型 含义 取值范围 n_epochs Integer 训练数据所需的轮数，每一轮epoch，用户所提供的数据会被模型完整学习一遍。正整数 batch_size Integer 单次传递给模型用以训练的数据（样本）个数，一般单次训练数据个数...
百川开源大语言模型
所有超参数均有默认值。超参 类型 含义 取值范围 n_epochs Integer 训练数据所需的轮数，每一轮epoch，用户所提供的数据会被模型完整学习一遍。正整数 batch_size Integer 单次传递给模型用以训练的数据（样本）个数，一般单次训练数据个数...
LLaMa2 大语言模型
所有超参数均有默认值。超参 类型 含义 取值范围 n_epochs Integer 训练数据所需的轮数，每一轮epoch，用户所提供的数据会被模型完整学习一遍。1到10之间的整数，默认为1 batch_size Integer 单次传递给模型用以训练的数据（样本）个数，...
API详情
parameters Map 本次训练您设置的超参数，如果您未设置超参数，此处会返回系统默认值 output.training_type String 本次训练您选择的训练方法 output.create_time String 训练任务创建时间 output.status String 本次创建请求产生的定制...
提交训练作业
PAI的训练服务会将这些信息以环境变量的形式注入到训练作业的容器中，您可以通过环境变量在训练脚本中，或是在Estimator.command指定的训练作业启动命令中，获取超参数、输入数据路径和模型保存路径等信息。PAI_HPS_{HYPERPARAMETER_NAME} ...
创建 API
客户端传给网关的参数都会被网关透传给后端 配置入参定义：定义您API的请求入参，即配置用户需要在什么位置传入什么参数。可选位置有Head、Query、Body、Path（Parameter Path），尤其当您在Path中配置了动态参数，那么在入参配置时需要对...
创建自定义组件
参数 超参信息，支持配置以下参数：参数名称：参照界面提示配置参数名称。参数类型：目前支持配置Int、Float、String、Bool四种类型。参数约束：在 默认值 列，单击 约束，来配置参数约束关系。约束类型取值如下：范围：通过配置最大值和...
普通模式和Hive兼容模式下SQL的差异
结果是true GE（>=）当输入参数是DOUBLE类型的时候，普通模式下对相等的检查更加宽松，如果两个输入参数足够接近，就认为它们相等这会导致即使第1个输入参数小于第2个参数，但是只要他们足够接近，GE的返回结果也可能是 true。示例如下。...
设置集群超配降低成本
在 编辑专属集群 页，填写 CPU超配比参数、空间超配比参数 和 内存最大使用率，填写要求如下：CPU超配比参数：专属集群的CPU超配比。即所有实例的CPU资源之和可以是实际CPU资源的2倍，可以较大化使用CPU资源。空间超配比参数：专属集群中每...
挂载命令参数设置类问题
noresvport挂载参数 为什么要使用noresvport参数挂载NAS？如何检查并修改noresvport挂载参数问题？什么情况会引发网络切换或者后端服务的HA倒换？为什么需要重新挂载？还有没有其他的方案？其他问题 在控制台使用一键挂载功能时，挂载参数...
Nacos TLS传输加密
通过 properties 属性文件注入TLS参数为什么没有生效？通过properties设置TLS参数时，属性值类型需为String类型，请勿传入boolean类型的值。正确的方式：properties.put("nacos.remote.client.rpc.tls.enable","true");错误的方式：...
模型仓库（FastNN）
超参文件说明 PAI-FastNN支持以下类型的超参：数据集参数：确定训练集的基本属性的参数，例如训练集存储路径dataset_dir。数据预处理参数：数据预处理函数及dataset pipeline相关参数。模型参数：模型训练基本参数，包括model_name、batch_...
进度条表格
参数 说明 超链接字段名 超链接字段名称，需要在 数据源 面板中设置超链接 link 字段。对表格某一行设置超链接后，单击这一行内任意位置即可跳转到超链接。{"link":"https://xxxx.com" } 新窗口中打开 打开开关，跳转超链接时会新开一个...
进度条表格
参数 说明 超链接字段名 超链接字段名称，需要在数据面板中的设置超链接 link 字段。对表格某一行设置超链接后，单击这一行内任意位置即可跳转到超链接。新窗口中打开 打开开关，跳转超链接时会新开一个网页窗口；关闭开关，超链接在原先...
自动机器学习（AutoML）
控制台操作 新建实验 AutoML是PAI提供的机器学习增强型服务，集成了多种算法和分布式计算资源，无需编写代码，通过创建实验即可实现模型超参数调优，提高机器学习效率和性能。本文为您介绍如何新建实验。查看实验详情 成功创建实验后，您...
管理Redis集群
背景信息 关于 专属集群MyBase 的更多介绍，请参见 什么是云数据库专属集群MyBase。查看 专属集群MyBase 信息 登录 云数据库专属集群控制台。在页面左上角，选择目标地域。在 集群列表 页，查看专属集群信息，或者将信息下载到本地。默认...
管理集群
空间超配比参数 设置专属集群的空间超配比，仅MySQl支持修改专属集群的空间超配比。说明 不同引擎该参数的取值范围与默认值有所差异，请以控制台页面展示为准。内存最大使用率 设置专属集群中每台主机的内存最大使用率。说明 不同引擎该...
管理集群
空间超配比参数 设置专属集群的空间超配比，仅MySQl支持修改专属集群的空间超配比。说明 不同引擎该参数的取值范围与默认值有所差异，请以控制台页面展示为准。内存最大使用率 设置专属集群中每台主机的内存最大使用率。说明 不同引擎该...
管理MySQL集群
背景信息 关于 专属集群MyBase 的更多介绍，请参见 什么是云数据库专属集群MyBase。查看专属集群MyBase基本信息 登录 云数据库专属集群控制台。在页面左上角，选择目标地域。在 集群列表 页，查看专属集群信息，或者将信息下载到本地。默认...
文字水印
文字类型编码对应表 参数值 中文意思 URL安全base64编码后的值 备注 wqy-zenhei 文泉驿正黑 d3F5LXplbmhlaQ=根据RFC，可省略填充符=变为d3F5LXplbmhlaQ wqy-microhei 文泉微米黑 d3F5LW1pY3JvaGVp 无 fangzhengshusong 方正书宋 ZmFuZ3poZW...
设置实例参数
RDS MariaDB支持通过控制台和API修改参数值，以满足您个性化调整实例参数来适应业务的需求，您还可以查询参数的修改历史。注意事项 部分参数修改后，在 提交参数 时会立即重启实例，详情请参见控制台上 可修改参数 页面中的 是否重启 列。...
参数配置常见问题
为什么参数修改一直显示进行中？如何避免这种情况？参数修改一直处于进行中，可能有以下几点原因：修改的参数和其他参数有依赖关系，例如开启hotspot需要先开启Binlog，innodb_io_capacity 受限于 innodb_io_capacity_max。修改的参数和...
调度参数
调度参数典型场景 调度参数往前取一个小时，如何处理跨天参数替换的问题 如何处理表的分区格式年月日时分秒间带空格情况：pt=yyyy-mm-dd hh24:mi:ss 节点定时时间为每天20:00，节点内参数取值为定时时间（$cyctime或者$[yyyymmddhh24miss]...
修改最大连接数
常见问题 Q：没有修改最大连接数 max_connections 前，为什么在RDS控制台实例的 参数设置 页的 运行参数值 列显示的值会大于实例实际最大可用连接数？A：在RDS控制台实例的 参数设置 页的 运行参数值 列显示的值大于实例最大可用连接数的...
设置实例参数
RDS MySQL支持通过控制台和API修改参数配置，以满足您个性化调整实例参数来适应业务的需求，您还可以查询参数的修改历史。如需查询实例的参数配置，请参见 查看实例参数。注意事项 为保证实例的稳定，仅支持对控制台中开放的参数进行修改，...
数据开发常见问题
直接使用MaxCompute日期函数取值和通过调度参数取值有什么区别？测试运行 如何在数据开发测试调度参数？调度参数赋值异常，报错：FAILED:ODPS-0130161:[1,84]Parse exception-invalid token '$'。调度参数赋值异常：报错：params format ...
创建集群
专属集群的超配指标值默认值如下：MySQL、SQL Server引擎的 CPU超配比 默认值为：200%，Redis引擎的 CPU超配比 默认值为：300%MySQL、SQL Server、Redis 引擎的 空间超配比 默认值为：100%MySQL、SQL Server、Redis 引擎的 内存最大使用率 ...
- 产品推荐
- 这些文档可能帮助您