Designer支持LLM数据预处理算子及常用模板。
适用客户
适用于所有需要特定数据场景下进行LLM预训练及SFT的客户。
新增功能/规格
高质量的数据预处理是LLM成功应用的关键步骤，PAI-Designer提供去重、标准化、敏感信息打码等等常用的高性能数据预处理算子，并基于MaxCompute提供大规模分布式数据计算能力，可大幅提升客户在LLM场景下的数据预处理效率，进一步提升LLM模型的可靠性和效果。
产品文档
文档内容是否对您有帮助？
Designer支持LLM数据预处理算子及常用模板。
适用于所有需要特定数据场景下进行LLM预训练及SFT的客户。
高质量的数据预处理是LLM成功应用的关键步骤，PAI-Designer提供去重、标准化、敏感信息打码等等常用的高性能数据预处理算子，并基于MaxCompute提供大规模分布式数据计算能力，可大幅提升客户在LLM场景下的数据预处理效率，进一步提升LLM模型的可靠性和效果。