文档

Designer支持LLM数据预处理算子及常用模板

更新时间:

Designer支持LLM数据预处理算子及常用模板。

适用客户

适用于所有需要特定数据场景下进行LLM预训练及SFT的客户。

新增功能/规格

高质量的数据预处理是LLM成功应用的关键步骤,PAI-Designer提供去重、标准化、敏感信息打码等等常用的高性能数据预处理算子,并基于MaxCompute提供大规模分布式数据计算能力,可大幅提升客户在LLM场景下的数据预处理效率,进一步提升LLM模型的可靠性和效果。

产品文档

组件参考:大模型数据处理