数据预处理
对于文本数据而言，通常文本数据里面会含有很多跟任务无关的噪音，这时应该进行文本的预处理。在NLP自学习平台内置了一些预处理规则，如果您觉得有必要进行预处理，可以选择这些规则。我们内置的规则包括：去除 URL 链接；去除 emoji 表情...
Designer支持LLM数据预处理算子及常用模板
新增功能/规格 高质量的数据预处理是LLM成功应用的关键步骤，PAI-Designer提供去重、标准化、敏感信息打码等等常用的高性能数据预处理算子，并基于MaxCompute提供大规模分布式数据计算能力，可大幅提升客户在LLM场景下的数据预处理效率，...
BERT模型离线推理
算法简介 BERT是一种基于Transformer的自然语言处理预训练模型。它通过在大量文本数据上预训练，学习到文本的深层双向表示，然后可以通过少量的微调应用到各种下游的NLP任务中。该算法组件使用已经训练完的BERT分类模型，将输入表中的文本...
产品简介
产品简介 阿里巴巴通义实验室千寻搜索算法，基于达摩院长期积累的自然语言处理技术，专注企业统一搜索场景，提供精准的多源异构搜索，以PaaS服务形式提供离线数据处理和搜索服务API。同时支持公有云、专有云、基于云原生的基础架构下混合云...
联邦预处理
本文介绍了联邦预处理场景中的 API 及示例。重要 本文涉及 API 中所有的占位符，例如"$df0"，必须包含单引号或双引号。缺失值填充 函数路径 fascia.biz.preprocessing.fillna 函数定义 def fillna(fed_df:HDataFrame,columns:List[str]=...
预处理规则管理
查看预处理规则详细信息 在预处理规则列表中，单击预处理规则名称链接，即可查看该预处理规则的详细信息，包括该预处理规则在各节点中的存储地址、预处理配置和关联的任务等信息。基本信息 在预处理规则的 基本信息 页签下，可以查看预处理...
数据准备与预处理
本示例的数据预处理主要包括三个处理流程：将原始数据表中，取值为非数值类型的字段，通过SQL替换为数值类型的取值，以保证此预处理后，表中所有字段的取值都是数值类型。将表中字段转换为double类型，以保证此预处理后，表中字段均满足...
请求处理程序（Handler）
什么是请求处理程序 FC 函数的请求处理程序，是函数代码中处理请求的方法。请求处理程序分为事件请求处理程序（Event Handler）和HTTP请求处理程序（HTTP Handler）。其中事件请求由各种事件源触发生成，HTTP请求则由HTTP触发器触发生成。...
Kafka实时入湖
数据预处理 Kafka实时入湖提供了数据预处理功能对Kafka数据在入湖前进行处理，目前需要用户自定义预处理算子实现。Kafka默认字段列表 在使用数据预处理功能之前，我们需要清楚Kafka入湖过程中目标schema包含哪些字段，字段列表如下。字段 ...
术语表
术语 全称 中文 说明 OSS Object Storage Service 阿里云对象存储 媒体处理服务对用户存储于OSS的媒体文件进行转码，并将转码输出文件保存在MediaBucket中或者OutputBucket中。Bucket OSS Bucket OSS Bucket 遵守OSS Bucket定义，只能包括...
快速入门
自然语言处理NLP快速入门教程 如果您是首次使用自然语言处理NLP的相关服务，您可以参考以下的快速入门文档，以便帮助您更快的了解我们的产品功能。NLP自然语言处理 NLP自然语言处理快速入门 NLP自学习平台 快速入门导览 企业智能搜索 智能...
编译部署代码包
在 函数计算控制台 的 请求处理程序 配置中，Go语言的 FC 函数 请求处理程序 需要直接设置为[文件名]。该文件名是指编译后的二进制文件名称，当函数被调用时，函数计算 平台会直接执行该二进制文件。如果编译生成的二进制文件存放在ZIP包的...
编译部署代码包
在 函数计算控制台 的 请求处理程序 配置中，Go语言的 FC 函数 请求处理程序 需要直接设置为[文件名]。该文件名是指编译后的二进制文件名称，当函数被调用时，函数计算 平台会直接执行该二进制文件。如果编译生成的二进制文件存放在ZIP包的...
任务配置
平台可支撑自动驾驶生产线的全流程工作，包括 数据导入、数据标准化、数据预处理、数据预标注、人工标注、数据输出 等。您可拖拽所需任务节点，为其设置属性后，通过连线来快速构建所需工作流，并为其配置调度方式。任务流配置说明 数据...
建立设备与平台的连接
解压本地的C语言SDK文件，修改SDK中的设备证书信息。请单击 data_model_basic_demo.c 下载 data_model_basic_demo.c 文件，替换掉 \LinkSDK\demos 路径下的 data_model_basic_demo.c 文件，然后修改以下参数。char*product_key="a2*;char*...
Paho-MQTT C（非嵌入式版）接入示例
本文介绍如何使用Paho提供的C语言MQTT开源工程（非嵌入式版），将设备接入阿里云物联网平台，并进行消息收发。使用前必读 本文操作步骤以普通用户权限为例。如果您在操作过程中涉及到管理员权限才能执行的操作，可尝试使用 sudo 命令执行。...
请求处理程序（Handler）
对于C#语言的 FC 函数，其请求处理程序的格式为 程序集名称:命名空间.类名:方法名（Assembly:Namespace.ClassName:MethodName）。参数 说明 Assembly 创建的程序集的名称。Namespace 命名空间名称。ClassName 类名。MethodName 方法名。...
PolarDB PostgreSQL版间的迁移
目标已存在表的处理模式 预检查并报错拦截：检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表，则通过该检查项目；如果目标数据库中有同名的表，则在预检查阶段提示错误，数据同步任务不会被启动。说明 如果目标库中同名的表...
请求处理程序
您可以通过 函数计算控制台 配置 请求处理程序（函数入口），对于Java语言的函数，您的请求处理程序需配置为[包名].[类名]:[方法名]。例如，您的包名为example，类型为HelloFC，方法名为handleRequest，则请求处理程序可配置为 example....
请求处理程序（Handler）
什么是请求处理程序 FC 函数的请求处理程序，是函数代码中处理请求的方法。当您的 FC 函数被调用时，函数计算 会运行您提供的Handler方法处理请求。您可以通过 函数计算控制台 的 请求处理程序（函数入口）配置Handler。对Custom Runtime...
请求处理程序（Handler）
什么是请求处理程序 FC 函数的请求处理程序，是函数代码中处理请求的方法。当您的 FC 函数被调用时，函数计算 会运行您提供的Handler方法处理请求。您可以通过 函数计算控制台 的 函数入口 配置Handler。对Go语言的 FC 函数而言，您的请求...
任务管理
查看执行结果 脚本任务执行完成后，不同类型的脚本文件产出的结果不同，如下：脚本类型 执行结果 创建联邦表 联邦表（一个或多个）预处理规则 联邦表（一个或多个）预处理规则（一个）预处理应用 联邦表（一个或多个）模型开发 联邦模型 ...
请求处理程序（Handler）
您可以使用Node.js请求处理程序响应接收到的事件并执行相应的业务逻辑。本文介绍Node.js请求处理程序的相关概念、结构特点和示例。什么是请求处理程序 FC 函数的请求处理程序，是函数代码中处理请求的方法。当您的 FC 函数被调用时，函数...
请求处理程序（Handler）
什么是请求处理程序 FC 函数的请求处理程序，是函数代码中处理请求的方法。当您的 FC 函数被调用时，函数计算 会运行您提供的Handler方法处理请求。您可以通过 函数计算控制台 的 请求处理程序（函数入口）配置Handler。对Python语言的 FC ...
请求处理程序（Handler）
什么是请求处理程序 FC 函数的请求处理程序，是函数代码中处理请求的方法。当您的 FC 函数被调用时，函数计算 会运行您提供的Handler方法处理请求。您可以通过 函数计算控制台 的 请求处理程序（函数入口）配置Handler。对PHP语言的 FC ...
环境说明
使用限制 C#语言与Python、Node.js等脚本型语言不同。函数计算 仅支持通过 上传 ZIP 包、上传文件夹 或 通过 OSS 上传 方式上传编译打包后的代码，不提供C#语言在线编译的能力。C#运行时 函数计算 目前支持的C#运行时环境如下。NET版本 ...
代码开发概述
请求处理程序（Handler）事件请求处理程序（Event Handler）HTTP请求处理程序（HTTP Handler）上下文 编译部署代码包 日志 错误处理 函数实例生命周期回调方法 链路追踪 C#环境说明 请求处理程序（Handler）事件请求处理程序（Event ...
LLM大语言模型端到端链路：数据处理+模型训练+模型...
更详细的数据预处理流程，请参见 LLM数据处理。② 进行模型训练和离线推理。其中：LLM模型训练组件 该组件封装了 快速开始（QuickStart）提供的LLM模型，底层计算基于DLC容器任务。单击该组件，在右侧的 字段设置 页签可以选择 模型名称。...
数据集成概述
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
事件请求处理程序（Event Handler）
本文介绍C#事件请求处理程序的结构和特点。处理程序接口 当您创建一个基于C#的函数时，需要指定一个Handler方法，该方法在函数执行时被执行。这个Handler方法可以是Static方法或Instance方法。如果您想在Handler方法中访问 IFcContext 对象...
产品功能相关
文档智能是文字识别技术的进一步升级，除了文字识别，文档智能还综合运用自然语言处理、图像处理、电子文档解析、文档预训练模型等多种技术，实现对PDF/Word/Excel/图片等各类非结构化和半结构化文档的智能自动化处理。相较于文字识别只能...
Java Runtime如何配置函数入口？
在 函数计算 中使用Java编程语言时，需要定义一个函数入口，即请求处理程序。函数计算 将从这个函数入口开始执行函数。本文介绍如何通过控制台配置Java函数的请求处理程序。操作步骤 登录 函数计算控制台，在左侧导航栏，单击 函数。在顶部...
Java Runtime如何配置函数入口？
在函数计算中使用Java编程语言时，需要定义一个函数入口，即请求处理程序。函数计算将从这个函数入口开始执行函数。本文介绍如何通过控制台配置Java函数的请求处理程序。操作步骤 登录 函数计算控制台，在左侧导航栏，单击 服务及函数。在...
最佳实践
Paraformer语音识别 了解如何通过从视频文件中提取音轨、并进行合理的压缩以显著降低文件尺寸，从而减少API调用过程中的文件传输耗时、加快文件转写吞吐效率，请查阅：预处理视频文件以提高文件转写效率。通过OSS可以提高文件转写的效率和...
最佳实践
Paraformer语音识别 了解如何通过从视频文件中提取音轨、并进行合理的压缩以显著降低文件尺寸，从而减少API调用过程中的文件传输耗时、加快文件转写吞吐效率，请查阅：预处理视频文件以提高文件转写效率。通过OSS可以提高文件转写的效率和...
入门概述
数据准备与预处理 对原始数据进行预处理，生成模型训练集和模型预测集。数据可视化 对源数据或中间结果数据进行可视化处理，以获取数据分析结果。算法建模 使用符合业务场景的算法组件，加上预处理后的数据训练集进行算法建模。评估模型 ...
0040-00000373
问题描述 在使用新版本图片服务对图片添加图片水印时，设置的图片水印预处理相关参数格式无效。问题原因 image参数值经Base64解码后的图片水印预处理相关参数中（x-oss-process）出现了/watermark（水印嵌套）。问题示例 GET/example_image...
请求处理程序（Handler）
对于C#语言的 FC 函数，其请求处理程序的格式为 程序集名称:命名空间.类名:方法名（Assembly:Namespace.ClassName:MethodName）。参数 说明 Assembly 创建的程序集的名称。Namespace 命名空间名称。ClassName 类名。MethodName 方法名。...
环境说明
使用限制 C#语言与Python、Node.js等脚本型语言不同。函数计算 仅支持通过 上传 ZIP 包、上传文件夹 或 通过 OSS 上传 方式上传编译打包后的代码，不提供C#语言在线编译的能力。C#运行时 函数计算 目前支持的C#运行时环境如下。NET版本 ...
认证与连接
若设备需连接至物联网平台，请参考上述一机一密流程。免预注册和预注册区别如下：区别 预注册 免预注册 通信协议 MQTT、HTTPS MQTT 地域支持 基于MQTT的动态注册，物联网平台支持的所有地域。基于HTTPS的动态注册，仅限于上海区域，不推荐...
- 产品推荐
- 这些文档可能帮助您