如何选择阿里云AI服务
本文为您介绍阿里云提供的AI开发和应用服务,并总结了在使用AI服务前需要考虑的因素,帮助您选择自己所需的AI服务。
简介
人工智能是一组强大的技术,可以让计算机执行各种高级功能,例如分析和理解口语和书面语言、提供建议和帮助等。这项技术是现代计算创新的核心,可以为个人和企业提供巨大的价值。例如,图像分类技术就是其中之一,它利用人工智能的能力从图片中识别特征并进行分类,将非结构化的内容转化为可以被企业直接使用的结构化数据,从而发掘出有价值的数据洞见。
在探讨AI时,常常提到 “训练数据” 的概念。训练数据是指用于训练AI系统的数据集合,AI系统基于数据集合进行学习,并不断地随着新数据的注入进行迭代和改进。这一过程是机器学习的核心。机器学习是人工智能的一个子集,其算法利用大量的训练数据进行训练,从而获取更加准确和高质量的结果。
其中,生成式人工智能又是机器学习中快速增长的子集,2023年热门模型和应用ChatGPT、Stable Diffusion等都属于生成式人工智能领域,它们使用了大模型提供支持,在大量原始数据基础上对深度学习模型进行预训练,使得机器能够更进一步,能够“理解”语言甚至图像,并能够根据需要自动生成内容。
而在这一领域,阿里云提供了能帮助AI开发所需的一系列工具链和所需的模型,无论您是模型开发者、模型应用人员、直接使用AI的用户,您都可以根据自己及企业的具体需求灵活地选择AI服务。
本文旨在带领您了解阿里云提供的AI服务结构,帮助您快速选择合适的AI服务。
了解
阿里云提供了系统的AI开发和应用服务,帮助您及组织更快速、轻松、安全地构建、训练和部署机器学习模型。这些服务可以解决您业务的难题,如用户增长分析、图像语音识别、虚拟数字人构建等等。
阿里云提供完整的技术栈,从服务的层次角度,将AI服务划分为几类。
AI应用:阿里云提供AI的具体应用或者模型服务,阿里云根据用户的具体场景提供已经产品化的服务,您可以直接使用AI应用,如车牌识别、票证识别等。
模型平台和服务:阿里云提供基础模型与服务,来支持用户直接使用API调用服务,也支持使用自身的数据进行低资源的微调(Fine Tune)/提示词微调(Prompt Tuning),以得到用户自己的模型。
AI平台:阿里云提供从数据标注、模型开发,到模型训练推理,完整的工程能力,还基于大数据平台能力,提供数据上云、分析、开发及治理等产品化能力,支持用户一站完成AI模型开发。
此外,阿里云拥有强大基础设施技术能力和资源池,提供面向AI场景的算力、网络、存储等AI基础设施,支持用户高效训练模型和推理。
考虑
我们总结了在使用AI服务前需要考虑的因素,帮助您选择自己所需的AI服务。
业务需求
在选择AI服务前,需要明确您的“原始业务需求”是什么,即希望解决什么问题,达成什么目标。例如您希望能够自动识别图片中的地址,来减少成本或提升地址识别的效率。这直接影响您是否应该选择AI服务以及选择哪种I服务。
确定AI服务能够满足且是最优技术方案后,您可以选择:
直接使用已经产品化的AI应用,可以直接使用,如包含WebUI的通义千问应用,图像生成的通义万相应用;也可以通过封装的API快速调用服务,如通义千问、ChatGPT4等都对外提供API服务。阿里云面向行业、领域提供如智能客服、票据识别、车牌识别、数字人、AI Earth等数十个产品化的AI应用。
构建面向自己领域的模型或者通过API调用模型服务。阿里云同样提供模型平台和服务,您可以基于已有的基础模型,通过阿里云人工智能平台PAI的工程能力快速完成工程构建,并按需使用基础资源,训练并部署AI服务;也可以通过模型平台(如百炼)提供API,调用已经部署好的模型服务,如业界热点的大语言模型(LLM) 服务。
如果您希望从零训练自己的基础模型,甚至对外提供基础模型,阿里云可以为您提供AI基础设施,包括面向AI优化的算力、网络、存储资源。您只需关注模型开发本身,无需关注资源调度、设备部署运维等工程方面的问题。
安全合规和隐私保护
不管是训练模型和模型推理,都需要处理大量数据。这些数据来源于您的业务,可能包含有产品、用户的信息。建议您选择能够安全可靠地存储、传输、访问、管理数据的AI服务提供商,以确保数据的安全性和隐私性。
网络安全:阿里云AI服务使用专有网络(VPC),能够提供稳定以及安全的网络连接,同时不同用户之间的网络环境不同,逻辑上实现彻底隔离,避免数据和模型被窃取。
权限控制:阿里云支持RAM、RD等多种认证和权限管理方式。同时引入工作空间角色概念,您可以按需赋予成员资源管理员、算法开发等角色,以管理用户的访问权限,以保证组织内资源、资产使用的合理性。
资产管理:对模型、数据集、镜像等重要AI资产进行全生命周期管理,提供AI资产共享、异常问题回溯等能力,方便您合理使用核心资产。
监控告警:完善的监控告警服务,能帮助您更安全地使用计算资源及数据资产。阿里云提供云监控、日志服务等产品,能管理您使用的资产运行状态以及操作日志;阿里云PAI提供的AI Master组件,监控训练任务情况,并进行容错判断,提升计算任务的安全性、稳定性。
内容安全:如果您业务涉及AIGC服务,您可以使用阿里云的内容安全产品结合实人认证、风险识别,来保证产生的内容是合法合规,同时是可追溯到责任人的,为您规避规格风险。
了解算法选择和模型训练
了解AI服务所使用的算法和模型本身的特点和适用场景。这其中考虑的因素有很多:数据规模质量,如小规模数据可以选择简单模型和基于基础模型微调,标签化数据可以选择监督学习算法;模型指标,如准确率、性能、召回率等。选择适合业务需求的算法和模型,以确保服务的准确和高效。
阿里云提供人工智能平台PAI,支持主流140多种优化算法,并具备丰富的行业场景插件;同时提供通义千问、通义万相等通义系列基础模型。您可以直接应用基础模型能力,也能根据自己的领域进行微调,以更好地适配您的业务。同时,阿里云能无缝链接模型开源社区ModelScope,方便您灵活引入业界最新开源模型,应用前沿模型能力。
算力资源和设施性能
AI服务需要高性能的计算资源来支持算法训练和模型推理。了解您使用 AI服务或者模型所使用的计算资源类型、规模和性能指标,以确保服务能够满足业务需求并具有高性能。如Stable Diffusion模型训练使用了4000多个Nvidia GPU的集群。
阿里云拥有面向AI优化的灵骏智算服务,为您提供面向大规模深度学习及融合智算场景的PaaS平台产品,支持公共云Serverless版、单租版以及混合云产品形态,提供高性能AI训练、高性能计算所需的异构计算算力。您只需为AI训练所消耗的资源付费,无需建设、调优和运维复杂的计算节点、存储及RDMA网络,即可使用高扩展性、高性能、高性价比的智能计算基础设施环境。
数据处理
在人工智能领域,数据质量会直接影响模型的性能和最终结果质量。数据的噪音、不一致、错误等会导致模型不准确;数据缺乏多样性也会导致模型泛化性不足,在未被训练到的情况下表现不佳。如何治理数据以及让高质量的业务数据方便对接到AI服务中,也是您选择AI服务时需考虑的因素。
阿里云有AI+大数据最佳实践,打通实时计算Flink、离线计算MaxCompute等多种大数据产品,方便您直接治理数据,无门槛对接业务数据到AI服务中,同时依托数据产品的数据处理能力,以及DataWorks等产品完成定时调度,大大降低数据工程搭建难度。
使用/开发门槛
根据您或组织的技能和人员情况,您可以选择不同层次的服务:
无需太多开发经验和算法经验:AI应用,产品化程度高,开箱即用。
有一定的开发经验和AI算法能力:AI模型,基于已有模型进行微调,构建专属业务场景的模型或服务。
有完整的算法团队:基础设施资源,使用基础设施资源以及工程能力,打造品牌性的AI模型。
阿里云面向上面3大类用户提供所需的AI应用、模型服务以及AI基础设施,方便您选择适合自己的AI服务。
选择
现在您已经了解评估AI服务选项所依据的标准,并准备好选择阿里云AI服务,下面从产品角度,展示各个产品/服务针对的场景以及在各自应用场景里做了哪些优化。
AI应用
当您需要直接应用或集成AI能力,可以使用这些AI服务。
应用/服务 | 适用场景 | 面向场景做的优化 |
视觉智能开放平台 | 人脸人体检测、商品理解、图像识别等机器视觉领域应用。 | 针对视觉、语音、文字识别、自然语言处理等场景化优化,能适配如人脸识别、图像识别等大部分场景,自定义配置即可获得较好的效果,所需的AI知识门槛低。 |
智能语音交互 | 语音识别、语音合成、语音分析等语音交互领域应用。 | |
文字识别 | 证照识别、车辆物流识别等文字识别类领域。 | |
自然语言处理 | 分词、文本信息抽取、电商情感分析等自然语言处理领域。 | |
阿里翻译 | 文本、文档翻译、图片翻译等机器翻译。 | |
智能开放搜索 | 智能问答、行业搜索、高性能搜索等智能搜索服务。 | |
智能推荐AI Rec | 个性化推荐,如电商、内容、新闻咨询等领域积累的智能推荐场景。 |
基础模型与服务
应用/服务 | 适用场景 | 面向场景做的优化 |
基础模型:
| 您希望自行部署模型服务,或者需要使用基础模型进行简单定制化开发,如导入自己的业务数据进行微调,可以使用阿里提供的基础模型。 | 模型已经预训练完成,您可以直接使用或者使用自己领域的数据进行微调。您只需花费少量的资源进行训练,就可以获得带有您领域知识的大模型。 |
模型服务:
| 当您需要使用开源的大模型或者阿里基础模型时,可以使用百炼、ModelScope社区,无需您自行部署模型,直接使用API调用模型服务。另外,您也可以使用智码实验室来快速微调模型。 | 针对模型使用,已经集成了工程化能力,您可以通过脚本、API、SDK等多种方式直接调用模型分析。 |
AI平台
进行AI开发,包括大模型生产或领域模型优化,搭建自己的AI服务,可以使用人工智能平台PAI。它能帮助您完成从数据标注、模型建立、模型训练、模型推理部署等全部流程的AI服务开发工作。
应用/服务 | 适用场景 | 面向场景做的优化 |
PAI-QuickStart | 快速、低门槛进行AI开发。 | 集成了从模型训练到部署全过程,高效体验AI应用。 |
PAI-iTag | 进行数据标注,包括图像、文本、视频、音频等多种类型的数据标注。 | 支持多种类型数据标注以及多模态混合标注。 |
PAI-FeatureStore | 组织、存储和管理AI训练中使用的特征数据。 | 支持多种离线和实时数据源,包括MaxCompute、Hologres、TableStore,自动完成在线和离线表构建;支持共享特征方便多人协作等。 |
PAI-Designer | 模型开发、模型训练脚本开发,支持可视化建模。 | 内置了丰富的机器学习算法,覆盖商品推荐、金融风控及广告预测等场景,支持基于MaxCompute、通用训练资源、Flink等计算资源进行大规模分布式运算。 |
PAI-DSW | 模型开发、模型训练脚本开发,支持notebook交互式开发。 | 集成了JupyterLab、WebIDE、Terminal等多种云端开发环境,内置模型训练和模型部署插件,DSW Gallery提供了LLM、AIGC前沿领域的Notebook案例。 |
PAI-DLC | 训练模型阶段,使用分布式框架来加速训练,或者选择通用或者面向AI计算资源。 | 分布式训练服务,支持多种分布式框架,支持包括通用和灵骏智算等资源,同时支持AIMaster容错监控、模型高效保存回复。 |
PAI-AutoML | 训练模型阶段,按照策略自动完成模型超参数组合搜索,提升调优效率。 | 集成了PAI的多种算法,有效查找到最优超参组合,帮助您训练出更优模型;持续评估训练效果,无需计算所有组合得到最优解,节省计算资源;与PAI-DLC、MaxCompute计算资源无缝衔接,计算资源充沛。 |
PAI-EAS | 模型部署,并生成在线推理。 | 模型在线服务平台,支持用户将模型一键部署为在线推理服务或AI-Web应用。适用于实时推理、近实时异步推理等多种AI推理场景,具备自动扩缩容和完整运维监控体系等能力。 |
函数计算 FC | 模型部署,并生成在线推理。 | Serverless化,无需关注服务器等基础设施,只需将数据模型包装在调用函数中,更加简单便捷。 |
大数据平台
有高质量的数据能帮助您更好地生产,当您需要进行数据接入和数据处理时,可以使用阿里云的大数据产品,包括离线数据、在线数据、数据仓库等。
应用/服务 | 适用场景 | 面向场景做的优化 |
DataWorks | 数据建模、开发、安全、质量等大数据开发与治理。 | 支持复杂网络环境、常见数据源的数据同步上云以及实时、历史数据的批量与增量同步。支持万兆的同步速度,以及单用户千万级别的复杂任务调度。 |
MaxCompute | 数据抽取、转换、计算等数据加工,离线数据处理。 | 对外以API方式访问的在线服务,开箱即用;预铺设大规模集群资源,可以按需使用、按量计费;无需平台运维,最小化运维投入。 |
Flink | 数据抽取、转换、计算等数据加工,实时数据处理。 | 性能成本整体优于开源,灵活付费模型及智能扩缩容提高资源使用的精细程度,同时在开发效率、运维管理、企业安全有单独优化。 |
Hologres | 结构化/半结构化数据实时写入、更新、加工、分析。 | 统一数据平台,解决数据孤岛、数据口径不一致问题,分析效率在TPC-H 30000GB标准测试结果居世界领先;解决数据时效性问题,支持高性能数据实时写入。 |
基础设施
您或组织具备较强的AI工程搭建能力,希望完全自行构建AI平台,包括资源调度、工程部署等,您可以直接使用阿里云的基础设施。
应用/服务 | 适用场景 | 面向场景做的优化 |
PAI-灵骏智算服务 | 大规模高密度计算,如AI训练、高性能计算所需的异构计算算力服务,面向图形图像识别、自然语言处理、搜索广告推荐、通用大模型等大规模分布式的AI研发场景。 | 资源利用率提升3倍,并行计算效率提升90%;为异构算力优化的设备管理平台,支持资源池化,高使用效率的运维管理。 |
容器服务 ACK | 机器学习计算,用于管理GPU集群完成异构计算任务。 | 在Kubernetes容器平台上快速定制化构建AI生产系统,并为AI/ML应用和系统提供全栈优化。 |
云服务器 ECS | ECS的GPU实例适用于图形处理、云游戏云端实时渲染、AR/VR的云端实时渲染等瘦终端场景。 | IaaS级别云计算服务,提供GPU、FPGA等多种计算资源,计算资源即开即用、弹性伸缩。 |
使用
现在,您已经明确了选择AI服务时所需的标准,并能够精准地找到最适合您业务需求的服务。在此基础上,我们为不同的用户准备了内容,帮助您更好地使用云产品。
AI应用
您可以直接使用或者少量开发后使用。
产品 | 内容 |
视觉智能开放平台 | |
智能语音交互 |
|
文字识别 | |
自然语言处理 | |
机器翻译 |
|
智能开放搜索 OpenSearch |
|
智能推荐AI Rec |
|
模型平台和服务
产品 | 内容 |
通义千问 | |
通义万相 |
|
通义听悟 | |
通义灵码 | |
百炼 |
|
PAI-智码实验室 |
|
ModelScope |
AI平台
产品/组件 | 内容 |
PAI | 阿里云机器学习平台PAI提供全面的AI开发和部署工具,适合各类数据科学应用。 您将了解如何利用PAI体验最新的大数据和AI技术。 |
PAI-QuickStart | 若您希望快速掌握PAI平台,这里的概览和入门指南是您的理想选择。 本指南将引导您使用PAI-QuickStart快速训练和部署模型。 |
PAI-iTag | 您可以在这里快速了解PAI-iTag服务,并学习如何开始使用该标注工具。 |
PAI-FeatureStore | 若要管理机器学习特征,PAI-FeatureStore特征存储服务将为您提供所需知识。 向您介绍如何在推荐系统中应用PAI-FeatureStore来管理特征。 |
PAI-Designer | 初次使用可以了解PAI-Designer的服务的功能特性。 您可以在这里学习通过PAI-Designer设计机器学习流程的操作。 |
PAI-DSW | 帮助数据科学家和分析师利用PAI-DSW工作台提高工作效率。 实操使用PAI-DSW上的WebIDE在线调试代码。 |
PAI-DLC | 了解如何在PAI-DLC上提交各类数据科学计算任务。 介绍在PAI-DLC上快速提交离线迁移学习训练任务。 |
PAI-AutoML | 了解自动化机器学习工具PAI-AutoML的特性,帮您训练出更优模型。 使用PAI-AutoML及MaxCompute,实操K均值聚类训练任务。 |
PAI-EAS | 快速了解PAI-EAS服务,包括快速部署模型的特点、原理及流程。 使用EAS部署SDWebUI,使能AI绘画能力。 |
PAI-Rec | 快速了解PAI-Rec服务,包括开发流程、特点等。 详细说明如何初始化PAI-Rec服务,帮助您顺利部署推荐系统。 |
函数计算 FC | 通过视频快速了解函数计算产品的架构、使用、计费信息。 实操了解Stable Diffusion、AI对话机器人等多种模型部署。 |
大数据平台
产品 | 内容 |
DataWorks | 了解大数据治理产品DataWorks的产品架构以及产品使用场景。 实操学习如何使用DataWorks分析AI公共数据集。 |
MaxCompute | 了解MaxCompute高效处理和分析大规模数据的能力。 帮您了解如何使用客户端快速使用MaxCompute。 为您提供在MaxCompute上构建和优化数据仓库的方法和最佳实践。 |
Flink | 了解阿里云Flink产品,帮助您处理大规模实时数据流。 通过Flink快速入门,您将学会如何利用内置的公共数据集体验实时计算服务。 |
Hologres | 帮助您了解阿里云Hologres实时分析型数据库多场景查询分析、企业级运维等能力。 快速了解Hologres的使用流程。 |
AI基础设施
产品 | 内容 |
PAI-灵骏智算服务 | 介绍灵骏智算服务的应用场景,包括科学智能、自动驾驶等大规模分布式训练。 介绍如何开通、创建灵骏集群。 |
容器服务 ACK | 了解云原生为AI提供的技术和产品方案,包括产品架构、核心功能、使用场景、计费等信息。 实操如何在ACK集群运行深度学习任务,优化分布式训练性能,调试模型效果,并最终把模型部署到ACK集群中。 |
云服务器 ECS | 通过体验课程学习云服务器的搭建、配置、环境部署以及运维。 实践学习如何使用ECS搭建对话大模型、AIGC绘画、视频生成等。 |
探索
内容 | 说明 |
阿里AI依托阿里云基础设施、大数据和AI工程能力、场景算法技术和多年行业实践,一站式地为企业和开发者提供云原生的AI能力体系。 | |
提供来自众多行业和技术方向的应用和案例,简单易用,一键启动,助您有效提升开发效率。 | |
阿里云通义官网,包含通义千问、通义灵码、通义万相等诸多应用。 |