Docker 作业示例
作业准备 本作业程序使用 python 编写，目的是统计一个日志文件中“INFO”，”WARN”，”ERROR”，”DEBUG”出现的次数。该作业包含3个任务：split,count 和 merge。split 任务会把日志文件分成 3 份。count 任务会统计每份日志文件中...
基础架构安全实施最佳实践
如企业级云上网络分区分域设计、云上同城/异地容灾网络设计、DMZ-VPC区域设计、VPC东西向流量隔离和管控设计、云上云下混合云组网设计等最佳实践方案。详细说明参考网络安全保护中相关内容。账号体系设计最佳实践 阿里云基于Landing Zone...
使用Azkaban调度MaxCompute
基于此场景，您可以设计作业、作业调度流程、各作业对应的作业文件及脚本文件如下。前提条件 在执行操作前，请确认您已满足如下条件：已下载并安装MaxCompute客户端。更多安装并配置MaxCompute客户端操作，请参见 安装并配置MaxCompute客户...
Landing Zone咨询服务内容说明
安全防护方案设计：基于调研与评估的结果，为客户设计安全防护方案，包含：网络安全：主要指安全组配置，设计云上网络安全域划分方案，通过网络安全区域进行应用的隔离，同时针对应用的具体需求进行联通配置；主机安全：包括主机的漏洞、...
Python SDK 快速开始
作业准备 上传数据文件到 OSS 上传任务程序到 OSS 使用 SDK 创建（提交）作业 查看结果 1.作业准备 本作业是统计一个日志文件中“INFO”,”WARN”,”ERROR”,”DEBUG”出现的次数。该作业包含3个任务：split,count 和 merge:split 任务会把...
阿里云Landing Zone服务内容说明
通过该服务帮助客户进行账户管理方案设计、网络规划方案设计、财务管理方案设计、资源管理方案设计、合规审计方案设计、安全防护方案设计与方案技术验证服务。通过该服务指导客户根据阿里云最佳实践更快地设置安全的多账户阿里云环境。...
控制台快速开始
步骤预览 作业准备 上传数据文件到 OSS 上传任务程序到 OSS 使用控制台提交作业 查看作业状态 查看结果 1.作业准备 本作业是统计一个日志文件中 INFO、WARN、ERROR、DEBUG 出现的次数。该作业包含3个任务：split、count 和 merge:split ...
企业云化IT治理服务工作说明书
安全防护方案设计 基于企业IT治理调研与评估的结果，为客户设计安全防护方案，包含：网络安全：主要指安全组配置，设计云上网络安全域划分方案，通过网络安全区域进行应用的隔离，同时针对应用的具体需求进行联通配置。主机安全：包括主机...
基础功能
max-queue-count值不建议配置过大，聚合上报的条数越大，单次请求日志占用的带宽越大，存在网络丢数风险 3.2 修改SDK网络请求占用通道数量（可选）某些小程序平台（如微信小程序等）要求在短时间内如果发起太多网络请求，会造成页面性能受...
高级应用：实现复杂作业逻辑
如果您的作业设计循环逻辑，可以考虑使用这两类DataWorks通用节点。for-each节点 DataWorks的for-each节点主要用于有循环遍历的场景，且需要与 赋值节点 联合使用，将赋值节点作为for-each节点的上游节点，将赋值节点的输出结果赋值给for-...
API 概览
本文汇总了 mPaaS 小程序涉及的所有 API，具体接口信息请参阅相应的 API 文档。界面 导航栏 名称 功能说明 my.getTitleColor 获取导航栏背景色。my.hideBackHome 隐藏标题栏上的“返回首页”图标。my.hideNavigationBarLoading 在当前页面...
网络
my.request 小程序网络请求。my.request 目前支持 GET/POST/DELETE。my.request 目前只支持 HTTPS 协议的请求。说明 基础库 1.11.0 及以上版本支持该接口可以使用 my.canIUse('request')做兼容性处理。详见 小程序基础库说明。mPaaS 10.1....
大数据上云及巡检服务内容说明
本服务不包括以下内容 本服务不包括应用迁移/数据库平迁/应用程序改造/应用程序设计/数据库逻辑结构设计。迁移未明确认定为“范围内”的应用系统。迁移未明确认定为“范围内”的数据。云平台基础架构设施及环境的设计与搭建。实施所需的...
大数据实时计算性能调优服务
服务定位：实时计算性能调优服务旨在帮助客户落地稳定健壮的实时方案，从实际业务场景出发，针对异常作业或反压作业设计的调优服务，提供调优方案制定及落地实施服务，帮助企业更好地实现实时监测、实时推荐、实时反作弊等业务场景。...
概述
在工业物联网场景中，企业需要把现场传感器采集的数据通过网络实时传输到云上的业务系统，对作业环境、设备运行情况进行实时监控和预测性维护。此时可以通过阿里云物联网平台，以MQTT协议方式传输，以适应设备规模增长和实时性、稳定性需求...
上下游存储
全量MaxCompute和增量MaxCompute源表作业是否支持暂停作业后修改并发数，再恢复作业？作业启动位点设置了2019-10-11 00:00:00，为什么启动位点前的分区也会被全量MaxCompute源表读取？增量MaxCompute源表监听到新分区时，如果该分区还有...
通用服务条款
您承诺不应大量占用，亦不得导致如程序或进程等大量占用阿里云云计算资源（如云服务器、网络带宽、存储空间等）所组成的平台（以下简称“云平台”）中服务器内存、CPU或者网络带宽资源（比如但不限于互联网挖矿等行为），并给阿里云云平台...
功能特性
用户使用工具（如 SDK，命令行工具等）向 BatchCompute 提交作业，BatchCompute 使用用户指定的镜像（如：ubuntu）启动虚拟机（VM）,在虚拟机中运行用户程序,运行完成后释放虚拟机（VM）。BatchCompute 中使用 OSS 作为持久化存储。您可以...
数据安全
利用可用区，您可以设计和操作应用程序和数据库，使其在可用区之间实现无中断的自动故障转移。与传统的单个或多个数据中心基础设施相比，可用区具有更高的可用性、容错性和可扩展性。有关阿里云区域和可用区的更多信息，请参见 地域和可用...
前言
镜像中封装了运行作业的程序或算法，使用 App 提交作业，只需要指定输入数据和输出路径即可以运行作业，而不用关心上述的资源配置以及程序运行的细节。工作原理 创建 App：创建 App 时，将运行作业需要的软件或脚本安装在自定义的镜像中，...
设计小程序
途径一：在网站控制台首页，单击 进入设计>小程序，皆可进入小程序设计器 途径二：单击左侧导航栏中的 小程序管理，然后在我的小程序页面单击 设计，即可进入小程序设计器。选择模板。模板可根据场景和色系自行选择。设计小程序。可通过对...
监控与报警
网络接收数据量（作业维度）指定作业的网络接收数据量（MB）。网络发送数据量（作业维度）指定作业的网络发送数据量（MB）。GPU算力使用率（作业维度）指定作业的GPU算力使用率。GPU显存使用率（作业维度）指定作业的GPU显存使用率。GPU SM...
基本概念解释
本文为用户介绍版权与专利的基础概念，方便用户更好地使用服务。版权相关概念 什么是著作权？...文档指用来描述程序的内容、组成、设计、功能规格、开发情况、测试结果及使用方法的文字资料和图表，如程序设计说明书、流程图、用户手册等。
通过命令行提交作业
E-HPC支持PBS、SLURM、SGE等作业调度系统，本文介绍如何使用三种调度系统，通过命令行提交作业。准备工作 创建集群用户。具体操作，请参见 创建用户。集群用户用于登录集群，进行编译软件、提交作业等操作，本文创建的用户示例如下：用户名...
Flink JAR作业快速入门
本文带您快速体验Flink JAR流作业和批作业的创建、部署和启动，以了解实时计算Flink版JAR作业的操作流程。前提条件 如果您使用RAM用户或RAM角色等身份访问，需要确认已具有Flink控制台相关权限，详情请参见 权限管理。已创建Flink工作空间...
通过控制台管理作业
本文介绍通过 云原生多模数据库 Lindorm 控制台管理计算引擎作业，包括创建、查看和终止Spark作业。前提条件 已开通计算引擎。如何开通，请参见 开通与变配。已完成作业开发。如何开发，请参见 JAR作业开发实践 或 Python作业开发实践。已...
数据开发常见问题
解决方案：建议不要使用Shell类型作业开发Hive、Spark或Sqoop等作业，尽可能使用原生作业类型（例如，Hive、Spark或Sqoop等类型）进行开发，这些作业类型存在一定的关联机制，可以确保作业驱动程序本身和YARN Application状态的一致性。...
Tair开发运维规范
云原生内存数据库Tair 拥有极强的性能，阿里云结合多年的运维经验，从业务部署、Key的设计、SDK、命令、运维管理等维度展示 Tair 开发运维规范，为您设计高效的业务系统提供参考，帮助您充分发挥Tair的能力。了解 Tair 性能边界 图 1.Tair ...
云数据库Redis开发运维规范
云数据库Redis拥有极强的性能，阿里云结合多年的运维经验，从业务部署、Key的设计、SDK、命令、运维管理等维度展示云数据库Redis开发运维规范，为您设计高效的业务系统提供参考，帮助您充分发挥Redis的能力。了解Redis性能边界 图 1.Redis...
接入 iOS
本文介绍如何在客户端配置性能监控埋点，包括网络监控、H5 性能监控、页面加载监控、启动速度监控、小程序监控。前提条件 确保 mPaaS 基线版本≥10.1.68.44。如当前使用的基线版本低于 10.1.68.44，可参考 mPaaS 10.1.68 升级指南 进行基线...
交通
一次开发、多次复用：Web 端与小程序的网络请求全部使用相同的框架，因此 Web 端已开发完成的业务能够快速地迁移至 mPaaS 小程序中，只需简单的调整即可满足 mPaaS 业务逻辑的处理需要，从而避免业务逻辑代码重复编写，保证双端业务逻辑...
通过DMS管理作业
JAR包存储至HDFS：hdfs:/path/spark-examples_2.12-3.1.1.jar JAR包存储至OSS：oss:/testBucketName/path/spark-examples_2.12-3.1.1.jar mainClass String 是 JAR作业的程序入口类。com.aliyun.ldspark.SparkPi args Array 否 传入...
安全告警概述
可检测以下子项：访问恶意IP 挖矿程序 自变异木马 恶意程序 木马程序 异常网络连接 检测网络显示断开或不正常的网络连接状态。可检测以下子项：主动连接恶意下载源 访问恶意域名 矿池通信行为 可疑网络外连 反弹Shell网络外连（详细信息，...
本地调试作业
完成作业的本地开发后，可以通过提交JAR作业的方式将Spark作业提交至云上运行，具体操作请参见 步骤一：依赖配置，请将Spark作业中使用的连接地址修改为Lindorm计算引擎的专有网络连接地址。调试Spark作业 以 Spark作业示例 为例，通过IDEA...
访问RDS MySQL数据源
通过ENI访问RDS MySQL数据 上传驱动程序及Spark作业依赖的Jar包 编写访问RDS MySQL表的示例程序（即Spark作业依赖的Jar包），并进行编译打包。本文生成的Jar包名称为 rds_test.jar。示例代码如下：package ...
VPC环境
BatchCompute 在创建集群或作业的时候，可以指定集群创建在 VPC 环境内（和原有经典网络配置互斥），然后用户程序在VPC内的集群中运行访问其他云产品的程序时需要使用该云产品在 VPC 环境内的入口，可以参考相关云产品的文档，或者工单询问...
准备工作
使用 BatchCompute-cli 命令行工具，您可以快速提交作业，可以很方便的管理作业和集群。说明：本工具只在 Python 2.7，3.4，3.5 版本测试通过，其他Python版本慎用。安装 pip install batchcompute-cli#如果以前安装过，使用以下命令升级 ...
Ambient Mesh模式概述
Ambient Mesh的设计是非侵入式的，并且仅对存在特定标记的命名空间并使现有应用程序成为Ambient Mesh的一部分，可以逐步采用。一旦应用程序成为Ambient Mesh的一部分，它立即获得mTLS和L4可观察性功能。Ambient 模式下的路由 在Ambient ...
迁云咨询服务
本项目乙方服务不包括以下内容：应用程序改造、应用程序设计、数据库逻辑结构设计 迁移未明确认定为“范围内”的应用系统 迁移未明确认定为“范围内”的数据 云平台基础架构设施及环境的设计与搭建 实施所需的通信基础架构和组件 安装或...
性能优化指导原则
为了使您的应用程序在OSS上获得最佳性能，建议您遵循以下指导原则。测量性能指标 根据CPU、网络吞吐量的要求来评估不同的ECS实例规格。有关实例规格的更多信息，请参见 ECS实例规格。此外，建议您在测量性能时使用HTTP分析工具查看DNS查询...
- 产品推荐
- 这些文档可能帮助您