本文为您介绍了MaxCompute2.0版本内容更新的最新动态,基于此您可以了解MaxCompute中增加了哪些新功能、语法新特性和权限变更,为您开发项目提高效率。

时间 特性 类别 描述 适用客户 产品文档
2018.01.04 新增UDF示例程序目录和JSON字符串获取示例文档 体验优化 向您详细介绍如何通过Java UDF实现根据path路径获取JSON字符串的代码示例。 所有 JSON字符串获取示例
2018.12.20 新增使用Intellij IDEA开发工具进行Java UDF开发最佳实践文档 体验优化 向您详细介绍如何使用Intellij IDEA开发工具进行Java UDF开发。 所有 Intellij IDEA Java UDF开发最佳实践
2018.12.18 新增解决DataWorks 10M文件限制问题最佳实践文档 体验优化 向您介绍如何解决用户在DataWorks上执行MapReduce作业的时候,文件大于10M的JAR和资源文件不能上传到Dataworks的问题。 所有 解决DataWorks 10M文件限制问题最佳实践
2018.12.17 新增使用Eclipse开发工具进行Java UDF开发最佳实践文档 体验优化 向您详细介绍如何使用Eclipse开发工具进行Java UDF开发。 所有 Eclipse Java UDF开发最佳实践
2018.12.04 大数据计算服务 MaxCompute欧洲西部1(伦敦)节点正式开服售卖 新地域/可用区 大数据计算服务MaxCompute 欧洲西部1(伦敦)节点开服售卖。 可在国际站、中文站、日本站购买节点资源,在控制台按需求开通project。 所有 配置Endpoint
2018.11.28 新增在MaxCompute上分析IP来源的方法最佳实践文档 体验优化 向您介绍如何在MaxCompute上分析IP来源的方法,包括下载、上传淘宝IP地址库数据及编写UDF函数、编写SQL四个步骤。 所有 使用MaxCompute分析IP来源最佳实践
2018.11.26 新增从MongoDB提取JSON字段到MaxCompute最佳实践文档 体验优化 向您介绍如何利用DataWorks数据集成直接从MongoDB提取JSON字段到MaxCompute。 所有 JSON数据从MongoDB迁移到MaxCompute最佳实践
2018.11.15 处理非结构化数据目录更新为外部表 体验优化 处理非结构化数据目录更新为外部表。 所有 外部表
2018.11.13 新增JSON数据从OSS迁移到MaxCompute最佳实践文档 体验优化 向您介绍如何利用DataWorks数据集成将JSON数据从OSS迁移到MaxCompute,并使用MaxCompute内置字符串函数GET_JSON_OBJECT提取JSON信息。 所有 JSON数据从OSS迁移到MaxCompute最佳实践
2018.11.08 新增与MySQL、Oracle内建函数对照表 体验优化 帮助您根据MySQL内建函数查找对应的MaxCompute内建函数。 所有 与MySQL、Oracle内建函数对照表
2018.11.08 标题“导读”更新为“用户必读”,添加MaxCompute使用限制汇总 体验优化 标题“导读”更新为“用户必读”,添加MaxCompute SQL、数据上传下载、MapReduce、安全配置、Lighting、PyODPS等使用限制汇总。 所有 用户必读
2018.11.05 MaxCompute SQL新窗口函数cume_dist 新功能 该函数用于取得累计分布,相当于求分组中值小于等于当前值的行数占分组总行数的比例。 所有 窗口函数
2018.11.03 将Java SDK、Python SDK和PyODPS DataFrame自定义函数中使用第三方包三篇文档移动到SDK参考目录 体验优化 将用户指南中的Java SDK、Python SDK和PyODPS DataFrame自定义函数中使用第三方包三篇文档统一移动到SDK参考目录。 所有 Java SDKPython SDKPyODPS DataFrame自定义函数中使用第三方包
2018.11.02 新增RDS迁移到MaxCompute实现动态分区最佳实践文档 体验优化 向您介绍如何将RDS数据迁移到MaxCompute表实现动态分区。 所有 RDS迁移到MaxCompute实现动态分区
2018.10.31 MaxCompute SQL外部表功能计费 新规格 从2018年10月31日开始,MaxCompute SQL外表功能开始计费。MaxCompute下创建和OTS表存储关联的表格,使用SQL查询时,无论通过外网还是经典/VPC网络访问OTS(除非使用STS方式访问),OTS都会收取费用。当您需要内外表混合作业的时候,会分别计费。 所有 计量计费说明
2018.10.16 新增数据迁移文档 体验优化 整理将数据移迁移到MaxCompute的最佳实践相关文档。 所有 ~~90930~~#concept_phx_dgc_dfb
2018.9.29 MaxCompute SQL引擎新功能User Defined Type(简称UDT) 新功能 允许在SQL中直接引用第三方语言的类或者对象,获取其数据内容或者调用其方法。 所有 UDT
2018.9.29 MaxCompute UDF框架中新近引入的新扩展机制 新功能 满足了MaxCompute内置Join 操作无法实现的灵活的跨表、多表自定义操作,并且减少了对分布式系统底层细节的操作,提高了执行效率。 所有 UDJ
2018.9.27 PyODPS已全面对外开放 新规格 PyODPS是MaxCompute Python版本的SDK, 提供了DataFrame框架,现已全面对外开放。DataWorks也推出了PYODPS任务类型,可在DataWorks的PYODPS节点上直接编辑python代码操作Maxcompute。 所有 PyODPS
2018.7.30 新增一些典型的长尾问题的场景及其解决方案最佳实践文档 体验优化 向您介绍平时工作中遇到的一些典型的长尾问题的场景及其解决方案。 所有 计算长尾调优
2018.5.25 Maxcompute支持OSS压缩格式gzip 新功能 MaxCompute目前只支持通过内置extractor读取OSS上gzip压缩的CSV/TSV数据。与读取非压缩文件相比,主要区别是SERDEPROPERTIES指定的属性。 所有 访问OSS非结构化数据
2018.5.25 Maxcompute支持OSS上的Hive文件格式 新规格 存储在OSS上的各种流行的开源数据格式(ORC、PARQUET、SEQUENCEFILE、RCFILE、AVRO和TEXTFILE)可通过非结构化框架在MaxCompute进行处理。 所有 处理OSS的开源格式数据
2018.5.25 Maxcompute SQL新语法Select Transform 新功能 Select Transform功能明显简化了对脚本代码对引用,支持Java、Python、Shell、Perl等语言,且编写过程简单,适合adhoc功能的实现。 所有 Select Transform语法
2018.5.25 Maxcompute SQL新语法SEMI JOIN 新功能 MaxCompute支持SEMI JOIN(半连接)。SEMI JOIN中,右表只用来过滤左表的数据而不出现在结果集中。支持LEFT SEMI JOIN和LEFT ANTI JOIN两种语法。 所有 SEMI JOIN
2018.5.25 Maxcompute SQL支持CASE WHEN的隐式类型转换 新规格 Maxcompute SQL支持CASE WHEN的隐式类型转换 所有 CASE WHEN作用下的隐式转换
2018.5.16 MaxCompute提供全表扫描的设置操作 新功能 MaxCompute提供全表扫描的设置操作 所有 其他操作
2018.4.27 Dataworks支持MaxCompute PYODPS任务 新规格 DataWorks推出了PYODPS任务类型,集成了Maxcompute的Python SDK,可在DataWorks的PYODPS节点上直接编辑Python代码操作Maxcompute,也可以设置调度任务来处理数据,提高数据开发效率。 开发者 PYODPS节点
2018.4.14 MaxCompute自动续费支持过期实例续费 新规格 原先预付费用户实例过期,在续费中心找不到过期实例的续费方式,耽误项目正常使用,新功能可以帮助用户通过续费中心很方便的完成手动续费,保障项目的正常使用,操作步骤为登陆后选择左侧大数据—>数加控制台 ->MaxCompute续费管理 所有
2018.4.10 大数据计算服务 MaxCompute 美国东部1(弗吉尼亚)节点正式开服售卖 新地域/可用区 大数据计算服务 MaxCompute 美国东部1(弗吉尼亚)节点开服售卖。 可在国际站、中文站、日本站购买美东节点资源,在控制台按需求开通project。 所有 配置Endpoint
2018.4.2 MaxCompute Studio 2.9.0 新版本发布 新功能 支持代码检查和快速修复 2.支持graph开发及调试 3.更多改进及Bug Fix,请更新后查看Release Notes:MaxCompute Studio 2.9.0 开发者、数据分析师 认识Studio
2018.3.28 MaxCompute CU管家支持华东1杭州Region 新规格 本次MaxCompute为华东1预付费用户带来了计算资源管理功能;之前,MaxCompute 华东1预付费用户购买了CU计算资源,但并不清楚资源消耗的情况,现在,CU管家不仅可以帮助企业客户了解计算资源的消耗情况,还可以帮助企业客户排查计算任务排队情况,并根据任务重要程度,分组管理计算任务。 所有 MaxCompute预付费资源监控工具-CU管家
2018.3.23 MaxCompute Studio支持查询结果自定义Tunnel endpoint 修复问题 修复功能: 使用 Instance Tunnel 下载 SQL 结果时,用户可以指定 Tunnel endpoint。 所有 配置Endpoint
2018.3.22 大数据计算服务 MaxCompute 华东1(杭州)节点正式开服售卖 新地域/可用区 大数据计算服务 MaxCompute 华东1(杭州)节点开服售卖。 可在中文站、国际站、日本站购买杭州节点资源,在控制台按需求开通project。 所有 配置Endpoint
2018.3.22 增强SQL 编辑器功能 体验优化 DataWorks 通过在前端实现MaxCompute SQL和编辑器参数等扩展语法的AST解析,来提升脚本开发效率和开发体验,就像本地编辑器一样,提供智能代码提示,语法高亮,语法检查,风险及错误提示,类型检查等一系列功能。 所有 DataWorks 增强SQL编辑器功能
2018.2.9 PyODPS 0.7.15版本发布 新版本/新规格 PyODPS 0.7.15较与之前版本新增、优化和修复了相关功能,并提升了开发者的体验与效率: 1、在 Python 3.6版本上,开发者可以直接使用 DataFrame 自定义函数了; 2、修复 Python 3.5 版本上,DataFrame 自定义函数可能会导致错误的问题; 3、支持Xflow 运行时可以设置运行参数; 4、从 pandas DataFrame 创建 PyODPS DataFrame 时,as_type 参数可以指定组合类型(如 list 或者 dict 类型); 5、修复其他BUG。 Python开发者、数据分析师 Python SDK
2018.2.9 大数据计算服务 MaxCompute 印尼开服,亚太东南5(雅加达)节点正式售卖 新地域/可用区 大数据计算服务 MaxCompute 亚太东南5(雅加达)节点正式开服售卖。 可在国际站、中文站、日本站购买雅加达节点资源,在控制台上按需求开通project。 所有 配置Endpoint
2018.2.8 MaxCompute服务等级协议正式发布 体验优化 MaxCompute服务已对接服务等级监控(SLA)平台,用户可以直接在官网控制台可用性中心查看每月可用性数据。 服务承诺可实现99.9%的正常运行时间和可用性,如果未能实现承诺,客户可以提出赔偿申请。 所有 MaxCompute服务等级协议
2018.2.5 新增函数“TRANS_ARRAY”说明 新功能 该函数用于将一行数据转为多行的UDTF,将列中存储的以固定分隔符格式分隔的数组转为多行。 所有 其他函数
2018.2.3 MaxCompute Studio 2.8.2.3版本发布 体验优化 1.MaxCompute Studio Editor的侧边拦针对完整sql语句增加执行功能。原本当Editor工作区中有多条sql语句而仅需要执行其中某条sql语句时,需要先选中对应语句,再点击工具栏的执行按钮,才会只执行该条语句。本次优化后,可直接在左侧栏对对应的sql语句操作执行,符合开发者习惯,减少操作步骤,提升使用体验。 2. MaxCompute Studio Project Explorer中按类型划分内置函数。原本的函数列表不分类型,一个大列表显示所有函数,查找不方便,同时也无法区分名称相同类型和使用方式不同的函数。本次优化后内置函数列表按类型划分,与官方文档对应,方便开发者查找并使用对应的函数。 所有
2018.2.3 添加 top instance命令说明 新功能 添加 top instance命令说明 所有 常用命令-实例操作
2018.2.3 添加如何查看外部表的”external info” 新功能 添加如何查看外部表的”external info”(包括LOCATION、StorageHandler 等)信息的介绍。 所有 常用命令-表操作访问OSS非结构化数据
2018.2.2 添加 MaxCompute管家介绍入口 体验优化 MaxCompute管家就是解决这个预付费计算资源监控管理的问题。目前MaxCompute 管家主要提供三个功能,系统状态、资源组分配、任务监控。添加 MaxCompute管家 介绍入口 所有 MaxCompute管家
2018.2.1 MaxCompute Console支持top instance命令 新规格 MaxCompute Console 0.29.0版本推出top instance命令,支持开发者通过该命令查询当前项目空间内正在执行或排队的作业具体信息,方便开发者、管理员查看与管理当前项目作业情况。 MaxCompute开发者、DataWorks开发者、MaxCompute Studio开发者 实例操作
2018.1.31 MaxCompute CU管家 新功能 MaxCompute为预付费用户带来了计算资源管理功能;之前,MaxCompute 预付费用户购买了CU计算资源,但并不清楚资源消耗的情况,现在,CU管家不仅可以帮助企业客户了解计算资源的消耗情况,还可以帮助企业客户排查计算任务排队情况,并根据任务重要程度,分组管理计算任务。 MaxCompute预付费用户 MaxCompute预付费资源监控工具-CU管家
2018.1.22 DataHub 新增四大Region 新地域/可用区 DataHub新增开通华东2(上海)、华北2(北京)、华南1(深圳)以及亚太东南1(新加坡),可以在管控台上根据业务需求开通服务。 所有
2018.1.18 MaxCompute Studio 2.8.2.2版本发布 新版本/新规格 MaxCompute Studio 2.8.2.2 主要发布的功能有四点: 功能一: 支持python udf开发。 功能二: 支持非结构化unit test编写。 功能三:支持UDF local run时对复杂数据类型进行操作。 功能四:支持自定义sql语句格式化规则。 开发者 认识Studio
2018.1.18 大数据计算服务 MaxCompute 印度开服,亚太南部1(孟买)节点正式售卖 新地域/可用区 大数据计算服务 MaxCompute 亚太南部1(孟买)节点正式开服售卖。 可在国际站、中文站、日本站购买孟买节点资源,在控制台上按需求开通project。 所有 配置Endpoint
2018.1.15 于Package的跨项目空间的资源分享功能发布 新功能 Package是一种跨项目空间共享机制,主要用于解决跨项目空间授权问题 数据开发者和项目管理员 基于Package的跨项目空间的资源分享
2018.1.15 基于LabelSecurity的列级别安全访问控制功能发布 新功能 MaxCompute推出基于表字段级别的安全访问控制,更细粒度的管控 数据开发者和项目管理员 列级别访问控制
2018.1.10 MaxCompute禁止Full Scan功能开放 新功能 禁止全表扫描分区表,避免资源浪费,同时防止全表扫描带来的不必要费用。 大数据的管理者和开发者 其他操作
2018.01 新增项目空间的数据保护文档 体验优化 介绍项目空间的数据保护背景动机,介绍保护机制以及在开启保护机制后如何让数据流出的方法 所有 项目空间的数据保护
2018.01 新增“Hive UDF兼容示例”示例 体验优化 以一个示例介绍Hive的UDF如何在MaxCompute上使用。 所有 JAVA UDF
2018.01 添加TableTunnel接口说明以及底层实现和使用限制 体验优化 添加TableTunnel接口说明以及底层实现和使用限制。 所有 批量数据通道TableTunnel
2018.01 添加公开数据集介绍入口,给试用产品的用户提供测试数据 体验优化 添加公开数据集介绍入口,给试用产品的用户提供测试数据。 所有 公开数据集介绍
2018.01 新增Full scan功能开放的通告 新功能 由于Full Scan功能发布,在这些文档中添加相关说明。 所有 通告常用命令-其他操作SQL常见错误
2017.12 添加set flag的说明 体验优化 在会使用到2.0新扩展的数据类型的函数说明中,都加上需要set flag的说明 所有 日期函数数学函数字符串函数其他函数
2017.12 新增对应Studio2.8.2.*的新功能说明 新功能/体验优化 新增对应Studio2.8.2.*的新功能说明,包括可视化建表、历史提交sql、保存/查看logview、通过AK账户创建项目链接、自定义脚本模板等等 所有 MaxCompute Studio模块:可视化创建/修改表作业实例详情项目空间连接管理提交SQL脚本作业浏览
2017.12 添加3个MaxCompute Studio短视频 体验优化 添加3个短视频:Studio 安装介绍、通过Studio管理数据、Studio SQL Scripting 所有 MaxCompute Studio模块:Studio视频介绍
2017.12 新增函数 SUBSTRING说明 体验优化 新增函数SUBSTRING说明 所有 内置函数 字符串函数
2017.12 添加写入特殊类型数据的说明案例 体验优化 values语法中,添加写入特殊类型数据的说明案例,包括DATETIME、TIMESTAMP类型和ARRAY复杂类型 所有 SQL语句 更新表中的数据(INSERT OVERWRITE and INTO)
2017.12 新增MaxCompute服务等级协议相关说明 体验优化 新增MaxCompute服务等级协议相关说明 所有 MaxCompute服务等级协议
2017.11 添加MaxCompute和OSS、OTS的Owner为不同账号时的授权方式,修改访问OSS非结构化数据和访问OTS非结构化数据文档内容结构 新功能/体验优化 添加MaxCompute和OSS、OTS的Owner为不同账号时的授权方式,同时修改两个文档的内容结构,方便查找各个步骤的操作内容。 所有 访问OSS非结构化数据访问OTS非结构化数据
2017.11 添加TunnelUrl配置 新功能 Tunnel SDK所有示例代码中添加TunnelUrl配置,由于Tunnel Endpoint没有自动路由,若代码中不指定Tunnel的Endpoint,默认都是走公网。 所有 批量数据通道SDK示例
2017.11 添加跨项目空间Table、Resource、Function分享示例 体验优化 添加跨项目空间Table、Resource、Function分享示例 所有 安全指南的授权
2017.11 添加OSS源数据文件的外部表分区表的使用方法 新功能/体验优化 添加OSS源数据文件的外部表分区表的使用方法 所有 用户指南的访问 OSS 非结构化数据
2017.11 添加Studio4个操作短视频 体验优化 添加Studio4个操作短视频,对快速了解工具非常 所有 工具及下载的Studio部分Studio视频介绍
2017.10 新增详细的MaxCompute预付费实例的续费管理操作介绍 体验优化 新增详细的MaxCompute预付费实例的续费管理操作介绍,包括手动续费、自动续费、不续费;新增MaxCompute预付费实例的升级/降配操作介绍。 所有 续费管理升级/降配
2017.10 新增分区剪裁合理性评估最佳实践文档 体验优化 新增最佳实践文档,主要介绍如查询分区表时如何合理评估分区裁剪,以便提高查询任务效率,降低计算量。 所有 分区剪裁合理性评估
2017.10 更新用户及角色管理说明 体验优化 将原来准备工作中的添加用户、角色等说明下掉,统一由这个文档做链接引导到对应的安全指南文档。 所有 准备工作用户及角色管理
2017.10 重新整理准备工作和安全指南重复文档和去掉不支持的授权 体验优化 这些文档都将原来准备工作和安全指南中的快速开始、用户管理及授权3个地方重复的文档进行统一整理。授权中去掉了一些目前不支持的授权客体和action。 所有 安全指南的 用户管理角色管理授权查看权限项目空间的安全配置
2017.9 DML相关文档中添加MaxCompute2.0版本扩展支持功能 新规格 DML相关文档中添加MaxCompute2.0版本扩展支持的新功能,包括values、CTE、SEMIJOIN等。 所有 更新表中的数据(INSERT OVERWRITE and INTO)SELECT操作
2017.9 相关函数文档添加新支持的函数说明 新规格 相关函数文档添加新支持的函数说明。 所有 日期函数数学函数字符串函数其他函数
2017.9 数据类型文档添加新支持的数据类型说明,JAVA UDF文档添加新数据类型使用方法、返回类型、复杂数据类型示例 新规格/体验优化 数据类型文档添加新支持的数据类型说明包括基本数据类型和复杂数据类型。JAVA UDF文档添加新数据类型使用方法、返回类型、复杂数据类型示例。 所有 数据类型JAVA UDF
2017.9 添加新数据类型隐式转换对照表 体验优化 从SQL概要中拆分出来,同时添加新数据类型隐式转换对照表。 所有 类型转换
2017.9 添加华南1Tunnel Endpoint;添加香港、亚太东南1Region相关endpoint说明 新规格 添加华南1Tunnel Endpoint;添加香港、亚太东南1Region相关endpoint说明。 所有 访问域名和数据中心
2017.9 新增最佳实践:长周期指标的计算优化方案 体验优化 新增最佳实践文档。 所有 长周期指标的计算优化方案
2017.9 Logview和巧用 MaxCompute 编译器的错误和警告两篇文档移动 体验优化 将这两篇所在目录《JOB运行信息查看》从“工具及下载”移动到“用户指南”一级目录下。 所有 Logview巧用 MaxCompute 编译器的错误和警告
2017.9 处理非结构化数据文档移动到“用户指南”一级目录下,OSS和OTS自定义授权内容添加AliyunODPSRolePolicy的策略内容 体验优化 将《处理非结构化数据》相关内容移动到“用户指南”一级目录下,OSS和OTS自定义授权内容添加AliyunODPSRolePolicy的策略内容。 所有 处理非结构化数据
2017.9 产品简介目录下文档内容格式规范化 体验优化 产品简介目录下文档内容格式规范化。 所有 什么是MaxCompute