功能名称 | 功能描述 | 相关文档 |
答疑支持 | 新增工单答疑支持功能,您可以在页面右下角快捷呼出答疑机器人或提交工单联系我们,为您解答疑惑。 | 答疑支持 |
计算设置 | 未创建过计算源时,支持修改计算设置部分的MaxCompute的地域和网络连接方式。 | 设置Dataphin实例的计算引擎为MaxCompute |
研发平台设置 | | 研发平台设置 |
项目角色管理 | 自定义项目角色中,拥有成员管理-编辑权限的角色不可将用户配置成为项目管理员(包括自己)。 | 项目角色管理 |
成员管理 | 一键转交负责人优化,支持转交数据表负责人、任务的运维负责人和监控负责人。 | |
数据源管理 | 新增Amazon S3、TDengine数据源。 Oracle数据源支持的版本,新增Oracle11g、Oracle12c、Oracle18c、Oracle19c、Oracle21c、Oracle23c。 部分数据源支持配置数据库连接超时、重试次数,此外,离线集成任务中也可单独配置任务级别的重试次数。对离线集成任务和全域数据质量监控规则运行生效,支持的数据源包括,MySQL、PolarDB-X(原DRDS)、PolarDB、AnalyticDB for MySQL 2.0、AnalyticDB for MySQL 3.0、TiDB、GoldenDB、StarRocks、PostgreSQL、AnalyticDB for PostgreSQL、GreenPlum、Microsoft SQL Server、Vertica、SAP HANA、IBM DB2、OceanBase、ClickHouse、达梦、KingbaseES、GBase 8a、Doris。 MySQL数据源新增RDS MySQL版本,使用MySQL 8.0的驱动,支持OpenSSL 3.0,且兼容MySQL5.6、MySQL5.7版本。 ElasticSearch数据源支持HTTPS协议的URL。
| |
离线集成 | 新增集成任务列表,支持批量提交、批量下线删除、批量调度/依赖/参数/运行配置、批量移动目录、批量转交开发负责人、批量获取锁操作。 新增Amazon S3输入输出组件。 脚本模式输入输出组件字符数扩增至50万。 过滤组件新增START WITH和END WITH函数。 支持将Timestamp数据类型字段写入Lindorm(宽表)。 支持配置每个任务运行时针对每个数据库的连接,离线集成任务中配置的重试次数优先级高于数据源的配置。
| |
计算任务 | 计算任务提交时,针对循环依赖的错误提示信息进行优化,展示具体的节点名称、节点ID、依赖路径。 MaxCompute新增支持pivot和unpivot语法。 离线计算任务和集成任务在无下游依赖时支持编辑节点输出名称。
| 新建MAX_COMPUTE_SQL任务 |
离线计算模板 | | 新建离线计算模板 |
即席查询 | 即席查询、分析查询结果展示优化,Bigint、Decimal类型的数据支持展示完整的精度,其中,Bigint支持的范围为-263+1~263-1。 | 查询并下载数据 |
资源 | 支持在.py类型的资源文件中使用from dataphin import odps/hive ,使用条件和限制与在Python任务中一致;使用该语句,支持读取逻辑表和进行表鉴权。 | 上传资源及引用 |
离线研发和建模研发 | 开发环境下,逻辑表数据预览变量参数值优化,本地变量的参数值默认填充参数配置中已配置的值,日期时间全局变量取当前最新值。 开发环境下运行计算任务以及对逻辑表进行数据预览时,参数运行值自动填充逻辑优化,修改运行使用的参数值后,将保留该运行值直到被再次修改或缓存被清除;新增快捷恢复默认值操作。 新增跨节点参数功能,Python、SQL、Shell计算任务支持给一个或多个变量参数赋值,并将该参数及其赋值直接传递给依赖该任务的直接下游节点,以支持上下游任务之间的变量值传递。 支持所有类型的离线任务(计算任务、集成任务、逻辑表)接收直接上游任务的跨节点输出参数,可将跨节点参数值赋值本地变量,基于跨节点条件调度决定当前节点的调度方式和调度时间。 原子指标计算逻辑重复性校验优化,当计算表达式一致但事件时间(即统计周期标识)不同时,视为计算逻辑不重复。 逻辑表和指标创建成功后,默认授予逻辑表及指标创建人查询权限。
| |
实时研发 | Flink CDC抽取MongoDB时支持过滤delete操作。 Flink SQL任务支持通过数据源编码的方式直接访问Oracle、StarRocks数据源中的表。 Flink SQL任务支持引用示例代码快速创建任务,内置CDC实时数据同步入数据湖或数仓,Kafka实时数据处理等示例代码。 新增实时计算任务列表,支持批量提交、批量下线删除、批量运行配置、批量移动目录、批量转交开发负责人、批量获取锁操作。 实时计算任务支持为set参数配置空值。
| 新建FLINK_SQL任务 |
发布中心 | | 管理发布任务 |
基础运维 | 补数据实例汇总运行状态统计忽略暂停状态,若有暂停实例,将单独提示。 周期实例/补数据实例支持按照实例名称(仅周期实例支持)、定时运行时间、开始运行时间、结束运行时间、运行时长进行排序。 支持批量运行手动任务。 支持在运维列表批量修改逻辑表的运维负责人和优先级。 周期实例和补数据实例展开DAG图时列表缩略信息优化,支持展示实例名称、业务日期、运行状态。 项目计算源为Flink VVP项目时,支持配置实时任务监控告警。
| |
数据标准 | 落标映射规则的映射关系配置新增支持属于(in)运算符。 数据标准支持配置关联标准;支持根据属性值配置自动识别关联码表;支持在标准属性抽屉中查看关联信息,并可一键跳转查看关联对象详情。 标准模板属性支持排序;支持预览新建标准时的属性样式。
| |
数据质量 | 新增知识库功能,支持记录配置问题和解决方案,便于了解该知识相关的质量问题、相关政策文件等,并可关联质量规则。 Dataphin数据表、指标支持通过自定义SQL的方式创建自定义统计指标、数据详情的校验模板。 支持通过Excel的方式批量上传基于自定义SQL模板创建的质量监控规则。 及时性-时间函数比较模板,针对时间差配置项,支持选择校验字段-比较字段、比较字段-校验字段两种字段校验方式,以满足灵活配置的场景。 质量监控规则校验不通过而运行失败的实例,支持在运维中心的实例运行日志中查看失败原因;涉及统计指标比较类的规则,日志中直接展示统计指标值与配置校验通过的指标要求。 数据表监控对象的调度配置中,校验分区升级为校验范围,和规则配置中的过滤条件一起生效,实现对校验数据的过滤,并作为质量报告的最小查看粒度。可配置校验范围的对象由原本的分区表扩大为所有数据表。 质量告警信息优化,支持发送质量规则校验的核心指标数据: 校验记录的校验结果中的统计指标展示优化,展示顺序为:本次的校验指标>实际计算得到的统计指标值>计算统计指标的中间过程指标,便于更直观地分析质量问题。
| |
数据安全 | | |
标签工厂 | | |
分析平台-手工表 | 新增手工表功能: 支持通过导入DDL语句或导入已有表的方式快捷创建手工表。 支持在线编辑手工表数据,可选择是否将变更内容同步到计算引擎并保存。 支持将手工表分享给其他用户;支持查看手工表发布的历史版本。
Notebook大纲支持跳转到对应单元。
| |
数据服务 | 高级SQL支持以传参的方式动态指定SQL语句查询返回的字段,参数名需以var_cols开头(格式:var_cols_xxx),并将参数写在查询语句内,调用API时,传入需要查询的字段即可,实现动态返回查询结果。 高级SQL需要定义完整的API返回参数,如果查询语句中包含返回字段,但API的返回参数未配置,则调用报错。 API测试页面支持查看API的脚本内容,便于检查测试的结果是否符合脚本的查询逻辑。 API变更后发布流程优化: 当API没有绑定应用且没有被组合API引用时,可直接变更API的参数配置并重新发布。 支持在项目级别配置API发布管控机制。当项目下的API变更发布后对下游使用产生影响时,可以根据影响范围以及严重程度选择不同的管控机制。 当API已绑定应用或已经被组合API引用时,重新发布时需要与线上生效版本对比,如果存在以下情况:新增了必填请求参数、删减了请求参数、删减了返回参数、或者变更了请求参数的数据类型,将根据API所在项目配置的API发布管控机制判断是否允许发布。
基于服务单元创建的API,不限数据源类型,支持最大返回条数为1万条。 新增TDengine数据源类型的直连API,当使用基础SQL模式时,解析出的请求参数限制为必填项;分页和排序的公共请求参数无法使用,需要在SQL中定义分页和排序。 直连数据源创建API支持自定义配置复杂SQL,重新解析后,决定是否要自动覆盖手动的配置信息。 服务调用示例下载和SDK下载,代码注释提示优化。
| |
跨租户发布 | 跨租户发布设置配置升级: Dev-Prod开发项目支持校验个人权限、提交时忽略个人权限校验2种方式;生产项目权限支持校验生产账号权限、自动赋权2种方式。 发布校验支持校验操作人权限和忽略权限校验2种方式。 业务对象上线、设置了发布审批或开启代码审核的研发对象,忽略审批直接发布。 数据标准发布支持忽略审批和遵循标准集配置2种方式。
数据标准相关对象支持跨租户发布,包括标准模板、标准集、标准集目录、公共标准属性(自定义)、数据标准、落标映射规则、映射关系、码表、词根;如果数据标准监控配置引用了质量监控模板或安全分类分级,也可一并导出。 资产安全相关对象支持跨租户发布,包括:密钥、识别结果、数据分类与分级(包括识别特征)。 跨租户发布导出集成任务,若引用了加解密组件,密钥的依赖关系将一并导出,并在发布时根据依赖关系进行密钥填充和替换。 逻辑表任务导出时,可同步导出字段与数据标准的关联关系。
| |