大数据项目实战 pdf-大数据项目实战 pdf文档介绍内容-阿里云

操作审计事件数据迁移至MaxCompute

跟踪创建后，事件会以JSON格式保存在MaxCompute actiontrail_<阿里云账号ID>项目的 actiontrail_<跟踪名称>数据表（Table）中。说明操作审计事件数据写入指定的MaxCompute表会产生存储费用。详情请参见存储费用。创建跟踪时，操作审计将...

FineBI连接MaxCompute

MaxCompute支持您将MaxCompute项目数据接入FineBI，帮助企业的业务人员和数据分析师开展以问题为导向的探索式分析工作。本文为您介绍如何通过MaxCompute JDBC驱动，连接FineBI和MaxCompute项目，并进行可视化数据分析。背景信息 FineBI是帆...

发展历程

关键性里程碑 2009年9月，ODPS（即现在的MaxCompute）大数据平台飞天项目正式启动。2010年10月，阿里巴巴集团自主研发的第一代云计算平台稳定运行。2013年8月，平台的单集群规模已达到5000台。2014年7月，平台开始对外提供服务，完全替换...

添加体验空间数据库

数据表被项目引用，其中存在已发布项目：系统会提示用户有哪些已发布的项目引用了当前表，并提示用户不能直接删除，需要关闭项目的发布状态或删除项目对当前表的引用后才能删除。在删除弹窗中单击确定，删除数据表。后续操作新建项目

项目分配与安全

在为企业级大数据平台创建项目时，建议您对ODS层、DWD及DWS层的数据按照业务板块的粒度建立项目，对于ADS层的数据，按照应用的粒度建立项目。项目分配在本教程中，建议参考下图建立您的MaxCompute项目，图中的每一个方块代表一个项目。...

项目分配与安全

在为企业级大数据平台创建项目时，建议您对ODS层、DWD及DWS层的数据按照业务板块的粒度建立项目，对于ADS层的数据，按照应用的粒度建立项目。项目分配在本教程中，建议参考下图建立您的MaxCompute项目，图中的每一个方块代表一个项目。...

管理数据树

本文介绍数据树的管理功能。...新建项目并添加在数据树中选择需要添加的数据表，单击右下角的新建项目并添加，等待系统自动创建项目并将当前已选中的数据添加至新创建的项目中。也可以单击清空选择，去勾选已选中的数据表。

权限管控与隔离

租户隔离 Dataphin支持租户的概念，不同租户之间的数据、任务、成员、权限是完全隔离的，只能通过跨租户发布进行数据和任务的流通。常见的情况有以下两种：两套独立部署的，物理隔离的Dataphin。如两家完全不同的企业之间的Dataphin，或者...

权限管控与隔离

租户隔离 Dataphin支持租户的概念，不同租户之间的数据、任务、成员、权限是完全隔离的，只能通过跨租户发布进行数据和任务的流通。常见的情况有以下两种：两套独立部署的，物理隔离的Dataphin。如两家完全不同的企业之间的Dataphin，或者...

添加数据源概述

本文档为您介绍DataV支持的所有数据源，帮助您选择合适的数据源进行大屏项目的开发。进入 DataV控制台，单击我的数据，可以对接入的数据源进行统一管理。DataV支持以下数据源的接入。数据源类型数据源说明数据库类说明如果您在其它...

快速入门

说明如果在选择空间数据项目 对话框内，没有任何已创建的空间数据项目，您可以单击对话框右上角的前往空间构建平台创建项目，进入空间构建平台自定义创建项目数据，详情请参见创建项目。进入某个空间数据项目 添加图层对话框，可以在 ...

权限自查建议

随着项目的不断演进，人员的权限也会更新迭代，您需要及时审视人员权限合理性，提升项目数据安全。本文为您介绍权限查询要点，并提供调整建议供参考。背景信息在项目创建初期，为了提升业务处理效率，通常在用户和权限管理上相对宽松。...

2023年

该地域项目的存储、下载后付费账单归属的产品明细将从 大数据计算服务MaxCompute（包月）变成 大数据计算服务MaxCompute（按量付费），同时对应的用量明细选择的计量规格变成 大数据计算服务MaxCompute（按量付费）。当您使用的包年包月...

使用DataV可视化应用展示数据返回结果

本文为您介绍如何在DataV中调用DataWorks的数据服务API，并将数据返回结果展示在DataV可视化应用中。前提条件在开始本案例前，您需要首先完成准备工作，并已经生成了数据服务API。背景信息警告您必须使用HTTP协议进入DataV控制台，...

数据库管理

每个Database都有若干时序数据表，结合名词解释的描述，我们可以对时序引擎的数据层级归纳为下图所示：如果一个Lindorm时序引擎实例计划包含不相关的项目数据，在很大程度上，彼此之间是隔离的。那么在这种情况下，建议将它们放到单独的...

MaxCompute安全白皮书

但是，如果项目空间中的数据非常敏感，不允许流出到其他项目空间中去，此时管理员可以使用项目空间保护机制——设置ProjectProtection，明确要求项目空间中数据只能本地循环，允许写入，不能读出。具体设置如下。set projectProtection=...

MaxCompute数据源

MaxCompute数据源作为数据中枢，为您提供读取和写入数据至MaxCompute的双向通道。使用限制说明 DataWorks的MaxCompute数据源可使用 Tunnel Endpoint 地址访问相应MaxCompute项目的Tunnel服务，从而通过上传、下载等方式同步该项目的数据。...

执行补数据并查看补数据实例（旧版）

补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...

监控报警

Tunnel日累计下载数据量_项目级别以项目为单位，单日该项目累计下载的数据量监控指标。您可以设置最大数据量（MB），达到或超过这个阈值会触发报警。Tunnel日累计上传数据量_项目级别以项目为单位，单日该项目累计上传的数据量监控指标。...

包年包月资源隔离

对于使用MaxCompute的企业，通常会根据业务的差异性来创建多个MaxCompute项目进行数据隔离。由于每个MaxCompute项目对计算资源（CU）的需求不一致，需要对CU按照项目进行隔离，以便实现CU使用率最大化。本文为您介绍如何通过MaxCompute管家...

Github实时数据同步与分析

本文以使用DataWorks实时同步公共数据至Hologres，并通过Hologres进行实时数据分析为例，为您示例DataWorks的数据同步能力与Hologres的实时分析能力。本教程以申请免费资源为例为您示例详细操作步骤，您也可以使用付费资源，操作类似。教程...

新功能发布记录

OceanBase 数据库 MySQL 租户至 Kafka 的数据同步项目支持将 OceanBase 数据以 Avro 序列化格式输出 kafka，扩展用户对接下游大数据生态的方式。数据格式说明新增支持 8 个 OpenAPI 接口，主要覆盖 RDS PostgreSQL 数据源、加减表、传输...

存储费用

MaxCompute会对存储的数据（例如表或资源）及备份的数据，按照数据容量大小进行计费。本文为您介绍存储费用的计费规则。背景信息 MaxCompute数据的压缩比一般在5倍左右，因此多数情况下，您上传的数据文件大小与实际存储在MaxCompute的大小...